Blog

Exploration du coronavirus dans la VR : Perspectives pour lutter contre la pandémie actuelle et la prochaine
Lorsque près de 100 personnes ont regardé un flux en direct sur YouTube le 2 avril, on pouvait leur pardonner de penser qu’elles avaient assisté à une version virtuelle d’un dîner-théâtre de l’époque médiévale. Chaque avatar dans le dôme gris qu’est l’environnement logiciel Nanome portait des lunettes de couleur et une chemise de couleur. Les cinq avatars, chacun contrôlé par un scientifique, étaient là pour combattre le SRAS-CoV-2 ou Coronavirus en réalité virtuelle (RV).

Exploration du Coronavirus en VR

Cependant, plutôt que des lances et des épées, ils portaient des armes moléculaires.

L’événement en direct a été organisé par SynBioBeta, et les avatars étaient représentés :
- Steve McCloskey, fondateur et PDG de Nanome (équipe turquoise).
- Rob Rhinehart, associé chez Mars Bio et directeur de l’initiative Corona (équipe rouge).
- Robert Scoble, gourou de la VR (équipe jaune).
- Philip Rosedale, fondateur de Second Life (équipe violette).
- John Cumbers, fondateur de SynBioBeta (équipe noire).
John Cumbers a souhaité la bienvenue aux téléspectateurs avant de placer deux molécules contenant des atomes gris, blancs, bleus, rouges et verts devant le groupe.

McCloskey, ingénieur et fondateur de Nanome, a expliqué que les couleurs des atomes correspondent aux éléments colorés du tableau périodique à l’intérieur du logiciel Nanome : les carbones sont gris, les azotes bleus, les hydrogènes blancs, et les atomes de chlore verts.

« Si vous savez ce que sont ces molécules, tapez la réponse dans le chatbox », a expliqué M. Cumbers à l’auditoire.

Quelques minutes plus tard, M. McCloskey a attribué aux spectateurs des points virtuels pour avoir correctement identifié les deux premières molécules comme étant la chloroquine et l’hydroxychloroquine. Il a expliqué qu’il s’agit de deux petites molécules actuellement utilisées pour traiter certaines maladies du système immunitaire (autrefois utilisées pour traiter la malaria) et certaines maladies auto-immunes, et qu’elles ont été autorisées pour un usage d’urgence pour traiter COVID-19, la maladie causée par le nouveau coronavirus, le SRAS-CoV-2. Toutefois, l’efficacité du traitement de cette maladie n’a pas encore été démontrée par des études.

Selon M. McCloskey, il n’y a pas de consensus au sein de la communauté scientifique sur la manière dont ces médicaments agissent au niveau moléculaire.

« Ohe théorie est que le pH est affecté, ce qui à son tour affecte la glycosylation du récepteur ACE2 et l’affinité de liaison du domaine de liaison du récepteur de la protéine de pic viral (RBD) », a déclaré Rob Rhinehart, partenaire chez Mars Bio et directeur de l’Initiative Corona. Le récepteur de l’enzyme de conversion de l’angiotensine 2 (ACE2), qui est présent sur de nombreux types de cellules humaines, est la protéine à laquelle le SARS-CoV-2 s’attache pour pénétrer dans les cellules humaines.

En examinant la structure de cette protéine et des protéines virales, les chercheurs espèrent trouver des domaines que les fabricants de médicaments pourraient cibler pour vaincre la pandémie qui sévit dans le monde.

« La « -ase » de la protéase signifie couper », a déclaré Mme Rhinehart. « Cette protéine est responsable de la génération des protéines individuelles qui forment de nouvelles particules virales. » Rhinehart a pris le contrôle et a chargé un médicament à petite molécule fabriqué par Gilead Sciences, le remdesivir. Il a montré comment il s’insère dans la poche à l’intérieur de la protéase. « Nous pouvons voir comment cela pourrait être très efficace en tant que thérapeutique en perturbant la fonction de la protéase », a-t-il dit. « Mais nous ne le savons pas. Le Remdesivir a en fait été conçu pour cibler l’ARN polymérase virale, pas la protéase. »

McCloskey a montré aux autres une molécule qu’il avait lui-même conçue pour cibler la protéase et qu’il a soumise à un concours de conception de médicaments très fréquenté, puis il a pointé du doigt 27 acides aminés de l’ECA2 qui entrent en contact avec la protéine de pointe du virus ; le reste de l’ECA2 a disparu. « Il y a un groupe au MIT qui produit cette chaîne peptidique », a-t-il déclaré. « L’idée est d’empêcher le virus de se lier aux cellules humaines en bloquant la RBD. »

La plupart des structures avec lesquelles le groupe a travaillé pendant le flux de vie sont accessibles au public et peuvent être visualisées gratuitement dans le logiciel Nanome.

« Le rythme de résolution des problèmes et de collaboration que permet la RV est sans précédent », a déclaré M. Cumbers. « La RV devient un outil utile dans le domaine scientifique, et en raison de la manière dont elle est utilisée au milieu de la crise COVID-19, son adoption généralisée sera probablement accélérée ».

« C’est l’avenir », a convenu Robert Scoble, qui est un gourou de la RV.
25 juin 2020
La VR peut produire des doublures numériques 3D des entreprises du Lincolnshire pour les clients et le personnel

Pour aider à surmonter les mesures de distanciation sociale en faveur du Covid-19, Technology Hubs du Lincolnshire proposent de créer des environnements virtuels immersifs ou « doublures numériques » pour les entreprises.

création de doublures 3D

Ces copies 3D ont été conçues à l’origine pour aider le secteur du patrimoine à documenter et à préserver les sites historiques, mais elles ont un potentiel illimité pour aider les magasins, les sites et d’autres organisations à atteindre leur public pendant la pandémie COVID-19.

Adaptées à tous les types de lieux, des bureaux aux salles d’exposition, ces images 3D immersives rendent les entreprises plus accessibles, non seulement pendant le COVID-19, mais aussi au-delà.

Elles sont créées en qualité 4K et sont accessibles par un ordinateur portable, un téléphone ou un casque de réalité virtuelle. Elles permettent de tout faire, des visites guidées virtuelles à la planification de visites de sites en passant par la formation, pendant cette période difficile.

Basée au DesignBlok Hub de l’université de Lincoln, l’équipe utilise la technologie pour scanner et créer des modèles 3D interactifs d’un espace requis. Cela permet de vivre des expériences passionnantes telles que des visites guidées et des promenades en 3D, les spectateurs pouvant voir et interagir avec un espace sous tous les angles. Il peut s’agir d’un agent immobilier conduisant un acheteur potentiel autour d’une propriété, d’une visite d’une exposition ou d’un vendeur donnant une vue intérieure complète d’une nouvelle voiture.

Avant le COVID-19, la technologie était principalement utilisée par des secteurs tels que le patrimoine, l’architecture, la construction et la conservation pour préserver ou documenter numériquement un lieu historique, ou pour minimiser la nécessité de visites sur site. Cependant, ces copies numériques sont également utiles pour atteindre des publics qui ont du mal à interagir avec ces espaces, comme les personnes âgées ou handicapées.

Aujourd’hui, la capacité de cette technologie à rendre accessible l’inaccessible est une façon pour les entreprises de surmonter les difficultés causées par la distanciation sociale, en particulier dans les espaces où la règle des deux mètres est impossible à appliquer. Le fait de disposer d’une copie numérique à partager avec le public est également une nouvelle façon pour les entreprises de promouvoir leur espace, avec la possibilité d’ajouter des points d’intérêt clés ou des histoires cachées que les visiteurs pourront trouver en parcourant le modèle virtuel.

Les copies numériques peuvent même aider les entreprises à se remettre sur pied après la fermeture, les modèles virtuels permettant au personnel de suivre une formation sur place, sans avoir besoin de se rendre dans les locaux.

Michael Poole, responsable du développement commercial à la faculté des arts de l’université de Lincoln, déclare : « Ces modèles 3D sont un excellent moyen pour les entreprises, les organisations, les musées et les attractions de partager ce qu’ils ont à offrir tout en maintenant des mesures de distanciation sociale. Le public peut visiter virtuellement ces répliques de qualité 4K par téléphone, ordinateur portable ou magnétoscope, qu’il planifie de futurs voyages dans l’espace physique ou qu’il veuille simplement profiter du spectacle tel quel.

« Elle offre également de nombreuses possibilités passionnantes mais pratiques pour les entreprises en cette période d’incertitude, qu’il s’agisse d’architectes regardant des bâtiments à distance ou d’ouvriers mesurant et se déplaçant dans des espaces de travail possibles.

« De plus, ces modèles sont simples à créer dans un délai rapide, nous pouvons parfois les avoir prêts dès le lendemain. Il y a certainement de nombreuses possibilités pour les entreprises d’utiliser cette technologie pour améliorer l’expérience de leurs clients dans le climat actuel et au-delà ».

Le Business Lincolnshire Growth Hub est un lieu d’accueil pour les entreprises qui cherchent de l’aide pour leurs plans de croissance ou de changement, qu’il s’agisse de développer de nouveaux produits ou procédés, de comprendre comment exporter vers de nouveaux marchés ou développer une stratégie pour améliorer les compétences de la main-d’œuvre.

Quels que soient les besoins de votre entreprise, un conseiller du Growth Hub peut vous aider à élaborer un plan d’action sur mesure pour faire avancer vos idées, en vous orientant vers les bonnes sources d’aide supplémentaire. Le Business Lincolnshire Growth Hub est financé par le Fonds européen de développement régional (FEDER) et géré par le conseil du comté du Lincolnshire.

25 juin 2020
La solution WalkinVR supprime les obstacles liés au handicap physique pour les jeux VR

Depuis plusieurs années, le développeur Grzegorz Bednarski travaille sur sa solution pour aider à supprimer les obstacles au jeu que les personnes handicapées physiques peuvent trouver avec la réalité virtuelle (RV). Appelé WalkinVR, le logiciel compatible avec SteamVR est disponible en version bêta depuis 2017, la semaine prochaine il sera officiellement lancé sur Steam.

La soluution WalkinVR pour les personnes à mobilité réduite

La technologie de la RV a évolué et a mûri, tout comme le gameplay, s’éloignant des commandes de la manette de jeu ou de la 3DoF pour s’orienter vers des interactions beaucoup plus physiques, à l’échelle de la pièce. Bien que cela ait permis de construire des mondes plus créatifs et plus immersifs, tous les joueurs n’ont pas l’amplitude de mouvement nécessaire pour jouer à ces titres.

WalkinVR est conçu pour offrir une solution tout-en-un afin d’aider ceux qui aiment ou veulent profiter des jeux de RV mais qui n’ont pas les mouvements physiques nécessaires pour jouer à une grande partie des expériences disponibles.

Le logiciel offre une multitude d’options pour couvrir divers handicaps comme ceux qui ont subi un accident vasculaire cérébral, qui sont en fauteuil roulant ou qui souffrent d’atrophie musculaire de la colonne vertébrale par exemple. Ces handicaps peuvent entraîner toute une série de problèmes lors d’un jeu vidéo de RV, allant de la rotation à la tenue des contrôleurs de mouvement à la hauteur requise pour interagir avec l’environnement.

Les caractéristiques de WalkinVR comprennent donc l’amélioration de l’amplitude de mouvement des mains, le mouvement virtuel pour se tourner, se pencher et s’accroupir. Si un joueur a des mains faibles ou des spasmes, ses mains peuvent être suivies à l’aide d’un dispositif Kinect ou Azure. Si l’appui sur des boutons pose un problème, un tiers peut apporter son aide par le biais d’une manette de jeu, en appuyant sur le bouton requis.

Le lancement de WalkinVR via Steam est prévu pour le 29 juin 2020. Il prend en charge les casques Oculus Rift, HTC Vive, Valve Index et Windows Mixed Reality. Il y aura des versions gratuites et premium, fonctionnant avec tous les jeux vidéo et applications disponibles sur SteamVR.

24 juin 2020
Utiliser la technologie de la réalité virtuelle pour comprendre les besoins des enfants
En 2019, le nombre des enfants pris en charge a continué à augmenter, de 4 % par rapport à l’année précédente. Le verrouillage ayant entraîné une baisse significative du nombre d’orientations, jusqu’à 75 % dans certaines régions, tout le monde est conscient que cette tendance va se poursuivre et s’aggraver encore après le verrouillage, lorsque les écoles, les services de santé et les services pour les jeunes rouvriront complètement leurs portes et que les enfants invisibles redeviendront visibles.

Photo des élèves Daniel Morgan et Hudson Fox

Là où la technologie était développée et adoptée avant le COVID-19, les services de l’enfance, et plus largement les autorités locales, se sont certainement tournés vers les solutions numériques, initialement pour les réunions en ligne et virtuelles en tête à tête et en groupe, mais cela ne s’est pas arrêté là.

Il est passionnant de voir les autorités locales travailler en collaboration et profiter des avantages offerts par les nouvelles technologies pour améliorer leurs services afin d’atteindre tous les enfants. Nous assistons à l’émergence d’un nouveau monde mixte où les interactions virtuelles et physiques sont combinées pour offrir un service plus holistique axé sur les résultats.

Une solution technologique importante, utilisée depuis 2018 par près de 50 autorités locales, écoles et fournisseurs indépendants, a été l’introduction du programme Cornerstone Virtual Reality (VR) et de son contenu clinique. Conçu pour favoriser un changement rapide de comportement grâce à une meilleure compréhension de l’impact des traumatismes, cet outil est largement utilisé pour le recrutement et l’évaluation des candidats à l’adoption et aux familles d’accueil, pour la formation de ces derniers et des professionnels afin de favoriser la stabilité du placement, et pour l’ensemble des services aux enfants tels que l’éducation, l’aide précoce et les soins de santé.

Le pouvoir de ce programme de RV réside dans sa capacité à mettre l’utilisateur dans la peau d’un enfant, à la réception d’une situation de maltraitance, de négligence ou de blessure, de la naissance à l’adolescence, lui permettant de vivre un traumatisme et de se poser des questions : « comment je me sentirais si c’était moi ? ».

Le programme de RV commence à être intégré dans des stratégies plus larges de développement de la main-d’œuvre des services à l’enfance. Quelques points intéressants à noter : les apprenants ont besoin de 53% de temps en moins que l’apprentissage en classe pour comprendre les concepts ; les apprenants rapportent régulièrement une note de plus de 90% sur les résultats de l’apprentissage ; et les apprenants se montrent trois à quatre fois plus confiants pour utiliser ce qu’ils ont appris qu’avec les méthodes traditionnelles d’apprentissage en ligne (PwC, 2020). Comme nous avons constaté récemment une évolution vers une assistance plus virtuelle et à distance, plutôt que dans une salle de classe, ce type de formation ne peut qu’être bénéfique pour l’avenir.

Le recrutement dans le cadre de l’encouragement et de l’adoption étant un défi permanent, le programme de RV facilite le processus en permettant l’identification précoce des lacunes en matière de connaissances et/ou d’expérience qui peuvent être soutenues, ainsi qu’en préparant efficacement les candidats à la tâche à venir afin qu’ils soient « prêts pour le placement » au moment de l’approbation.

La RV est utile dans ces scénarios, en créant des expériences « in-situ » qui aident les personnes qui s’occupent de l’enfant et les adoptants potentiels à déterminer s’ils sont vraiment prêts à répondre aux besoins d’un enfant. S’ils n’ont pas eu d’expérience antérieure de traumatisme, la RV peut fournir un lien plus immédiat avec l’enfant que n’importe quelle étude de cas ou formation.

Et pour les parents d’accueil et les parents adoptifs qui ont des lacunes dans leur formation et leur développement, la RV peut être utilisée pour explorer ces situations dans un processus d’immersion totale. En utilisant une stratégie de transformation des pratiques, le programme de RV se concentre sur quatre domaines clés :
- Comprendre : les adultes comprennent-ils comment leurs comportements et leurs réactions affectent les enfants ?
- Empathie : les adultes ont-ils une idée du point de vue de l’enfant ?
- Comportement : les adultes penseront-ils différemment de leurs comportements envers les enfants ?
- Attitude : les adultes envisagent-ils d’autres façons de se comporter envers les enfants ?
Si les nouvelles technologies peuvent renforcer les processus et les réponses des services d’accueil et d’adoption, les autorités locales peuvent s’attendre à une amélioration de la stabilité des placements dans l’immédiat et à long terme. Ces avantages pourraient modifier les résultats pour les enfants en limitant le potentiel de fins imprévues, dont 31 % se sont produites dans les 24 heures suivant le placement en 2018-2019. Les données du programme de RV de Cornerstone se prêtent à cet argument : neuf fois sur dix, les expériences modifient le comportement, l’empathie et la compréhension émotionnelle d’un spectateur.

La RV s’est également avérée utile dans des réseaux publics plus larges, comme avec les enseignants, les professionnels de l’éducation et les travailleurs sociaux, en garantissant une approche d’ »équipe autour de l’enfant ». Les nouvelles technologies peuvent donc aider les enfants vulnérables dans l’enseignement comme à la maison, en réduisant les exclusions et en favorisant de meilleurs résultats pour tous les enfants. 100% des enseignants ont reconnu qu’ils avaient acquis une meilleure compréhension du point de vue de l’enfant après avoir fait l’expérience du programme Cornerstone VR.

S’il sera toujours nécessaire pour les professionnels des services à l’enfance d’adopter une approche mixte, où les nouvelles technologies sont utilisées en conjonction avec l’expertise, les résultats du programme de RV de Cornerstone ne doivent pas être considérés comme acquis.

Si la transformation numérique peut renforcer les réseaux d’adultes entourant les enfants, alors nous devons absolument les mettre en œuvre. En outre, étant donné le besoin accéléré de solutions technologiques après la visite médicale et le nombre croissant d’enfants pris en charge, la technologie a une occasion idéale de soutenir les services et les résultats des changements pour les enfants.
24 juin 2020
La formation en réalité virtuelle devient de plus en plus incroyable

La société Osso VR, basée à Palo Alto, en Californie, lance une expérience de formation en réalité virtuelle (RV) de haute-fidélité qui, selon elle, offre « …un niveau exceptionnel de fidélité visuelle pour chaque aspect, des détails à l’environnement du bloc opératoire ». L’équipe créative de la société apporte à la formation médicale une expérience de RV acquise auprès d’Electronic Arts, de Microsoft, d’Apple et d’autres sociétés du secteur des films, des jeux et du divertissement en RV.

Formation VR par OSSO VR

« L’équipe Osso VR est l’éclair dans une bouteille. Une équipe unique en son genre composée d’ingénieurs, d’artistes et d’éducateurs de premier plan qui ont consacré leur carrière à l’optimisation de la sécurité des patients. Ce groupe de lauréats des Oscars et des Emmy Awards apporte une expérience précise, engageante et éducative qui a un impact significatif sur l’adoption de notre plateforme validée cliniquement », a déclaré le PDG et co-fondateur de la société, Justin Barad M.D.

« Nous avons atteint un niveau de détail dans l’anatomie, les outils chirurgicaux et l’environnement du bloc opératoire au sein de la plateforme qui n’était pas possible auparavant. Cela nous permettra de mieux accomplir notre mission, d’améliorer les résultats pour les patients, de favoriser l’adoption de technologies de grande valeur et de démocratiser l’accès à l’enseignement chirurgical dans le monde entier ».

Le directeur artistique de l’Osso VR, Jonathan Sabella, a contribué à de nombreux personnages et performances, notamment ceux de Marvel et de Star Wars. Sabella a déclaré à l’OTW : « Ce que nous présentons aujourd’hui n’est que la partie émergée de l’iceberg en ce qui concerne nos capacités visuelles. Nous utilisons les dernières techniques et technologies utilisées dans les principaux films et jeux pour créer le même niveau d’expériences véritablement immersives que l’on peut attendre des meilleures sociétés d’effets visuels et de divertissement au monde. »

« Déjà leader sur le marché, Osso VR traverse vraiment une nouvelle période de renaissance. Notre équipe attire les meilleurs talents de toutes les catégories d’expertise et de toutes les industries. Ainsi, les expériences de travail dans l’enseignement médical et de travail pour le divertissement ont été très similaires pour moi. Lorsque nous créons des personnages et des mondes fantastiques dans les meilleurs studios du monde, il n’est pas rare de faire des recherches approfondies sur des sujets, en faisant appel à des experts de toutes sortes pour créer quelque chose de vraiment crédible pour un public. Un avantage que nous avons ici à l’Osso est que ces experts, des médecins qui pratiquent souvent ces procédures, sont disponibles et travaillent directement avec nous à tout moment ».

« La plus grande différence entre le travail dans le domaine du divertissement et ces expériences éducatives, c’est notre mission. Une mission qui consiste à influencer le résultat de la vie réelle dans une application beaucoup plus directe. J’aime les super-héros et les leçons inspirantes qu’ils m’ont données. C’était une expérience unique de superviser Carne y Arena pour Alejandro Iñárritu parce que c’était la première fois que je sortais vraiment du travail de ce genre. Voir l’impact que ce projet a eu sur le fait de raconter une histoire en utilisant des personnes réelles m’a inspiré à chercher d’autres opportunités pour apporter des changements dans le monde par le biais de mon travail ».

« Tout ce que j’ai appris au cours de ma carrière est directement applicable ici à l’Osso, y compris mon expérience et mon intérêt pour l’anatomie. Partager ces leçons avec notre équipe d’illustrateurs médicaux de classe mondiale et les mélanger avec des spécialistes de VFX et de jeux, c’est créer un groupe d’individus jamais vu auparavant avec des connaissances artistiques en temps réel de pointe et une précision médicale précise ».

« Je suis extrêmement fier de faire partie de l’Osso. Superviser le film de réalité virtuelle Carne y Arena d’Alejandro Iñárritu, qui a remporté un Oscar, m’a ouvert les yeux sur l’impact de la réalité virtuelle sur le monde réel. Quand j’ai vu ce que Justin et l’équipe faisaient, j’ai su que c’était quelque chose auquel je voulais contribuer », a déclaré Sabella. « Nous nous sommes engagés à donner vie à l’expérience de formation médicale virtuelle, en ne laissant aucun détail intact. Les collègues avec lesquels j’ai le privilège de travailler ici sont parmi les plus talentueux et les plus professionnels avec lesquels j’ai eu l’occasion de collaborer. J’ai passé ma carrière à être fasciné par l’anatomie et la possibilité de travailler directement avec des illustrateurs médicaux, des ingénieurs et des médecins de premier plan dans ce domaine pour aider à sauver des vies est quelque chose que j’adore beaucoup ».

24 juin 2020
Facebook a acquis le studio de réalité virtuelle « Ready at Dawn »

Facebook s’est lancé dans une frénésie d’acquisition de studio de jeux au cours de l’année dernière, rachetant les développeurs de certains des titres de RV les plus populaires.

Facebook Oculus

Cette tendance s’est poursuivie aujourd’hui avec l’acquisition de Ready at Dawn Studios, le développeur des jeux Lone Echo, l’une des séries les plus populaires d’Oculus. Le studio travaille en étroite collaboration avec Facebook et Oculus depuis un certain temps en tant que partenaire d’édition. Cette acquisition permet à l’équipe d’Oculus de préparer la sortie d’une suite complète de Lone Echo. Facebook n’a notamment pas donné de nouvelles de l’état d’avancement de Lone Echo II, dont le lancement a été retardé à plusieurs reprises après l’annonce initiale d’une date de lancement en 2019. Le titre devrait sortir dans le courant de l’année.

Photo du jeu VR Lone Echo

Les termes du contrat n’ont pas été divulgués, bien que Facebook affirme qu’ils amènent toute l’équipe à bord. Le studio fonctionnera de manière indépendante depuis ses bureaux d’Irvine, en Californie, et de Portland, en Oregon.

Lone Echo est reconnu comme l’un des titres de RV les plus raffinés et innovants, les itérations à un ou plusieurs joueurs étant très appréciées des utilisateurs de RV. La série a également été adoptée dans le monde des sports électroniques, qui n’a pas toujours été réceptif aux jeux de réalité virtuelle. Avant d’adopter pleinement la RV, Ready at Dawn développait des titres pour console, dont plusieurs jeux sous licence de la série God of War.

Facebook a précédemment annoncé l’acquisition de Beat Games, le studio derrière Beat Saber, et de Sanzaru Games, le développeur du jeu Asgard’s Wrath de Rift. La stratégie d’acquisition de Facebook donne à certains des studios de RV les plus visibles une plus grande marge de manœuvre pour continuer à investir dans les titres de RV à venir sans se laisser submerger par la nécessité de rester à flot.

Les progrès dans l’espace de la RV ont été lents et bien que les développeurs de RV aient constaté quelques hausses d’utilisation de l’abri en place, un manque général de disponibilité du matériel a laissé un plafond sur les chiffres de croissance. Alors que d’autres fabricants de matériel de RV semblent lentement se retirer de l’espace et que d’autres plateformes immersives comme Magic Leap sortent de l’arène des consommateurs, la vie devient encore plus difficile pour les développeurs de RV qui cherchent à créer des titres de haute qualité.

24 juin 2020
Jean-Michel Jarre déclare que le concert en réalité virtuelle sera « comme Matrix »

Le pionnier français de la musique électronique Jean-Michel Jarre a déclaré que son prochain concert en réalité virtuelle qui sera « comme Matrix ».

Photo de Jean-Michel Jarre

Le lyonnais de 71 ans a déclaré que ce concert irait un peu plus loin que celui que le rappeur américain Travis Scott a joué dans le jeu de tir en ligne Fortnite en avril dernier.

Jarre, mieux connu pour son album Oxygene (1976), se produira dimanche en tant qu’ »avatar » dans un univers virtuel créé pour marquer la Fête de la musique, la journée française des musiques du monde.

Le compositeur, interprète et producteur a déclaré à l’agence de presse PA : « C’est une véritable première dans la mesure où c’est une première. »

« Certaines personnes ont déjà joué dans Fortnite, par exemple, mais c’est un environnement totalement différent, car dans ces cas-là, vous placez des sessions préenregistrées dans un environnement de jeu vidéo existant. »

« Dans ce cas, il s’agit d’un événement en direct, un environnement totalement original créé pour les représentations.

« Cela ne fait pas du tout partie de l’environnement du jeu vidéo. Nous utilisons la RV pour quelque chose de spécial et de spécifique ».

En se référant au film de 1999, il a ajouté : « Ce sera comme Matrix ».

ALONE TOGETHER – LIVE VR Concert / 21. June 2020 / 9:15pm CET. Who else misses live shows? I have! And so I decided to work on a live show appropriate for the year 2020. https://t.co/aQqQEjImUT pic.twitter.com/W2a9Gotetw
— Jean-Michel Jarre (@jeanmicheljarre) June 16, 2020

M. Jarre a déclaré que la pandémie de coronavirus avait montré la valeur de la musique et a demandé que les musiciens soient mieux respectés pour leur travail.

Il a ajouté : « La planète a compris que nous ne faisons que deux choses : sortir pour manger, regarder des films et écouter de la musique. Sans la musique, cette période aurait été une période de désespoir total. »

« Cela montre la valeur de la musique. Nous devons cesser de considérer la musique et les musiciens comme des moyens de gagner de l’argent en faisant des tournées.

« La pandémie a changé notre relation avec le monde de la musique et notre public. C’est le bon moment pour dire : « Nous pouvons créer, nous pouvons inventer, mais nous devons être respectés ».

Jarre est connu pour se produire dans de vastes espaces extérieurs, notamment la Cité interdite en Chine et les Pyramides de Gizeh en Égypte.

Il a dit qu’avec la RV, il pouvait créer des environnements qui ne pourraient jamais être réalisés dans la vie réelle.

« D’une chanson à l’autre, vous pouvez être dans une petite discothèque, puis dans la suivante, vous pouvez être dans un stade de Wembley dans l’espace », a-t-il dit.

Le concert, Alone Together, a été diffusé gratuitement en streaming le 21 juin à 20h15 sur le site web de Jarre.

Le spectacle a été construit en collaboration avec la plateforme VRrOOm, créée par Louis Cacciuttolo.

23 juin 2020
Les casques de RV du futur pourraient être fabriqués avec des miroirs

Avez-vous des maux de tête ou des nausées lorsque vous utilisez des casques de RV ? Environ 20 % des gens en ont. Même si les casques VR ne vous causent pas de malaise physique, vous pourriez avoir l’impression que vos mondes virtuels semblent… plats.

Photo du casque VR Immy

C’est parce qu’ils sont plats. Les casques RV utilisant des écrans proches des yeux qui reposent sur des lentilles. Bien qu’ils soient dotés d’une technologie très intéressante, ils fonctionnent comme les écrans de télévision ou d’ordinateur. Des progrès comme le suivi des yeux et l’autofocus tentent de résoudre ces problèmes.

Mais ils ne fonctionneront jamais. Du moins, pas selon Doug Magyari. Magyari et Immy, sa société basée à Troy, dans le Michigan, pensent avoir la solution : des casques VR qui n’utilisent pas de lentilles.

Qu’est-ce qui cause la « maladie de la RV » ?

Une étude de 2019 a identifié le conflit vergence-accommodation et la rivalité focale comme d’énormes obstacles à l’adoption. Dans un récent webinaire donné par Bjorn Book-Larsson de VIVEPORT, il a déclaré que des questions comme celles-ci peuvent expliquer pourquoi les sessions d’utilisateurs de RV ont tendance à être significativement plus courtes que les sessions d’utilisateurs d’autres formes de médias.

Le conflit vergence-accommodation se produit lorsque le cerveau est troublé par le fait que la distance perçue et la distance réelle sont différentes. Vos yeux s’orientent différemment pour regarder les choses qui sont proches, par opposition aux choses qui sont lointaines. Ainsi, lorsqu’une chose semble lointaine mais qu’elle est en fait proche, votre cerveau et vos yeux ne peuvent pas suivre.

La rivalité focale est similaire. Vous pourriez presque la considérer comme une sorte de conflit entre vergence et accommodation. Lorsque vous regardez les choses dans le monde réel, vous pouvez choisir de vous concentrer sur les choses qui sont proches, par opposition aux choses qui sont lointaines. Avec les casques de RV à base de lentilles, les choses qui sont proches et celles qui sont lointaines sont en fait à la même distance de vos yeux. Là encore, votre cerveau et vos yeux ne savent pas quoi faire.

Si vous regardez dans le passé, le conflit entre vergence et accommodation a déjà été un sujet il y a cinq ans. Cela semble être des décennies dans l’espace XR. Bien que ces problèmes soient encore réels, la meilleure solution à laquelle le public a actuellement accès est le système VIVE Pro Eye qui vient d’être lancé il y a quelques mois.

« Obtenir un casque pour voir comment nous voyons le monde réel en utilisant des lentilles est une impasse », a déclaré M. Magyari lors d’un entretien téléphonique. « La seule lentille impliquée lorsque vous portez un Immy est votre propre œil ».

L’histoire d’Immy

Nous sommes à la fin des années 1990. Magyari n’est pas encore en RV, l’idée existe à peine. Ce qu’il fait, c’est expérimenter l’utilisation de l’audio en haute définition pour aider les personnes dépendantes. Boeing lui donne un contrat pour créer des expériences qui permettront de réduire les accidents parmi les employés. Magyari fonde Immy pour explorer la vidéo immersive.

« Je pense que la technologie est incroyable. La capacité à communiquer avec les humains quand on s’empare de leurs yeux et de leurs oreilles est époustouflante », déclare Magyari. « C’est en essayant d’utiliser cette technologie de la manière la plus organique possible que nous sommes arrivés à la différence entre un miroir et une lentille. »

Pendant les six prochaines années, Immy travaille sur diverses expériences de proto-RV, principalement pour la formation des militaires. Puis, Immy commence à développer son propre casque de RV. Selon Magyari, ils commencent à utiliser des modèles à base de miroir pour des applications militaires en 2009 trois ans avant que l’Oculus Rift ne devienne le premier casque RV grand public.

Les miroirs peuvent fournir une profondeur de champ infinie et n’ont pas de « plans d’image » comme les images à base de lentilles, selon M. Magyari. De plus, ils n’induisent pas le conflit vergence/accommodation, ils sont « invariants ». « A titre d’exemple : […] si vous regardez dans le rétroviseur de votre voiture les enfants sur la banquette arrière, ils sont au centre de l’attention. Si vous décidez de regarder quelque chose à 90 mètres derrière vous, c’est également au centre de l’attention, simplement parce que vous avez décidé de concentrer votre attention sur autre chose », a écrit M. Magyari dans un livre blanc accessible au public.

Entre 2012 et 2019, Magyari a déposé ou obtenu pas moins de huit brevets pour l’exposition Immy. Dans un interview, Magyari a dit que le casque Immy VR devrait être introduit avant la fin de l’année pour moins de 500 €.

Un casque VR sans la maladie de la RV ?

Le casque s’appelle Immy Mark I et comporte « NEO », l’abréviation de « Natural Eye Optic ». Outre une expérience de RV qui peut être utilisée pendant des heures sans effets secondaires et qui ne nécessite pas de suivi oculaire ou de mise au point par une machine, il ne fait aucune promesse astronomique.

Les spécifications ne sont pas très présentes dans les brevets, et aucune ne figure sur le site web de la société. Dans L’interview, Magyari a dit que le casque Immy a un champ de vision de 62 degrés, impressionnant, mais pas incroyable.

Lorsque le Mark I sera lancé, Magyari a dit qu’il sera « simple et fonctionnera comme un Imax ». Ainsi, quelle que soit la durée de l’attente, les joueurs et les utilisateurs professionnels devront peut-être attendre encore plus longtemps.

Un avenir bordé de miroirs

Magyari a dit qu’Immy est le seul groupe à utiliser des miroirs à lentilles. Mais, ils ne sont pas les seuls à expérimenter avec des lentilles.

IEEE spectrum a publié un article décrivant une approche en développement pour résoudre les problèmes d’occlusion dans la RA.

Dans l’occlusion, la lumière provenant d’objets plus proches lave la lumière provenant d’objets plus éloignés. Il est donc difficile pour les images numériques d’apparaître solides dans certaines conditions.

« Notre système utilise ces miroirs pour passer d’un état transparent, qui permet à l’utilisateur d’observer une petite partie du monde réel, à un état réfléchissant, où le même miroir bloque la lumière de la scène en faveur d’une source de lumière [artificielle] », a déclaré à l’IEEE Brooke Krajancich, chercheur à l’université de Stanford.

Le projet en est actuellement à ses débuts et présente un certain nombre d’inconvénients potentiels, notamment un énorme appel à la puissance de calcul.

L’avenir est toujours là

Un casque de RV qui offre une expérience réaliste sans « maladie de la RV » est quelque chose que beaucoup d’entre nous sont prêts à attendre. Que la RV reste un espace en constante évolution, toujours en mouvement vers de meilleures expériences, est une réalité qui est déjà présente.

23 juin 2020
Fuite de détails sur les lunettes intelligentes et le casque VR d’Apple

Apple a passé des années à travailler sur des produits portables et prévoit de lancer un ensemble de lunettes intelligentes de réalité augmentée et un casque avec des capacités de réalité virtuelle et de réalité augmentée, selon un nouveau rapport de Bloomberg. Les deux seront contrôlés par l’assistant vocal Siri d’Apple, mais des discussions sur la conception ont retardé leur sortie de quelques années supplémentaires.

Photo du casque VR HTC Vive avec autocollant Apple

LENTILLE FUTURE

L’équipe de RA et de RV d’Apple, dirigée par Mike Rockwell, s’est agrandie d’environ 1 000 personnes, selon le rapport. L’unité travaille sur un ensemble de lunettes intelligentes avec des capacités de RA appelé N421 et un casque complet de RV appelé N301. Bien que Rockwell fonctionne soi-disant avec une certaine indépendance par rapport à la hiérarchie centrale d’Apple, une grosse bagarre sur le design du N301 a repoussé son apparition dans les magasins. Le casque a été conçu comme étant plus avancé et plus puissant que tous les appareils existants, mais pour atteindre ce niveau sans surchauffer ou alourdir l’utilisateur, il faudrait un hub fixe connecté sans fil à l’appareil. Le casque VR pouvait être autonome, mais avec des fonctionnalités réduites.

L’ancien chef du design, Jony Ive, pensait que le fait d’avoir un hub était une erreur maladroite et que le casque ne devait être qu’aussi puissant que la technologie qu’il contenait. Il préférait également l’approche des lunettes intelligentes qui consiste à superposer la réalité avec plus d’informations plutôt que de l’occulter complètement. Comme le PDG d’Apple, Tim Cook, a choisi d’être d’accord avec Ive, le casque a dû revenir aux concepteurs. Le casque, tel qu’il est décrit dans le rapport, a cependant toujours l’air assez robuste. Il comprend un système sonore avancé et des écrans d’une résolution suffisamment élevée pour que l’œil ne reconnaisse même pas qu’il voit un écran. Ce casque est également en tissu et ressemble beaucoup à l’Oculus Quest de Facebook. Le casque utilisera son propre App Store d’Apple avec des jeux, des flux vidéo et des programmes de réunions virtuelles.

Il n’y a pas beaucoup de détails dans le rapport sur les lunettes intelligentes, sauf qu’elles sont plus complexes que le casque VR. Selon Jon Prosser, un habitué des actualités d’Apple, le N421 s’appellera « lunettes Apple » et coûtera environ €. Le coût de ces deux produits est encore indéterminé, selon le rapport Bloomberg. Si Prosser a raison et si les lunettes Apple sont les mêmes que le N421, les lunettes relieront un iPhone à l’écran holographique des deux lentilles et comporteront des commandes gestuelles. Il y a encore beaucoup d’inconnues, même si les rapports ne se contredisent pas. À un moment donné, il a été suggéré que les lentilles ne seraient rien d’autre que des écrans holographiques, sur la base d’un brevet accordé à Apple l’année dernière pour un matériau semblable au verre, capable de passer du transparent à l’opaque et décrit comme utile pour la réalité augmentée.

LES OBJETS À PORTER

Beaucoup de ces détails peuvent finir par changer avant qu’un client ne les mette réellement en place. Le casque sera annoncé l’année prochaine pour une sortie en 2022, tandis que les lunettes intelligentes ne seront pas sorties avant au moins 2023, selon le rapport. Prosser avait prédit que les lunettes Apple sortiraient à l’automne 2021 au plus tôt, mais Bloomberg avance beaucoup ce délai. M. Prosser a également cité la crise manufacturière précipitée par la pandémie COVID-19 comme raison de ce retard, ce qui pourrait être vrai au même moment.

Si Bloomberg et Prosser ont tous deux raison, les lunettes intelligentes auront Siri avec le contrôle des gestes, tandis que le casque VR sera livré avec une télécommande. Apple améliore continuellement les capacités de Siri, mais il se peut qu’elle prévoie une mise à niveau importante en utilisant la technologie d’Inductiv et d’autres startups d’IA qu’elle a récemment acquises. Apple aura besoin de bien plus qu’une belle monture de lunettes pour être compétitive. Il existe déjà de nombreux types de lunettes intelligentes, et d’autres sont en cours de développement. La deuxième génération de lunettes intelligentes North Focals devrait arriver cette année. Facebook, en partenariat avec Ray-Ban, est en train de construire quelque chose de similaire. Cependant, les lunettes intelligentes North et Facebook sont toutes deux construites autour d’un assistant vocal intégré en plus du contrôle manuel en forme d’anneau. Amazon s’engage encore plus dans l’audio avec les Echo Frames, qui, comme les Bose Frames, dépendent entièrement d’un assistant vocal pour gérer les lunettes intelligentes. Le marché va mûrir rapidement à ce rythme, ce qui signifie que le N421 devra vraiment impressionner les gens lorsqu’il arrivera dans trois ans.

23 juin 2020
Pokémon Go veut faire des scans en 3D du monde entier

Pokémon Go veut faire des scans en 3D du monde entier pour des « expériences de réalité augmentée à l’échelle de la planète ». Est-ce que c’est bien ?

Photo du jeu AR Pokémon GO

En 2016, le jeu mobile Pokémon Go a envoyé des centaines de millions de joueurs errer dans les rues à la recherche de monstres virtuels. Ce faisant, il a contribué à populariser la technologie de réalité augmentée (RA), qui superpose des images générées par ordinateur à des environnements réels.

Pokémon Go est maintenant prêt à faire passer la RA à un autre niveau. Une nouvelle fonctionnalité du jeu encouragera les joueurs à créer et à télécharger des scans en 3D de lieux réels.

Le développeur du jeu, Niantic, vient également d’acquérir la start-up 6D.ai pour une somme non divulguée. Le directeur général Jon Hanke a annoncé les ambitions des entreprises : « Ensemble, nous construisons une carte dynamique du monde en 3D pour permettre de nouvelles expériences de RA à l’échelle de la planète. »

Et ce n’est pas seulement Niantic. En février, Facebook a acquis Scape Technologies, une start-up de RA qui créait une carte en 3D du monde entier, et le jeu mobile Minecraft Earth AR de Microsoft propose le même genre de jeu de RA à l’échelle de la planète.

Ces scanners, et ce type de collecte de données, nous affecteront probablement tous dans un avenir proche.

Transformer la collecte de données en un jeu

L’une des raisons de l’énorme succès de Niantic est la façon dont il utilise les jeux numériques pour collecter des données sur le monde.

Niantic a été initialement créé sous le nom de Keyhole Inc par John Hanke en 2001 avec le soutien de la société de capital-risque technologique de la CIA, In-Q-Tel. La société a développé des technologies de cartographie utilisées par l’armée américaine au début des années 2000.

Keyhole Inc a été racheté par Google en 2004 et a joué un rôle déterminant dans le développement de Google Maps. En 2010, Keyhole a été rebaptisé Niantic et s’est concentré sur les jeux. Elle a fait partie de Google jusqu’en 2015, date à laquelle elle est redevenue une entreprise indépendante.

En 2012, Niantic a lancé un jeu appelé Ingress, qui permettait aux joueurs de photographier et de télécharger des millions de lieux d’intérêt qui devenaient des « portails » au sein du jeu.

Captures d’écran de la fonction de balayage du portail d’entrée, via Niantic. Brian/Niantic

Ces portails sont devenus l’infrastructure sous-jacente qui alimente Pokémon Go et d’autres jeux, mais les données recueillies sur la façon dont les joueurs se déplacent dans le monde pendant qu’ils jouent sont tout aussi précieuses.

Le dernier jeu de Niantic, Harry Potter : Wizards Unite, collecte la position de chaque joueur toutes les cinq secondes environ, ce qui suffit souvent pour reconnaître les comportements individuels et détecter les détails intimes de leur vie.

Les entreprises technologiques et les investisseurs pensent que ce type de données est extrêmement précieux. En décembre 2019, Niantic a levé des fonds pour une valeur de 3,9 milliards de dollars.

L’avenir de la réalité est augmenté

Les scans 3D que les joueurs de Pokémon Go collectent sont destinés à créer de nouvelles possibilités dans le jeu, mais ils donneront aussi à la plateforme de Niantic pour les développeurs de RA un avantage sur les concurrents.

Le fait de disposer d’un système capable de reconnaître les environnements 3D dans le monde entier permet aux développeurs de créer plus facilement des expériences de RA partagées et des environnements qui « existent » même lorsque l’utilisateur se déconnecte.

Apple, Facebook, Microsoft et Google développent tous des produits de RA susceptibles de dépendre d’une technique appelée localisation et cartographie simultanées ou SLAM pour scanner en permanence et collecter des données sur l’environnement physique des utilisateurs.

Le prochain iPhone serait équipé d’un puissant scanner LiDAR permettant de créer des scans 3D plus détaillés et de mieux soutenir l’écosystème AR d’Apple.

Facebook a acquis la société de réalité virtuelle (RV) Oculus en 2014 pour 2,3 milliards de dollars, et Mark Zuckerberg considère que le succès de la RV est la clé des ambitions de la société en matière de RV.

C’est ce qu’illustre bien LiveMaps, une technologie démontrée par Andrew Bosworth de Facebook lors de la conférence des développeurs Oculus Connect de 2016.

Tout système tel que LiveMaps exigera la collecte constante de données finement détaillées sur le domicile des utilisateurs et sur tout ce qui s’y trouve :

« Les lunettes AR vont scanner les environs pour créer un index dynamique en direct amplifié par des données provenant de la foule, permettant aux cartes de reconnaître quand les choses ont changé et de se mettre à jour automatiquement. »

Les implications de la réalité augmentée

Que signifiera la réalité augmentée omniprésente ? Au-delà des possibilités relativement bénignes telles que des publicités plus ciblées, nous devons réfléchir de manière critique aux conséquences de technologies comme celles-ci avant qu’elles ne soient fermement ancrées.

Comme l’a fait valoir le futurologue australien Mark Pesce ; « De par leur mode de fonctionnement, les systèmes de réalité augmentée doivent simultanément agir comme des systèmes de surveillance très sophistiqués ».

La collecte croissante et non réglementée de données spatiales à travers le monde a le potentiel de créer de puissants systèmes de surveillance, de contrôle et d’influence. On a examiné ce potentiel en détail dans un récent rapport sur les implications éthiques des nouvelles technologies de réalité mixte.

Mieux vaut prévenir que guérir

Comme les technologies telles que la reconnaissance faciale, les données spatiales granulaires peuvent être utilisées pour dominer, opprimer et discipliner les populations, et en particulier les plus marginalisées de la société. Au fur et à mesure que l’on prend conscience des problèmes liés à la reconnaissance faciale, des entreprises telles qu’IBM et Amazon ont récemment commencé à prendre leurs distances par rapport à cette technologie.

Nous constatons déjà la croissance rapide d’une industrie de la RA qui ne vend pas (au moins uniquement) sur le marché commercial, mais plutôt sur les lieux de travail, les forces de l’ordre, les agences de sécurité et l’armée.

Casques intelligents AR utilisés en Italie pendant la pandémie de Covid-19. Ces appareils peuvent scanner des foules de personnes et déclencher une alarme, malgré le peu de preuves en faveur du contrôle de la température comme mesure préventive. Ces mêmes appareils disposent de modes de reconnaissance faciale automatique et d’autres capacités de surveillance. LaPresse / Sipa USA

Comme l’a montré le scandale de Cambridge Analytica, l’impact dangereux des technologies émergentes n’est souvent réalisé que lorsqu’elles ont fait quelques dégâts.

Si ce que nous partageons sur les médias sociaux peut être utilisé pour influencer les élections, à quoi pourraient servir les données sur le contenu de notre maison ? Ou tout ce que nous rencontrons dans une journée donnée ?

Prenons ces technologies pour ce qu’elles sont réellement : pas seulement pour le divertissement, mais des appareils permettant d’extraire des données et d’accumuler du pouvoir et du profit.

19 juin 2020