Le nouveau logiciel de réalité virtuelle qui permet aux chercheurs de « marcher » à l’intérieur et d’analyser des cellules individuelles pourrait être utilisé pour comprendre les problèmes fondamentaux de la biologie et développer de nouveaux traitements pour les maladies.
marcher dans les cellules avec vLume
Le logiciel, appelé vLUME, a été créé par des scientifiques de l’université de Cambridge et la société de logiciels d’analyse d’images 3D Lume VR Ltd. Il permet de visualiser et d’analyser des données de microscopie à super-résolution en réalité virtuelle, et peut être utilisé pour étudier tout, des protéines individuelles aux cellules entières. Des détails sont publiés dans la revue Nature Methods.
La microscopie à super-résolution, qui a reçu le prix Nobel de chimie en 2014, permet d’obtenir des images à l’échelle nanométrique en utilisant des astuces physiques pour contourner les limites imposées par la diffraction de la lumière. Cela a permis aux chercheurs d’observer les processus moléculaires au fur et à mesure qu’ils se produisent. Cependant, un problème a été le manque de moyens pour visualiser et analyser ces données en trois dimensions.
« La biologie se fait en 3D, mais jusqu’à présent, il était difficile d’interagir avec les données sur un écran d’ordinateur en 2D de manière intuitive et immersive », a déclaré le Dr Steven F. Lee du département de chimie de Cambridge, qui a dirigé les recherches. « Ce n’est que lorsque nous avons commencé à voir nos données en réalité virtuelle que tout s’est mis en place ».
Le projet vLUME
Le projet vLUME a débuté lorsque Lee et son groupe ont rencontré les fondateurs de Lume VR lors d’un événement d’engagement public au Science Museum de Londres. Alors que le groupe de Lee était spécialisé dans la microscopie à super-résolution, l’équipe de Lume s’est spécialisée dans l’informatique spatiale et l’analyse des données, et ensemble ils ont pu développer vLUME en un nouvel outil puissant pour explorer des ensembles de données complexes en réalité virtuelle.
« vLUME est un logiciel d’imagerie révolutionnaire qui fait entrer l’homme à l’échelle nanométrique », a déclaré Alexandre Kitching, PDG de Lume. « Il permet aux scientifiques de visualiser, d’interroger et d’interagir avec des données biologiques en 3D, en temps réel, le tout dans un environnement de réalité virtuelle, pour trouver plus rapidement des réponses aux questions biologiques. C’est un nouvel outil pour de nouvelles découvertes ».
Visualisation de données
La visualisation de données de cette manière peut stimuler de nouvelles initiatives et idées. Par exemple, Anoushka Handa, une doctorante du groupe de Lee a utilisé le logiciel pour imager une cellule immunitaire prélevée dans son propre sang, puis se tenant à l’intérieur de sa propre cellule en réalité virtuelle. « C’est incroyable, cela vous donne une perspective entièrement différente sur votre travail », a-t-elle déclaré.
Le logiciel permet de charger plusieurs ensembles de données avec des millions de points de données et de trouver des modèles dans les données complexes en utilisant des algorithmes de regroupement intégrés. Ces résultats peuvent ensuite être partagés avec des collaborateurs du monde entier grâce aux fonctions d’image et de vidéo du logiciel.
« Les données générées par la microscopie à super-résolution sont extrêmement complexes », a déclaré M. Kitching. « Pour les scientifiques, l’analyse de ces données peut prendre beaucoup de temps. Avec vLUME, nous avons réussi à réduire considérablement ce temps d’attente, ce qui permet des tests et des analyses plus rapides ».
L’équipe utilise principalement vLUME avec des ensembles de données biologiques, tels que les neurones, les cellules immunitaires ou les cellules cancéreuses. Par exemple, le groupe de Lee a étudié comment les cellules antigéniques déclenchent une réponse immunitaire dans l’organisme. « Grâce à la segmentation et à la visualisation des données dans vLUME, nous avons pu rapidement écarter certaines hypothèses et en proposer de nouvelles », a déclaré M. Lee. Ce logiciel permet aux chercheurs d’explorer, d’analyser, de segmenter et de partager leurs données de manière inédite. Tout ce dont vous avez besoin, c’est d’un casque de RV« .
Une grande partie de l’intérêt actuel pour la réalité virtuelle (RV) se concentre sur la façon dont elle pourrait être un nouveau format pour mieux engager le cerveau dans l’apprentissage, et comment ce nouveau média affecte la conservation de la mémoire, et pour mieux engager l’intérêt de ceux qui regardent la RV.
Conservation de la mémoire via la VR
Si cette technologie immersive excelle certainement dans ces objectifs et a le potentiel de perturber de manière significative la formation et l’éducation, lorsqu’il s’agit de faire des déclarations audacieuses sur la manière dont la RV affecte directement la façon dont notre cerveau accepte et retient l’information, nous devons revenir en arrière et examiner la science pour savoir comment les applications virtuelles sont exactement capables de faire cela.
C’est pourquoi, dans cet article, nous allons nous plonger dans la manière dont la RV aide exactement à la rétention de la mémoire et dans certains domaines que cette technologie cible de manière transparente, en examinant deux études publiées en 2018.
Introduction à l’attention et à la mémoire
Avant de commencer à déballer la RV et la conservation de la mémoire, prenons brièvement un cours accéléré sur la façon dont notre cerveau comprend, traite et rappelle les informations.
L’encodage fait référence au processus naturel du cerveau pour convertir l’information en une construction qui sera stockée dans la mémoire à court ou à long terme. Selon Boundless Psychology, cela revient à « appuyer sur « Enregistrer » sur un fichier informatique ». Votre cerveau filtre, traite et organise constamment l’information dans ces catégories afin de stocker ce qui est important pour éviter de vous submerger par la mémorisation de chaque élément d’information.
Vous avez probablement déjà vécu cela à l’école, notamment lorsque vous vous entassez pour les tests et les examens, en essayant de lire et de vous souvenir du contenu que vous devez connaître pour réussir un cours. Cependant, la clé pour se souvenir et se rappeler des informations est de faire la transition entre ce que vous avez appris de la mémoire à court terme et ce que vous avez appris à long terme. Pour ce faire, les connexions neuronales doivent être renforcées par la répétition et par le ciblage de nos sens comme la vue et le son.
Améliore significativement le rappel
Dans une étude menée par Eric Krokos, Catherine Plaisant et Amitabh Varshney, chercheurs de l’université du Maryland, leur principal objectif était de déterminer si les participants apprennent mieux dans un environnement virtuel que sur des plateformes traditionnelles comme les ordinateurs de bureau ou les tablettes. Plus précisément, leur principal objectif était de savoir si la RV affecte la capacité de mémorisation d’une personne. Les chercheurs ont immergé les participants dans un « palais de la mémoire », où les gens se souviennent d’un objet ou d’un article en le plaçant dans un lieu physique imaginaire. En présentant les informations dans ce format, les chercheurs ont utilisé un codage mnémonique spatial qui, en termes simples, fait référence à la capacité du cerveau à organiser spatialement les pensées et les souvenirs.
Les chercheurs ont découvert que les participants obtenaient un score d’au moins 10 % supérieur en termes de capacité de rappel avec une application de RV. Bien que ce chiffre puisse sembler faible, les chercheurs partagent l’avis que ce résultat est statistiquement significatif, et n’est pas attribué au hasard. Le fait de pouvoir visualiser et voir dans un espace immersif a été la clé de cette amélioration des résultats de rappel. C’est parce qu’avec la RV, l’expérience donne aux participants une véritable sensation d’entrer dans un espace et leur permet de créer numériquement leurs propres expériences vécues. C’est l’action de tirer parti de la capacité naturelle d’une personne à sentir la position, le mouvement et l’accélération du corps qui peut améliorer l’apprentissage et le rappel.
Conduit à une meilleure concentration
Dans la même étude, les participants ont décrit comment l’immersion a joué un rôle important en les aidant à rester concentrés sur la tâche. Comme les chercheurs utilisaient un casque à écran monté sur la tête (HMD) pour comparer avec l’apprentissage via un bureau, les participants ont pu utiliser et expérimenter le matériel qui offrait l’effet le plus immersif. Comme le HTC Vive ou Oculus Rift, les HMD s’adaptent de la même manière que les lunettes de protection, avec un bord qui est là pour bloquer la lumière et d’autres stimuli étrangers que nous pourrions capter dans notre vision périphérique.
Cela crée l’environnement parfait pour que les utilisateurs puissent se concentrer pleinement sur l’expérience de la RV, ce qui est exactement ce que les participants à cette étude ont constaté. C’est ce zonage en effet qui a aidé les participants à faire l’expérience du « sens supérieur de la conscience spatiale qui, selon eux, était importante pour leur succès ». Non seulement l’immersion totale a aidé les participants à se concentrer et à être plus performants, mais les chercheurs ont également constaté que tous les participants, sauf deux, préféraient utiliser le HMD pour cette tâche plutôt qu’un ordinateur de bureau ordinaire.
Plus de plaisir grâce à la présence spatiale
En ce qui concerne la conscience spatiale, l’étude de Yeonhee Cho de l’université de Syracuse s’est penchée spécifiquement sur les effets d’une présence numérique en RV et sur son impact sur la conservation de la mémoire. Un résultat frappant est la fonction de plaisir dans la mémoire et le souvenir. Comme dans l’étude de Krokos, Plaisant et Varshney, Cho a comparé l’apprentissage avec des applications de bureau et des expériences de RV immersives par rapport à l’apprentissage d’une seconde langue. Les participants de Cho étaient de sexe et d’origine différents, mais ils avaient une chose en commun : ils n’avaient pas d’éducation ou d’expérience préalable avec la langue coréenne.
Les résultats de cette étude se sont partiellement concentrés sur le plaisir d’apprendre et ont mis en évidence la façon dont le fait d’être diverti affecte l’ensemble du processus d’apprentissage. Cho note que le plaisir réduit le stress ou la peur, en particulier lorsqu’il s’agit de naviguer sur des sujets ou dans des environnements peu familiers, ce qui donne aux participants un nouveau sentiment de motivation et quelque chose à attendre avec impatience. Et puisque la RV s’assoie encore fortement aux applications et aux divertissements basés sur le jeu, la tendance à considérer le matériel de cette manière peut en fait être favorable. Cho a constaté que les systèmes basés sur le jeu utilisent le plaisir pour renforcer la confiance et la motivation des utilisateurs sans qu’ils aient à réagir négativement.
La science de la réalité virtuelle et de la conservation de la mémoire
On peut dire sans risque de se tromper que les participants aux deux études ont fait écho à une réaction extrêmement positive en utilisant la RV dans les applications d’apprentissage. Cependant, la question reste posée : la RV aide-t-elle à conserver la mémoire ? En bref, oui, absolument. En ciblant la manière dont nous apprenons et traitons les informations, en captant notre attention tout en la rendant amusante et excitante, la RV coche un grand nombre de cases qui rendront les expériences inoubliables.
Si ces résultats sont particulièrement utiles pour les rédacteurs de programmes et le secteur de l’éducation, ils ont également des implications positives pour les adultes en formation sur le lieu de travail et pour aider les gens à apprendre et à retenir les procédures de sécurité ou les réponses aux crises. Il y a également des implications pour le marketing de la RV, avec un outil qui capte l’attention du client et fait en sorte que votre produit ou service se distingue de la masse. La RV est un nouveau média qui n’a pas fait l’objet de nombreuses études sur son impact sociétal, mais sa capacité à laisser des impressions sur la mémoire et à aider à la rétention a des implications importantes dans tous les secteurs et dans tous les secteurs verticaux.
Les scientifiques de la NASA qui utilisent la technologie de la réalité virtuelle redéfinissent notre compréhension du fonctionnement de notre galaxie.
Grâce
à une simulation personnalisée de réalité virtuelle (RV) en 3D qui a permis
d’animer la vitesse et la direction de 4 millions d’étoiles dans le voisinage
de la Voie lactée, l’astronome Marc Kuchner et la chercheuse Susan Higashio ont
obtenu une nouvelle perspective sur les mouvements des étoiles, améliorant
notre compréhension des groupements d’étoiles.
Les
astronomes sont parvenus à des conclusions différentes sur les mêmes groupes
d’étoiles en les étudiant en six dimensions à l’aide de graphiques sur papier,
a déclaré Higashio. Les groupes d’étoiles qui se déplacent ensemble indiquent
aux astronomes qu’ils sont nés au même moment et au même endroit, du même
événement cosmique, ce qui peut nous aider à comprendre comment notre galaxie a
évolué.
L’équipe
de réalité virtuelle de Goddard, dirigée par Thomas Grubb, a animé ces mêmes
étoiles, révolutionnant le processus de classification et rendant les groupes
plus faciles à voir, a déclaré M. Higashio. Ils ont trouvé des étoiles qui ont
peut-être été classées dans les mauvais groupes ainsi que des groupes d’étoiles
qui pourraient appartenir à des groupements plus importants.
Kuchner
a présenté les résultats lors de la conférence annuelle de l’Union géophysique
américaine (AGU) début décembre 2019. Kuchner et Higashio, tous deux du Goddard
Space Flight Center de la NASA à Greenbelt, dans le Maryland, prévoient de
publier un article sur leurs découvertes l’année prochaine, en compagnie de
l’ingénieur Matthew Brandt, l’architecte de la simulation PointCloudsVR qu’ils ont
utilisé.
« Plutôt que de consulter une base de données puis une autre, pourquoi ne pas y aller en avion et les regarder toutes ensemble », a déclaré M. Higashio. Elle a regardé ces simulations des centaines, voire des milliers de fois, et a déclaré que les associations entre les groupes d’étoiles devenaient plus intuitives à l’intérieur du cosmos artificiel que l’on trouve dans le casque VR. L’observation des étoiles dans la RV va redéfinir la compréhension des astronomes de certaines d’étoiles individuelles ainsi que des groupes d’étoiles.
La
visualisation en 3D a aidé Kuchner à comprendre comment le quartier stellaire
local s’est formé, ouvrant une fenêtre sur le passé, a déclaré Kuchner.
« Nous trouvons souvent des groupes de jeunes étoiles qui se déplacent
ensemble, ce qui suggère qu’elles se sont toutes formées en même temps », a
déclaré Kuchner. « On pense qu’ils représentent un événement de formation
stellaire. Elles se sont toutes formées au même endroit et au même moment, et
donc elles se déplacent ensemble ».
« Les
planétariums téléchargent toutes les bases de données sur lesquelles ils
peuvent mettre la main et ils emmènent les gens à travers le cosmos », a
ajouté M. Kuchner. « Je ne vais pas construire un planétarium dans mon
bureau, mais je peux mettre un casque et je serai là. »
Réaliser une vision
Cette
découverte a concrétisé une vision pour Peter Hughes, le technologue en chef de
Goddard, qui a vu le potentiel de la RV pour aider à la découverte scientifique
lorsqu’il a commencé à financer le projet de RV de l’ingénieur Thomas Grubb il
y a plus de trois ans dans le cadre du programme de recherche et développement
interne (IRAD) du centre et des fonds d’innovation du centre de la NASA
[CuttingEdge, 2017]. « Toutes nos technologies permettent d’une certaine
manière l’exploration scientifique de notre univers », a déclaré M. Hughes.
« Pour nous, la découverte scientifique est l’une des raisons les plus
convaincantes pour développer une capacité de RA/VR. »
La
découverte scientifique n’est pas le seul bénéficiaire du laboratoire de Grubb.
Les
mondes de la RV et de la réalité augmentée (RA) peuvent aider les ingénieurs de
la NASA, a déclaré M. Grubb. La RV place le spectateur dans un monde simulé,
tandis que la RA superpose des informations générées par ordinateur au monde
réel. Depuis que les premiers casques VR sont arrivés sur le marché en 2016, M.
Grubb a déclaré que son équipe a commencé à développer des solutions, comme le
monde de la poursuite des étoiles qu’ont exploré Kuchner et Higashio, ainsi que
des applications pratiques virtuelles pour les ingénieurs travaillant sur les
missions d’exploration et d’entretien des satellites de la prochaine
génération.
Applications d’ingénierie
L’équipe
RV/AR de Grubb travaille actuellement à la réalisation des premières rencontres
intra-agences en réalité virtuelle, ou revues de conception, ainsi qu’au
soutien direct des missions. Parmi ses clients figurent le projet Restore-L,
qui développe une série d’outils, de technologies et de techniques nécessaires
pour prolonger la durée de vie des satellites, la mission WFIRST (Wide Field
Infrared Survey Telescope) et divers projets de science planétaire.
« Le
matériel est là, le support est là », a déclaré M. Grubb. « Le logiciel
est à la traîne, de même que les conventions sur la façon d’interagir avec le
monde virtuel. Vous n’avez pas de conventions simples comme le pincement et le
zoom ou la façon dont chaque souris fonctionne de la même façon lorsque vous
faites un clic droit ou un clic gauche ».
C’est
là qu’intervient l’équipe de Grubb, a-t-il dit. Pour surmonter ces problèmes de
convivialité, l’équipe a créé un cadre appelé « Mixed Reality Engineering
Toolkit » et forme des groupes sur la façon de l’utiliser. Le MRET, qui est
actuellement disponible pour les agences gouvernementales, aide à l’analyse des
données scientifiques et permet la conception d’ingénierie basée sur la RV : de
la conception de concepts pour CubeSats à l’intégration et au test de matériel
simulé pour les missions et les visualisations en orbite comme celle de
Restore-L.
Pour
les ingénieurs et les concepteurs de missions et d’engins spatiaux, la RV offre
des économies dans la phase de conception/construction avant qu’ils ne
construisent des maquettes physiques, a déclaré M. Grubb. « Vous devez
toujours construire des maquettes, mais vous pouvez travailler sur un grand
nombre d’itérations avant de passer au modèle physique », a-t-il déclaré.
« Ce n’est pas vraiment bon pour le commun des mortels de parler du cheminement
des câbles, mais pour un ingénieur, pouvoir le faire dans un environnement
virtuel et savoir de combien de câbles vous avez besoin et à quoi ressemble le
cheminement, c’est très excitant ».
Dans
une maquette du vaisseau spatial Restore-L, par exemple, Grubb a montré comment
la simulation RV permettrait à un ingénieur de « dessiner » un chemin
de câble à travers les instruments et les composants, et le logiciel fournit la
longueur de câble nécessaire pour suivre ce chemin. Les trajectoires des outils
pour construire, réparer et entretenir le matériel peuvent également être
élaborées virtuellement, jusqu’à ce que l’outil s’adapte et soit utilisable
dans des espaces confinés.
En
outre, l’équipe de M. Grubb a travaillé avec une équipe du centre de recherche
de Langley de la NASA à Hampton, en Virginie, l’été dernier, afin de déterminer
comment interagir avec les visualisations sur les réseaux de communication de
la NASA. Cette année, ils prévoient de permettre aux gens de Goddard et de
Langley d’interagir pleinement avec la visualisation. « Nous serons dans le
même environnement et lorsque nous pointerons ou manipulerons quelque chose
dans l’environnement, ils pourront le voir », a déclaré M. Grubb.
La science augmentée : un meilleur avenir
Pour
Kuchner et Higashio, l’idée de pouvoir présenter leurs découvertes dans un
monde de RV commun était passionnante. Et comme Grubb, Kuchner pense que les
casques RV seront un outil scientifique plus commun à l’avenir. « Pourquoi
ne serait-ce pas un outil de recherche qui se trouve sur le bureau de chaque
astrophysicien », dit-il. « Je pense que ce n’est qu’une question de
temps avant que cela ne devient courant. »
Un entretien avec le Dr. Christopher Zugates, Ingénieur d’application chez arivis AG, pour discuter d’une méthode révolutionnaire d’analyse d’images 3D microscopiques à travers la réalité virtuelle !
Image : Dr. Christopher Zugates, arivis AG
Quels sont les principaux défis auxquels les scientifiques sont confrontés lorsqu’il s’agit d’analyser des images microscopiques 3D ?
L’un
des plus grands défis de la microscopie 3D sont la taille et la complexité des
images que nous sommes maintenant capables de capturer. Les progrès
technologiques signifient que non seulement nous captons plus d’informations
sur un échantillon, mais que nous sommes également capables d’effectuer plus
d’analyses en utilisant ces informations.
Le
premier défi à relever avec des microscopes aussi perfectionnés est de trouver
comment examiner une image très complexe en premier lieu ! Lorsque vous avez
des ensembles de données massifs, des volumes massifs ou des mouvements 3D,
comment devons-nous voir ces données et comment pouvons-nous les explorer ?
Les
chercheurs doivent maintenant décider la meilleure façon d’analyser et de
présenter les données sur des images 3D complexes, et de partager cette
information avec la communauté scientifique.
Qu’est-ce qu’un InViewR ?
InViewR est une application qui permet aux chercheurs d’enfiler un casque de réalité virtuelle commercial et d’être immergés dans des images microscopiques 3D. Au lieu de voir une image 3D sur un écran d’ordinateur 2D, les données vous sont présentées sous forme d’objets à proximité que vous pouvez atteindre et toucher. Cela vous permet de manipuler les données d’une manière que vous n’auriez pas pu faire auparavant.
D’après
une expérience de recherche, on a pu voir un objet dans un coin éloigné de
l’image et l’atteindre et le toucher immédiatement. Il n’y a presque aucune
sensation autour. Le cerveau savait déjà qu’il fallait déplacer la main à une
certaine distance. On pouvait déplacer les structures, les faire pivoter et les
observer sous tous les angles. On pouvait même mettre quelque chose derrière le
corps et tendre la main, sans regarder, l’attraper et la tirer de nouveau !
Avec
un écran plat, vous perdez le contact avec la réalité. Vous avez commencé avec
de vrais matériaux tridimensionnels et vous avez fait, par exemple, de
l’immunohistochimie, puis vous avez fait de l’imagerie et soudain, cela ne
ressemble plus du tout aux matières premières. Dans le casque VR, le matériau
redevient réel. Je pense que c’est un
avantage de l’InViewR et du rendu des données 3D brutes en général basé sur la
RV.
Dans
le casque VR, vous pouvez à nouveau interagir avec le matériau. Vous pouvez le
tourner, aller à l’intérieur, faire des coupes transversales avec vos mains et
surtout, effectuer des mesures très précises de manière efficace et
confortable.
Ceci
est particulièrement utile pour le traçage des neurones. Il s’agit d’un outil
qui est adapté à votre main, de sorte que lorsque vous tendez la main et
touchez un neurone, l’outil le reconnaît et mesure la distance et le diamètre
au fur et à mesure que vous vous déplacez vers le bas de l’axone.
Il
vous permet de coopérer avec un algorithme pour trouver le point central d’un
axone et le tracer. C’est un monde à part pour l’observation d’images sur un
écran plat, mais c’est beaucoup plus comme si vous travailliez naturellement
avec vos mains comme vous le faites en laboratoire.
https://youtu.be/HQfGn0HXhI4
Comment la RV peut-elle transformer la façon dont les chercheurs analysent et présentent les données ?
Il y
a certainement des gains d’efficacité à réaliser en faisant les choses dans la
réalité virtuelle. Manipuler et analyser des images sur un écran d’ordinateur
est faisable, mais il serait beaucoup plus efficace de simplement tendre la
main et toucher l’image, dessiner un objet ou mesurer une certaine distance
entre les objets.
Un
autre endroit où la réalité virtuelle sera importante est le partage de la
signification de votre travail. Les scientifiques présentent généralement nos
données les uns aux autres à l’aide de présentations PowerPoint, qui est un
format 2D. On essaye toujours d’expliquer ce qu’on a vu par des mots ou des
images en 2D. Chez arivis, ils ont remarqué au fil des ans que la RV est une
superbe façon de raconter l’histoire. Les scientifiques sont capables de
partager leur travail en mettant un collègue dans leur ensemble de données et
en repérant les zones d’importance.
Cela
peut aussi être utile pour les laboratoires d’enseignement. Quand les
scientifiques ont commencé leurs études supérieures, ils ont suivi une
formation de neurobiologiste. Une grande partie de cette formation initiale
consistait à lire des documents que d’autres personnes avaient écrits, et ce
processus d’apprentissage se poursuit toute la vie. Il y a un écart énorme entre
la lecture de ces documents qui affichent des images en 2D et le fait d’avoir
le matériel en main. La RV pourrait être un pont pour l’éducation, où vous
pouvez montrer aux gens les structures des tissus et des organes en dehors du
laboratoire.
Un
des plus grands avantages pour les scientifiques sera d’analyser des images où
il y a beaucoup de mélange de structures. Par exemple, si vous voulez observer
un neurone qui passe d’un plan à l’autre, et qui se croise avec beaucoup
d’autres neurones sur son chemin. Ils ont voulu observer chaque neurone
individuellement, car chacune de ces structures a quelque chose de spécial, et
ils veulent comprendre leurs propriétés individuellement. Pour ce faire, ils
doivent démêler chaque neurone et les séparer les uns des autres.
À
moins qu’un algorithme soit assez intelligent pour examiner le flux et la
continuité structurale sur de longues distances, il ne pourrait pas séparer des
neurones très proches les uns des autres. En utilisant la RV, vous pouvez voir
la texture du neurone et votre cerveau peut distinguer une structure d’une
autre, même lorsque les neurones se touchent et se croisent. Ceci est
extrêmement puissant pour l’analyse des données et vous permet de récupérer une
grande quantité d’informations.
C’est
la même chose avec les cellules vivantes. Les scientifiques ont travaillé avec
un client qui étiquette les vésicules qui se déplacent rapidement autour d’une
cellule. En utilisant le casque VR, on peut s’asseoir à l’intérieur d’une des
cellules et voir les vésicules se déplacer. C’est comme si notre cerveau
remplissait les vides ; on peut facilement voir que cette vésicule a sauté
d’ici à là, et on peut la retracer.
On
peut mettre un doigt dessus et suivre sa trajectoire autour de la cellule. On
voit des vésicules entrer dans la vision périphérique qui traverse le champ
visuel et se déplace de l’autre côté. C’est facile pour vous si vous pouvez le
voir, mais cela peut être relativement difficile à résoudre sur un ordinateur.
Pourquoi avez-vous estimé qu’il était important de développer une technologie qui permettra aux scientifiques de « se promener » dans leurs données ?
Il y
a quatre ans, les scientifiques ont exploré l’utilisation de la réalité
virtuelle dans la recherche pour le plaisir ! Ils ont apporté leur premier
système de RV à la conférence annuelle de la Society for Neuroscience et des
centaines de personnes sont venues mettre les casques VR, qui volaient tous à
l’intérieur des images.
Après
le spectacle, ils ont commencé à chercher comment ils puissent convertir
l’expérience de la RV en quelque chose d’amusant, en quelque chose
scientifiquement utile. Ils ont examiné chaque aspect du problème, de la
narration à l’échange de données, et même la RV collaborative où deux personnes
peuvent être là en même temps.
Ils
ont ensuite pensé que, s’il est facile d’atteindre et de toucher un objet,
peut-être qu’ils devraient ajouter des options de peinture ou de sculpture pour
aider les chercheurs à résoudre les problèmes de segmentation. Beaucoup de
chercheurs ont dit qu’ils voulaient pouvoir marquer facilement des épines
dendritiques sur un neurone. Les scientifiques ont réalisé que s’ils rendent le
flux de travail très facile, où vous cliquez simplement sur un bouton et vous
marquez instantanément l’objet, alors cela pourrait être une façon très
efficace de faire cette tâche commune.
Ils
ont également trouvé des moyens simples de mesurer la distance 3D entre des
points et de faire de la sculpture 3D à main levée sur des images. Maintenant,
ils combinent ces outils avec l’intelligence des machines pour rendre les
résultats de plus en plus précis. C’est
pourquoi ils ont lancé cette année leur nouvel outil intelligent de traçage des
neurones.
Parallèlement,
ils ont pris un grand nombre d’outils et d’astuces différents et ont commencé à
les intégrer dans des flux de travail. Maintenant, on peut voir les gens se
connecter avec la RV comme un outil d’analyse au lieu de simplement s’amuser.
https://youtu.be/cRZs9CCAeBU
Pour quels domaines de recherche l’InViewR a-t-il été conçu ?
Au
début, les chercheurs scientifiques n’ont pas pensé aux domaines qu’ils
voulaient aborder, ils voulaient juste rendre les données 3D accessibles et
faciles à analyser. Plus tard, ils ont commencé à développer des flux de
travail pour les neuroscientifiques, car les scientifiques de ces domaines
repoussent vraiment les limites de la taille et du contenu informationnel
stocké dans une image.
L’imagerie
de tissus neuronaux complexes exige une haute résolution spatiale et
temporelle, ce qui explique pourquoi ils se prêtent très bien à une analyse RV.
On peut voir dans la RV des structures individuelles qui autrement
apparaîtraient comme un enchevêtrement indiscernable de neurones sur un écran
2D.
Avec
une image très dense, il peut être nécessaire de tourner l’image de la bonne
façon pour voir quelque chose dans une coupe transversale, et sur un écran avec
une souris, cela peut être difficile et frustrant. Au lieu de cliquer et
d’essayer de déplacer un plan de coupe avec une souris et un clavier, dans
l’environnement RV, vous devez juste bouger votre tête naturellement ! Vous
pouvez, bien sûr, faire pivoter l’ensemble de données, mais vous pouvez aussi
faire des ajustements avec votre tête pour obtenir la vue parfaite.
Quelles sont les principales différences entre la RV et la visualisation des résultats sur un écran d’ordinateur 2D ?
Si
vous pensez à votre environnement physique, disons que vous êtes dans votre
maison ou votre bureau, il y a une certaine façon d’organiser physiquement la
pièce. Vous avez ceci ici et cela là. D’une certaine façon, il est très facile
pour votre cerveau de se rappeler où se trouvent vos outils et vos matériaux.
Cela
signifie que vous pouvez organiser et travailler dans l’espace d’une manière
vraiment efficace. C’est comparable à l’environnement de la RV. Vous avez
devant vous cet objet que vous pouvez toucher et avec lequel vous pouvez
travailler efficacement. Je peux retourner à cet endroit. Je peux aller à cet
endroit. Je peux tracer une ligne de A à B à C à D très facilement, parce que
mon cerveau le perçoit comme un objet réel.
Comment la technologie aide-t-elle les scientifiques à corriger les problèmes de segmentation ?
Tout
le monde veut prendre des mesures à partir de ses images. Le faire sur un écran
bidimensionnel où vous dessinez plan par plan qui peut très précis mais peut
aussi prendre du temps et être laborieux.
Dans l’environnement RV, beaucoup plus d’informations sur les endroits
où il y a des erreurs de segmentation sont transmises à l’utilisateur en même
temps et il peut les corriger efficacement.
Vous
êtes penché sur un écran d’ordinateur pendant des heures, essayant de manipuler
l’image. Avec la réalité virtuelle, vous êtes debout ou assis, et vous étendez
vos mains de la façon dont vous les utilisez naturellement. Il n’est plus
nécessaire d’utiliser un clavier ou une souris, ce qui rend la tâche moins
dommageable pour les articulations et la musculature. Si vous travaillez rapidement, cela peut même
être un bon entraînement.
Dites-nous en plus sur l’utilisation de la technologie. Fonctionne-t-elle avec un système d’imagerie 3D ?
Oui
! la technologie prend des images de n’importe quel système 3D, ou de n’importe
quelle modalité 3D dans le temps, et elle essaye de rendre ce processus aussi
facile que possible pour les utilisateurs. Si vous regardez à l’intérieur de
logiciel, il y a une longue liste de différents types de fichiers qui prend en
charge. Les développeurs essayent de rendre ce processus aussi simple que
possible.
Dans
la plupart des cas, c’est simplement un exercice de glisser-déposer. Vous
faites simplement glisser le fichier sur le bureau, le logiciel l’importe dans
le casque VR et vous êtes prêt à partir.
Quel sera le rôle de la réalité virtuelle dans le futur ?
Je
pense que nous verrons les scientifiques utiliser de plus en plus la réalité
virtuelle. Je pense aussi qu’ils commenceront à passer à la réalité augmentée
(RA), au fur et à mesure que la technologie évoluera. Le travail dans l’environnement virtuel va prendre
feu à mesure que les casques VR deviendront plus confortables et plus
accessibles.
La
façon dont nous utilisons nos mains dans l’environnement VR va probablement
s’améliorer aussi. Pour l’instant, nous utilisons des contrôleurs avec quelques
boutons, mais il y a beaucoup de technologies prometteuses qui permettront aux
gens d’utiliser leurs mains. Elles intègrent des choses comme la rétroaction
vibratoire, mais aussi la rétroaction de pression et la rétroaction thermique.
Il y a toutes ces autres dimensions qui peuvent être ajoutées pour que les
données soient perçues comme un véritable objet.
“Je
ne sais pas si nous travaillerions en permanence dans le monde de la RV. Nous
avons développé notre outil de RV d’une manière telle que les tâches que vous y
accomplissez sont très spécialisées. Nous ne nous attendons pas à ce que vous
mettiez le casque VR et que vous vous asseyiez là toute la journée pour faire
tout votre travail. En ce moment, nous utilisons la RV pour résoudre des
problèmes spéciaux.” a écrit un des scientifiques qui ont développé InViewR.
“Il
y a encore beaucoup de tâches que vous voudrez faire de manière traditionnelle
sur l’ordinateur. Une des particularités de notre application RV est qu’elle
s’adapte à toutes nos autres applications. Nous avons une application qui est
très riche en fonctionnalités, un paquet traditionnel de visualisation et
d’analyse d’images qui tourne sur votre ordinateur portable ou votre ordinateur
de bureau, puis nous avons aussi quelques solutions de serveur.” Ajoute-t-il.
Lorsque
vous voulez faire des analyses par lots, avec beaucoup de tâches d’imagerie,
vous pouvez le faire dans cet environnement également. Mais tous ces outils
sont connectés. Tout ce que vous faites dans l’environnement RV peut être vu
sur un ordinateur, et vice versa.
Préparez-vous à vous sentir comme un astronaute. Les gens du monde entier ont eu la chance de monter à bord de la Station spatiale internationale grâce à une nouvelle expérience époustouflante de réalité virtuelle.
Photo de la Station spatiale internationale
Le
projet, intitulé « Space Explorers : L’expérience de l’ISS » a été
créée à l’aide d’une caméra à 360 degrés. Cet instrument a été lancé vers la
station spatiale afin que les astronautes à bord puissent l’utiliser pour
montrer comment la science et la vie se déroulent à 400 kilomètres de la surface
de la Terre.
Cette
entreprise de réalité virtuelle n’est pas seulement un projet de
sensibilisation pour la NASA ; elle offre également la possibilité de faire la
démonstration d’une technologie de caméra à la fine pointe. Le studio derrière
ce projet, Felix et Paul Studios, possédaient une caméra de haute définition,
mais leur appareil photo typique avait à peu près la taille d’un arbre de 1,2
mètre de haut, selon une déclaration de la NASA, qui est beaucoup trop grande
pour la station spatiale.
Une
caméra plus compacte lancée en décembre 2018 à bord de la 16e mission de
services commerciaux de réapprovisionnement de SpaceX. Le projet de réalité
virtuelle, que l’équipe de la station est toujours en train de filmer, a
capturé des moments allant des repas de l’équipage aux expériences
scientifiques. Cela comprend la culture de légumes dans l’espace et
l’expérimentation avec des robots flottants appelés SPHERES (Synchronized
Position Hold, Engage and Reorient Experimental Satellites).
« Nous
nous sommes concentrés sur la réflexion et la découverte d’expériences
scientifiques qui, quand on les voit, on s’y immerge « , a déclaré Félix
Lajeunesse, cofondateur et directeur créatif de Felix et Paul Studios, dans le
même communiqué de la NASA. « Votre esprit peut commencer à tourner, à
penser aux technologies qui vont suivre et à la façon dont ces recherches
mèneront à une voie future. »
Contrairement
à la plupart des films hollywoodiens, dans ce projet, les astronautes sont à la
fois les vedettes et les personnes derrière la caméra, car en général, il n’y a
que jusqu’à six personnes à bord de la station spatiale en même temps. Bien que
le projet n’ait pas encore été lancé, d’après les premiers commentaires des
astronautes qui ont effectivement été à bord de la station spatiale, il
parvient à offrir au spectateur une expérience incroyable et précise, et à lui
donner un aspect bien réel.
« C’était comme si j’étais de retour dans et sur la Station spatiale internationale « , a déclaré l’astronaute Suni Williams dans la même déclaration. « Vous oubliez que vous avez un casque VR sur la tête, et vous continuez à regarder autour de vous. Cela vous donne une grande appréciation de tout ce qui se trouve à l’intérieur de la station spatiale et de la façon dont les gens vivent et travaillent. »
Le
prochain défi de tournage pour ce projet sera de capturer une sortie dans
l’espace. La date de sortie du projet n’a pas encore été annoncée.
