Catégorie : Réalité Virtuelle

Un entretien avec le Dr. Christopher Zugates, Ingénieur d’application chez arivis AG, pour discuter d’une méthode révolutionnaire d’analyse d’images 3D microscopiques à travers la réalité virtuelle !

Quels sont les principaux défis auxquels les scientifiques sont confrontés lorsqu’il s’agit d’analyser des images microscopiques 3D ?

L’un des plus grands défis de la microscopie 3D sont la taille et la complexité des images que nous sommes maintenant capables de capturer. Les progrès technologiques signifient que non seulement nous captons plus d’informations sur un échantillon, mais que nous sommes également capables d’effectuer plus d’analyses en utilisant ces informations.

Le premier défi à relever avec des microscopes aussi perfectionnés est de trouver comment examiner une image très complexe en premier lieu ! Lorsque vous avez des ensembles de données massifs, des volumes massifs ou des mouvements 3D, comment devons-nous voir ces données et comment pouvons-nous les explorer ?

Les chercheurs doivent maintenant décider la meilleure façon d’analyser et de présenter les données sur des images 3D complexes, et de partager cette information avec la communauté scientifique.

Qu’est-ce qu’un InViewR ?

InViewR est une application qui permet aux chercheurs d’enfiler un casque de réalité virtuelle commercial et d’être immergés dans des images microscopiques 3D. Au lieu de voir une image 3D sur un écran d’ordinateur 2D, les données vous sont présentées sous forme d’objets à proximité que vous pouvez atteindre et toucher. Cela vous permet de manipuler les données d’une manière que vous n’auriez pas pu faire auparavant.

D’après une expérience de recherche, on a pu voir un objet dans un coin éloigné de l’image et l’atteindre et le toucher immédiatement. Il n’y a presque aucune sensation autour. Le cerveau savait déjà qu’il fallait déplacer la main à une certaine distance. On pouvait déplacer les structures, les faire pivoter et les observer sous tous les angles. On pouvait même mettre quelque chose derrière le corps et tendre la main, sans regarder, l’attraper et la tirer de nouveau !

Avec un écran plat, vous perdez le contact avec la réalité. Vous avez commencé avec de vrais matériaux tridimensionnels et vous avez fait, par exemple, de l’immunohistochimie, puis vous avez fait de l’imagerie et soudain, cela ne ressemble plus du tout aux matières premières. Dans le casque VR, le matériau redevient réel.  Je pense que c’est un avantage de l’InViewR et du rendu des données 3D brutes en général basé sur la RV.

Dans le casque VR, vous pouvez à nouveau interagir avec le matériau. Vous pouvez le tourner, aller à l’intérieur, faire des coupes transversales avec vos mains et surtout, effectuer des mesures très précises de manière efficace et confortable.

Ceci est particulièrement utile pour le traçage des neurones. Il s’agit d’un outil qui est adapté à votre main, de sorte que lorsque vous tendez la main et touchez un neurone, l’outil le reconnaît et mesure la distance et le diamètre au fur et à mesure que vous vous déplacez vers le bas de l’axone.

Il vous permet de coopérer avec un algorithme pour trouver le point central d’un axone et le tracer. C’est un monde à part pour l’observation d’images sur un écran plat, mais c’est beaucoup plus comme si vous travailliez naturellement avec vos mains comme vous le faites en laboratoire.

https://youtu.be/HQfGn0HXhI4

Comment la RV peut-elle transformer la façon dont les chercheurs analysent et présentent les données ?

Il y a certainement des gains d’efficacité à réaliser en faisant les choses dans la réalité virtuelle. Manipuler et analyser des images sur un écran d’ordinateur est faisable, mais il serait beaucoup plus efficace de simplement tendre la main et toucher l’image, dessiner un objet ou mesurer une certaine distance entre les objets.

Un autre endroit où la réalité virtuelle sera importante est le partage de la signification de votre travail. Les scientifiques présentent généralement nos données les uns aux autres à l’aide de présentations PowerPoint, qui est un format 2D. On essaye toujours d’expliquer ce qu’on a vu par des mots ou des images en 2D. Chez arivis, ils ont remarqué au fil des ans que la RV est une superbe façon de raconter l’histoire. Les scientifiques sont capables de partager leur travail en mettant un collègue dans leur ensemble de données et en repérant les zones d’importance.

Cela peut aussi être utile pour les laboratoires d’enseignement. Quand les scientifiques ont commencé leurs études supérieures, ils ont suivi une formation de neurobiologiste. Une grande partie de cette formation initiale consistait à lire des documents que d’autres personnes avaient écrits, et ce processus d’apprentissage se poursuit toute la vie. Il y a un écart énorme entre la lecture de ces documents qui affichent des images en 2D et le fait d’avoir le matériel en main. La RV pourrait être un pont pour l’éducation, où vous pouvez montrer aux gens les structures des tissus et des organes en dehors du laboratoire.

Un des plus grands avantages pour les scientifiques sera d’analyser des images où il y a beaucoup de mélange de structures. Par exemple, si vous voulez observer un neurone qui passe d’un plan à l’autre, et qui se croise avec beaucoup d’autres neurones sur son chemin. Ils ont voulu observer chaque neurone individuellement, car chacune de ces structures a quelque chose de spécial, et ils veulent comprendre leurs propriétés individuellement. Pour ce faire, ils doivent démêler chaque neurone et les séparer les uns des autres.

À moins qu’un algorithme soit assez intelligent pour examiner le flux et la continuité structurale sur de longues distances, il ne pourrait pas séparer des neurones très proches les uns des autres. En utilisant la RV, vous pouvez voir la texture du neurone et votre cerveau peut distinguer une structure d’une autre, même lorsque les neurones se touchent et se croisent. Ceci est extrêmement puissant pour l’analyse des données et vous permet de récupérer une grande quantité d’informations.

C’est la même chose avec les cellules vivantes. Les scientifiques ont travaillé avec un client qui étiquette les vésicules qui se déplacent rapidement autour d’une cellule. En utilisant le casque VR, on peut s’asseoir à l’intérieur d’une des cellules et voir les vésicules se déplacer. C’est comme si notre cerveau remplissait les vides ; on peut facilement voir que cette vésicule a sauté d’ici à là, et on peut la retracer.

On peut mettre un doigt dessus et suivre sa trajectoire autour de la cellule. On voit des vésicules entrer dans la vision périphérique qui traverse le champ visuel et se déplace de l’autre côté. C’est facile pour vous si vous pouvez le voir, mais cela peut être relativement difficile à résoudre sur un ordinateur.

Pourquoi avez-vous estimé qu’il était important de développer une technologie qui permettra aux scientifiques de « se promener » dans leurs données ?

Il y a quatre ans, les scientifiques ont exploré l’utilisation de la réalité virtuelle dans la recherche pour le plaisir ! Ils ont apporté leur premier système de RV à la conférence annuelle de la Society for Neuroscience et des centaines de personnes sont venues mettre les casques VR, qui volaient tous à l’intérieur des images.

Après le spectacle, ils ont commencé à chercher comment ils puissent convertir l’expérience de la RV en quelque chose d’amusant, en quelque chose scientifiquement utile. Ils ont examiné chaque aspect du problème, de la narration à l’échange de données, et même la RV collaborative où deux personnes peuvent être là en même temps.

Ils ont ensuite pensé que, s’il est facile d’atteindre et de toucher un objet, peut-être qu’ils devraient ajouter des options de peinture ou de sculpture pour aider les chercheurs à résoudre les problèmes de segmentation. Beaucoup de chercheurs ont dit qu’ils voulaient pouvoir marquer facilement des épines dendritiques sur un neurone. Les scientifiques ont réalisé que s’ils rendent le flux de travail très facile, où vous cliquez simplement sur un bouton et vous marquez instantanément l’objet, alors cela pourrait être une façon très efficace de faire cette tâche commune.

Ils ont également trouvé des moyens simples de mesurer la distance 3D entre des points et de faire de la sculpture 3D à main levée sur des images. Maintenant, ils combinent ces outils avec l’intelligence des machines pour rendre les résultats de plus en plus précis.  C’est pourquoi ils ont lancé cette année leur nouvel outil intelligent de traçage des neurones.

Parallèlement, ils ont pris un grand nombre d’outils et d’astuces différents et ont commencé à les intégrer dans des flux de travail. Maintenant, on peut voir les gens se connecter avec la RV comme un outil d’analyse au lieu de simplement s’amuser.

https://youtu.be/cRZs9CCAeBU

Pour quels domaines de recherche l’InViewR a-t-il été conçu ?

Au début, les chercheurs scientifiques n’ont pas pensé aux domaines qu’ils voulaient aborder, ils voulaient juste rendre les données 3D accessibles et faciles à analyser. Plus tard, ils ont commencé à développer des flux de travail pour les neuroscientifiques, car les scientifiques de ces domaines repoussent vraiment les limites de la taille et du contenu informationnel stocké dans une image.

L’imagerie de tissus neuronaux complexes exige une haute résolution spatiale et temporelle, ce qui explique pourquoi ils se prêtent très bien à une analyse RV. On peut voir dans la RV des structures individuelles qui autrement apparaîtraient comme un enchevêtrement indiscernable de neurones sur un écran 2D.

Avec une image très dense, il peut être nécessaire de tourner l’image de la bonne façon pour voir quelque chose dans une coupe transversale, et sur un écran avec une souris, cela peut être difficile et frustrant. Au lieu de cliquer et d’essayer de déplacer un plan de coupe avec une souris et un clavier, dans l’environnement RV, vous devez juste bouger votre tête naturellement ! Vous pouvez, bien sûr, faire pivoter l’ensemble de données, mais vous pouvez aussi faire des ajustements avec votre tête pour obtenir la vue parfaite.

Quelles sont les principales différences entre la RV et la visualisation des résultats sur un écran d’ordinateur 2D ?

Si vous pensez à votre environnement physique, disons que vous êtes dans votre maison ou votre bureau, il y a une certaine façon d’organiser physiquement la pièce. Vous avez ceci ici et cela là. D’une certaine façon, il est très facile pour votre cerveau de se rappeler où se trouvent vos outils et vos matériaux.

Cela signifie que vous pouvez organiser et travailler dans l’espace d’une manière vraiment efficace. C’est comparable à l’environnement de la RV. Vous avez devant vous cet objet que vous pouvez toucher et avec lequel vous pouvez travailler efficacement. Je peux retourner à cet endroit. Je peux aller à cet endroit. Je peux tracer une ligne de A à B à C à D très facilement, parce que mon cerveau le perçoit comme un objet réel.

Comment la technologie aide-t-elle les scientifiques à corriger les problèmes de segmentation ?

Tout le monde veut prendre des mesures à partir de ses images. Le faire sur un écran bidimensionnel où vous dessinez plan par plan qui peut très précis mais peut aussi prendre du temps et être laborieux.  Dans l’environnement RV, beaucoup plus d’informations sur les endroits où il y a des erreurs de segmentation sont transmises à l’utilisateur en même temps et il peut les corriger efficacement.

Vous êtes penché sur un écran d’ordinateur pendant des heures, essayant de manipuler l’image. Avec la réalité virtuelle, vous êtes debout ou assis, et vous étendez vos mains de la façon dont vous les utilisez naturellement. Il n’est plus nécessaire d’utiliser un clavier ou une souris, ce qui rend la tâche moins dommageable pour les articulations et la musculature.  Si vous travaillez rapidement, cela peut même être un bon entraînement.

Dites-nous en plus sur l’utilisation de la technologie. Fonctionne-t-elle avec un système d’imagerie 3D ?

Oui ! la technologie prend des images de n’importe quel système 3D, ou de n’importe quelle modalité 3D dans le temps, et elle essaye de rendre ce processus aussi facile que possible pour les utilisateurs. Si vous regardez à l’intérieur de logiciel, il y a une longue liste de différents types de fichiers qui prend en charge. Les développeurs essayent de rendre ce processus aussi simple que possible.

Dans la plupart des cas, c’est simplement un exercice de glisser-déposer. Vous faites simplement glisser le fichier sur le bureau, le logiciel l’importe dans le casque VR et vous êtes prêt à partir.

Quel sera le rôle de la réalité virtuelle dans le futur ?

Je pense que nous verrons les scientifiques utiliser de plus en plus la réalité virtuelle. Je pense aussi qu’ils commenceront à passer à la réalité augmentée (RA), au fur et à mesure que la technologie évoluera.  Le travail dans l’environnement virtuel va prendre feu à mesure que les casques VR deviendront plus confortables et plus accessibles.

La façon dont nous utilisons nos mains dans l’environnement VR va probablement s’améliorer aussi. Pour l’instant, nous utilisons des contrôleurs avec quelques boutons, mais il y a beaucoup de technologies prometteuses qui permettront aux gens d’utiliser leurs mains. Elles intègrent des choses comme la rétroaction vibratoire, mais aussi la rétroaction de pression et la rétroaction thermique. Il y a toutes ces autres dimensions qui peuvent être ajoutées pour que les données soient perçues comme un véritable objet.

“Je ne sais pas si nous travaillerions en permanence dans le monde de la RV. Nous avons développé notre outil de RV d’une manière telle que les tâches que vous y accomplissez sont très spécialisées. Nous ne nous attendons pas à ce que vous mettiez le casque VR et que vous vous asseyiez là toute la journée pour faire tout votre travail. En ce moment, nous utilisons la RV pour résoudre des problèmes spéciaux.” a écrit un des scientifiques qui ont développé InViewR.

“Il y a encore beaucoup de tâches que vous voudrez faire de manière traditionnelle sur l’ordinateur. Une des particularités de notre application RV est qu’elle s’adapte à toutes nos autres applications. Nous avons une application qui est très riche en fonctionnalités, un paquet traditionnel de visualisation et d’analyse d’images qui tourne sur votre ordinateur portable ou votre ordinateur de bureau, puis nous avons aussi quelques solutions de serveur.” Ajoute-t-il.

Lorsque vous voulez faire des analyses par lots, avec beaucoup de tâches d’imagerie, vous pouvez le faire dans cet environnement également. Mais tous ces outils sont connectés. Tout ce que vous faites dans l’environnement RV peut être vu sur un ordinateur, et vice versa.