Étiquette : Facebook Oculus

La société Oculus, propriété de Facebook, qui fabrique les célèbres casques de réalité virtuelle, a annoncé plusieurs améliorations en matière d’accessibilité dans un billet de blog publié à la fin de la semaine dernière. La mise à jour porte le logiciel de l’appareil à la version 30, a indiqué la société.

« Avec v30, nous ajoutons des fonctionnalités attendues depuis longtemps, notamment l’échange de microphones, une expérience multitâche plus puissante pour les personnes qui aiment utiliser chaque centimètre de leur espace numérique, et de nouvelles fonctionnalités d’accessibilité pour faire de l’avenir de l’informatique une meilleure expérience pour tous », a écrit Oculus dans le post. « Et c’est une mise à jour encore plus importante pour les propriétaires du Quest original, qui peuvent activer Air Link à partir de la v30. »

Le changement marquant de cette mise à jour est l’inclusion d’un nouvel onglet Accessibilité dans le menu Paramètres de l’Oculus. C’est là que les utilisateurs peuvent effectuer des actions telles que la modification de la taille du texte par défaut. Oculus a ajouté deux fonctionnalités : la correction des couleurs et le rehaussement de la vue.

La correction des couleurs est une fonction qui modifie les couleurs pour les personnes daltoniennes. Oculus précise qu’il s’agit d’un « paramètre d’affichage au niveau du système qui augmente la lisibilité des couleurs qui sont généralement difficiles à différencier ». Il existe trois options parmi lesquelles vous pouvez choisir : Deuteranomaly (vert-rouge), Protanomaly (rouge-vert) et Tritanomaly (bleu-jaune).

Quant à Raise View, Oculus affirme qu’il s’agit d’une fonction « très demandée » qui permet aux utilisateurs de faire l’expérience de la RV depuis un point de vue « debout », même s’ils sont physiquement assis. La fonctionnalité fonctionne en augmentant la hauteur de vue de 16 pouces dans les applications prises en charge « jusqu’à ce que vous confirmiez ou redessiniez une limite de Gardien ou jusqu’à ce que vous éteigniez le casque Quest ». Elle peut être désactivée manuellement à tout moment. La fonction « Raise View » pourrait s’avérer particulièrement utile pour les personnes qui ne peuvent pas se tenir debout longtemps, voire pas du tout, comme de nombreuses personnes en fauteuil roulant.

Oculus prend soin de souligner que, même si la fonction Raise View a été souvent demandée, il s’agit officiellement d’une fonction « expérimentale » pour le moment. La société a indiqué qu’elle accueillerait volontiers tous les commentaires des utilisateurs sur son bon fonctionnement.

Tout compte fait, les améliorations de l’accessibilité dans la mise à jour v30 est encore une autre tentative d’Oculus de montrer sa bonne foi envers les utilisateurs handicapés. « Nous croyons que la RV est l’avenir de l’informatique, et nous sommes investis dans la construction de cet avenir pour tout le monde », ont-ils déclaré.

La mise à jour logicielle est en cours de déploiement pour les clients, qui devraient la voir « bientôt ».

Facebook n’a jamais caché que les publicités allaient arriver sur sa plateforme Oculus, d’une manière ou d’une autre. Dans le cadre de sa mise à jour logicielle v29 pour Oculus Quest, le mois dernier, la société a déclaré qu’elle commencerait à tester les publicités pour le contenu de l’application Oculus, sans toutefois préciser dans quelle mesure les jeux seraient concernés. 

Désormais, Facebook indique qu’il commence à expérimenter les publicités dans les jeux payants également, avec le célèbre jeu de tir 1v1 Blaston (2020) de Resolution Games et « quelques autres développeurs » qui ont signé une version bêta afin de tester les publicités dans les jeux.

Selon la société, les publicités, qui sont présentées comme un moyen pour les développeurs de générer plus de revenus de leurs applications, commenceront à apparaître dans certains jeux et expériences de la plateforme Oculus au cours des prochaines semaines.

D’après la seule image fournie, il semble que la version bêta des publicités en jeu permettra aux développeurs d’insérer des panneaux publicitaires dynamiques directement dans les environnements de jeu.

« Pour l’instant, il s’agit d’un test avec quelques applications », explique la société dans un billet de blog d’Oculus. « On verra comment se déroule ce test et on intégrera les commentaires des développeurs et de la communauté, nous fournirons plus de détails sur le moment où les publicités pourront devenir plus largement disponibles sur la plateforme Oculus et dans l’application mobile Oculus, ainsi que des conseils pour les entreprises et les développeurs intéressés par la publicité sur Oculus. »

Au moins à première vue, il semble que Facebook va principalement s’appuyer sur le trafic web des utilisateurs et leurs intérêts en matière de contenu pour générer des publicités ciblées ; la société affirme qu’elle n’utilisera pas d’informations stockées localement comme les images brutes des capteurs de Quest, les images de vos mains, ou votre poids, votre taille ou votre sexe. La messagerie en cours d’utilisation de Facebook Messenger, les parties et les chats ne sont pas non plus concernés, y compris l’audio du microphone.

Selon Facebook, il sera également possible de masquer des publicités spécifiques, ou de masquer complètement les publicités d’un certain annonceur. Vous pourrez également désactiver les impressions publicitaires en fonction de votre trafic web en dehors de la RV. Selon la société, cela ne changera pas le nombre de publicités que vous recevrez, mais seulement leur degré de pertinence pour l’utilisateur.

La société indique qu’elle se concentre sur des méthodes discrètes pour permettre aux développeurs d’insérer des publicités tout en explorant de « nouveaux formats publicitaires uniques à la RV » à l’avenir. Une chose est claire cependant : plus les casques incluent des données biométriques détaillées (suivi des yeux, suivi optique du visage et les accessoires intégrés), plus l’entreprise peut se rapprocher d’une image beaucoup plus claire des intérêts, des attitudes et des habitudes de consommation de ses utilisateurs. Nous n’en sommes pas encore là, mais nous sommes peut-être en train de voir Facebook faire les premiers pas dans cette direction.

Taper avec la VR via Facebook Reality Labs fonctionne, mais pour l’instant avec des gants marqueurs spéciaux. Après tout, il pourrait s’agir de casques VR.

Faire du travail de bureau dans la RV n’est pas facile. Ce n’est pas seulement le manque de plugins logiciels pour la RV et la plupart des applications de productivité, car les casques de RV peuvent déjà être transformés en moniteurs portables. C’est la partie clavier qui devient vraiment frustrante. Facebook travaille sur un moyen de contourner les claviers physiques entièrement avec le suivi des mains.

Les dernières recherches des Facebook Reality Labs, dévoilées lors du Symposium sur les technologies des interfaces utilisateurs et des logiciels, montrent comment écrire à la main sur un bureau à une vitesse pouvant atteindre 73 mots par minute. Le projet n’est pas encore terminé, mais les casques Oculus Quest VR en ont déjà quelques-uns avec un suivi de la main. Cependant, il n’y a pas de support pour la saisie des entrées. Le projet de recherche semble actuellement utiliser des capteurs de suivi supplémentaires ainsi que des gants spéciaux avec des marqueurs de capture de mouvement. L’idée, cependant, est de faire évoluer le suivi de main Oculus VR pour rendre la frappe possible, comme c’est le cas actuellement avec le suivi de main.

Pour en savoir plus

« Afin de pouvoir taper sans clavier physique et sans bénéficier du feedback haptique des touches individuelles, l’équipe a dû comprendre des modèles de frappe incorrects », explique le post de Facebook sur le projet de recherche. L’IA (intelligence artificielle) de frappe de Facebook est adaptée à la reconnaissance vocale, mais elle recherche des mouvements de touches spécifiques dans le mouvement général des doigts. Elle fonctionne de manière prédictive pour anticiper les lettres à mesure que vous les tapez. Des recherches antérieures ont montré que « 73 mots par minute avec un taux d’erreur non corrigé de 2,4% en utilisant vos mains, une surface plane et rien d’autre », selon le post de Facebook.

Facebook prend déjà en charge certains claviers physiques optimisés pour la RV avec Oculus Quest à la fin de cette année, mais la saisie sans clavier pourrait être une possibilité pour la RV et enfin, les lunettes intelligentes fonctionnent sans aucun accessoire.

Pour la conférence annuelle sur la vision par ordinateur CVPR, Facebook présente un algorithme qui peut générer un modèle 3D assez détaillé d’une personne habillée à partir d’une seule caméra.

Facebook est l’entreprise à l’origine de la marque de produits de réalité virtuelle Oculus. La société est considérée comme un leader mondial de l’apprentissage machine. L’apprentissage machine (ML) est au cœur de l’Oculus Quest et du Rift S, les deux casques ont un suivi de position « de l’intérieur vers l’extérieur », atteignant une précision inférieure au millimètre sans station de base externe. Sur le Quest, l’apprentissage machine est même utilisé pour suivre les mains de l’utilisateur sans avoir besoin de contrôleurs.

Dans un article intitulé PIFuHD, trois employés de Facebook et un chercheur de l’Université de Californie du Sud proposent un système d’apprentissage automatique permettant de générer une représentation 3D très détaillée d’une personne et de ses vêtements à partir d’une seule image 1K. Aucun capteur de profondeur ou appareil de capture de mouvement n’est nécessaire.

Ce document n’est pas le premier travail sur la génération de représentations 3D d’une personne à partir d’une image. Des algorithmes de ce type ont vu le jour en 2018 grâce aux récents progrès de la vision par ordinateur.

En fait, le système que Facebook présente est nommé PIFuHD en l’honneur du PIFu de l’année dernière, un projet de chercheurs de diverses universités de Californie.

Sur le matériel actuel, les systèmes comme le PIFu ne peuvent traiter que des images d’entrée de résolution relativement faible. Cela limite la précision et le détail du modèle de sortie.

Le PIFuHD adopte une nouvelle approche, en sous-échantillonnant l’image d’entrée et en l’envoyant au PIFu pour la couche de base « parcours » à faible détail, puis un nouveau réseau séparé utilise la pleine résolution pour ajouter des détails de surface fins.

Facebook affirme que le résultat est à la pointe de la technologie. En regardant les comparaisons fournies avec des systèmes similaires, cela semble être vrai.

Facebook a montré pour la première fois son intérêt pour la recréation numérique d’êtres humains en mars 2019, en présentant des « Codecs Avatars ». Ce projet s’est concentré spécifiquement sur la tête et le visage, et notamment la génération d’avatars a nécessité un scan coûteux de la tête de l’utilisateur avec 132 caméras.

En mai 2019, lors de sa conférence annuelle F8, la société a présenté le suivi corporel sans marqueur en temps réel avec une fidélité sans précédent, en utilisant un modèle qui prend en compte les systèmes musculaires et squelettiques humains.

La génération du corps des avatars est une autre étape sur la voie de l’objectif final déclaré, à savoir permettre aux utilisateurs d’exister en tant que leur vrai moi physique dans des environnements virtuels, et de voir leurs amis tels qu’ils sont réellement.

Ne vous excitez pas trop pour l’instant, ce genre de technologie ne sera pas sur votre tête l’année prochaine. Lors de la présentation des avatars de codecs, Facebook a averti que la technologie était encore « à des années lumières » pour les produits de consommation.

Cependant, lorsqu’elle peut être réalisée, une telle technologie a un potentiel énorme. Pour la plupart, la téléprésence se limite encore aujourd’hui à des grilles de webcams sur un moniteur 2D. La capacité de voir des représentations photoréalistes d’autrui à l’échelle réelle, entièrement suivies à partir d’un mouvement réel, pourrait changer fondamentalement le besoin d’interaction en face à face.