La réalité virtuelle ET augmentée (Mixed Reality)

Cela signifie qu’il peut mélanger le contenu numérique avec le monde réel, vous permettant de voir les deux en même temps. Les casques VR, quant à eux, remplacent complètement votre vision par un environnement virtuel.

Un casque de RV muni de caméras externe pourrait combiner la réalité virtuelle et augmentée.
Mais là on n’a plus les mains libres, qui devraient servir à sélectionner les options proposées.
Sauf si on incorpore un système de reconnaissance gestuelle.

Qu’est-ce que la motion gesture (reconnaissance gestuelle) ?

Au départ, la reconnaissance gestuelle était destinée aux personnes muettes (computer vision algorithm), pour interpréter le langage des signes.
Deux personnes de chez Google ont travaillé dessus avec une intelligence artificielle, afin de traduire en temps réel, depuis son smartphone, le langage des signes (pour ceux que ça intéresse, leur travail est toujours disponible ici – écrit en C++ pour poser les mesh 3D sur les images captées).

De ce phénomène, plusieurs startups se sont précipitées pour pouvoir transformer ces gestes en commande numérique.

Un problème majeur existe cependant. Gesticuler les mains dans les airs, ça fatigue et on enfreint une règle essentielle à l’expérience utilisateur (UI) : la confortabilité.

Voici un exemple concret que vous pouvez tester sur PC ou tablette équipé d’une webcam : Le jeu du Puissance 4. Vous verrez qu’après un moment, vous n’aurez plus envie de continuer.

Application desktop de jeu avec webcam-kinect

Est-ce qu’on revient en arrière en remettant un point fixe sur l’écran du casque, tel un viseur qui doit se superposer avec la cible pour enclencher une action de l’utilisateur ? Bien sûr que non, on est en 2024 et une autre technologie s’est développée : l’oculométrie.

Qu’est-ce que le eye-tracking ?

Ou oculométrie, est une technologie qui permet à un logiciel équipé d’une caméra filmant les yeux de traquer le mouvement de la pupille et de l’iris afin de déterminer le champs de vision de l’utilisateur. En bref, on détecte ce que l’utilisateur regarde précisément.
Dans notre cas, l’utilisateur n’a qu’à regarder fixement un élément pour avoir une interaction avec celui-ci.

Le Apple Vision Pro

Cet appareil rassemble toutes les technologies citées et pourtant n’est pas spécifiquement commercialisé comme un casque de RV, mais plutôt comme un dispositif d’ « informatique spatiale » qui associe le contenu numérique au monde physique. Cependant, il possède des capacités de RV, permettant aux utilisateurs de s’immerger dans des environnements entièrement virtuels.
Voici quelques-unes des principales caractéristiques :

  • Écrans haute résolution : Le Vision Pro dispose de deux écrans haute résolution, un pour chaque œil, avec une résolution de 3840 x 2160 pixels par œil. Cela permet d’obtenir une image nette et claire, même dans les applications VR exigeantes.

  • Large champ de vision : Le Vision Pro dispose d’un large champ de vision de 120 degrés, ce qui contribue à créer une expérience VR plus immersive.

  • Suivi de la tête : Le Vision Pro utilise le suivi de la tête pour suivre les mouvements de l’utilisateur et mettre à jour l’image VR en conséquence. Cela permet de créer une expérience VR plus réaliste et plus réactive.

  • Suivi des mains : La Vision Pro prend également en charge le suivi des mains, ce qui permet aux utilisateurs d’interagir avec des objets virtuels à l’aide de leurs mains. Cela peut rendre les expériences de RV plus naturelles et intuitives.

  • Processeur puissant : Le Vision Pro est équipé d’un processeur Apple personnalisé conçu pour répondre aux exigences des applications de RV.

  • VisionOS : le Vision Pro fonctionne avec un nouveau système d’exploitation appelé VisionOS, conçu pour les applications informatiques spatiales. VisionOS comprend un certain nombre de fonctionnalités spécialement conçues pour la RV, telles qu’un système de cartographie spatiale et un système d’entrée virtuelle.

Ce produit déjà présent aux Etats-Unis pour 3500 $ va arriver en Juin 2024. Il a donc été testé mais présente déjà quelques critiques dont on se doutait déjà, à savoir le manque de confort.

Apple en est parfaitement conscient et prévient déjà sur sont site ( https://developer.apple.com/videos/play/wwdc2023/10073/ )les développeurs d’application afin qu’ils n’augmentent pas le sentiment d’inconfortabilité dans leurs application

C’est la première fois que j’essaie Vision Pro : Cet écran est incroyable, le suivi des yeux est magique, c’est très futuriste et c’est aussi un peu lourd.

Deuxième fois : le facteur d’immersion est toujours aussi élevé. Les vidéos spéciales sont plus ou moins réussies, il faut que la distance soit bonne. Et ce truc est vraiment très lourd, je ne sais pas combien de temps je pourrais le porter.

Troisième fois : Ce truc est vraiment lourd. L’expérience de frappe est également décente. Il y a de nouvelles applications sympas à découvrir. Mais, wow. Tellement lourd.

Motion Sickness en RV

Ou cinétose, est un mal-être sous forme de fatigue et sensations de nausée, comme le mal des transports. Il est provoqué par un désaccord entre la perception visuelle et la perception du mouvement par l’oreille interne (système vestibulaire). Quand on est en voiture, le cerveau voit qu’on est en mouvement, qu’on avance et pourtant on ne fait aucun mouvement.
C’est la même chose en RV : le mouvement est ressenti mais non visualisé. Et ça le cerveau n’aime pas.

Un autre trouble est le mal de tête. Il est dû à notre système de stéréoscopie binoculaire.
Dans la réalité, nos deux yeux ne font pas les mêmes efforts en même temps. Pour voir la profondeur, Chaque oeil va analyser la face et le fond d’un objet pour comparer avec l’analyse de l’autre oeil. Or dans la RV, ce ne sont que des images planes, sans face et sans fond mais que l’image 2D de cet objet. C’est le méfait de la télévision ou de l’écran sauf qu’ici on a les yeux en huis-clos devant deux écrans, sans vue périphérique et ultra illuminé en permanence et par scintillement dû au clignotement stéréoscopique cité plus haut. Autant vous dire qu’il est déconseillé de mettre un casque RV sur la tête d’un enfant qui développe sa vision.

Lié au mal de tête, mais pas considéré réellement comme une motion sickness, c’est la douleur dans la nuque, qui s’explique tout simplement par le poids du casque.
Notre tête pèse en moyenne entre 5 et 8Kg. Avec ce casque qui ici a pourtant un poids exceptionnellement bas d’un peu moins de 1Kg, on augmente la sollicitation des cervicales.
Si on se tenait droit, ça pourrait encore fonctionner mais notons que Apple précise qu’il faut se pencher pour pouvoir utiliser le clavier virtuel, sachant que dans ce cas les ressources musculaires du cou sont encore plus augmentée car déjà un angle de 60 degrés avec la tête demanderait de soutenir l’équivalent de plus de 27Kg.
De plus, pour éviter les le contrepoids du casque, celui-ci est doté d’une sangle qu’il faut fixer fortement, ce qui va comprimer la tête.

Conclusion

La Réalité mixte (RV + RA) pour surfer sur internet, ce n’est pas encore pour maintenant tout de suite. Cela reste un gadget rigolo mais non utilisable pour tous.
Outre les motion sicknesses, il y a le problème fonctionnel (encombrement du casque, batterie autonome de 2h maximum, … et le prix).

De plus; l’accès au clavier est encombrant, moins rapide que sur l’écran d’un téléphone mobile, et moins ressenti. La vitesse de frappe s’en fait ressentir également. Il en est de même pour le défilement (scroll).

Ici on vous a parlé d’un seul produit, car il est déjà présent sur le marché mais il y a naturellement de la concurrence. Ainsi Samsung devrait aussi annoncer un produit similaire co-développé avec Google et Qualcomm. En ce qui concerne Meta (Facebook & Instagram), une récente rumeur suggère que celui-ci pourrait s’associer avec LG pour commercialiser Artemis en 2027, sous forme de lunettes utilisant la technologie du Liquid Crystal on Silicon (LCoS).