Qu’est-ce que la réalité virtuelle ?
La RV est une technologie informatique qui simule la présence physique d’un utilisateur dans un environnement artificiellement généré par des logiciels. La réalité virtuelle crée un environnement avec lequel l’utilisateur peut interagir.
https://fr.wikipedia.org/wiki/R%C3%A9alit%C3%A9_virtuelle
Pour utiliser cette technologie, il vous faut brancher un casque avec écran intégré et éventuellement écouteurs, sur un équipement gérant une haute résolution, tel un ordinateur ou un téléphone mobile. Ainsi vous êtes propulsé dans une scène en 3 dimensions, gérée par une application.
Comment fonctionne la réalité virtuelle ?
Notre vision basée sur nos deux yeux, dite binoculaire, permet la stéréoscopie, une perception du relief à partir de deux images planes fournies par chaque oeil.
En effet, chaque œil ne voit pas tout à fait la même chose indépendamment.
Faisons maintenant le contraire. A partir d’une image plane décomposée en deux images, sous un angle différent, regardons avec la vue de chaque oeil séparé. Théoriquement nous devrions avoir cette vue en relief, en percevant la profondeur, telle une image en 3D. Mais ça ne marchera pas très bien car nous avons une vue avec nos deux yeux synchronisés. Le cerveau va comprendre la supercherie.
Dans un vrai casque de stéréoscopie, il y a pourtant deux écrans avec cette image décalée.
Sachant que notre cerveau ne peut pas percevoir plus de 24 images par seconde avant de tout mélanger, il suffit de faire clignoter les images tous les 24ième de seconde ; une fois l’écran de gauche va s’allumer et celui de droite va s’éteindre et vice-versa. C’est ainsi qu’on va tromper notre cerveau qui va additionner les deux images en une seule information et va en donner une perception de profondeur, l’image en 3D.
Cependant la RV se différencie de la réalité augmentée, qui elle ajoute des éléments virtuels dans un environnement réel.
Qu’est-ce que la réalité augmentée ?
En utilisant une caméra, on capture la réalité. Si la caméra superpose des images de synthèse sur cette réalité, nous obtenons bel et bien une réalité augmentée d’informations. C’est aussi simple que cela.
Concrètement, la RA nécessite des marqueurs. Si on introduit un marqueur, tel un logo, dans une application de téléphone mobile en lui disant que dès que la caméra voit le logo cette application doit faire apparaître une licorne, il suffira de filmer le logo sur une carte de visite avec cette application et une licorne apparâitra sur la carte de visite, à l’endroit exact du logo.
Les applications de RA sont nombreuses et sont connues depuis pas mal d’années. En voici un exemple ici:
La réalité virtuelle ET augmentée (Mixed Reality)
Cela signifie qu’il peut mélanger le contenu numérique avec le monde réel, vous permettant de voir les deux en même temps. Les casques VR, quant à eux, remplacent complètement votre vision par un environnement virtuel.
Un casque de RV muni de caméras externe pourrait combiner la réalité virtuelle et augmentée.
Mais là on n’a plus les mains libres, qui devraient servir à sélectionner les options proposées.
Sauf si on incorpore un système de reconnaissance gestuelle.
Qu’est-ce que la motion gesture (reconnaissance gestuelle) ?
Au départ, la reconnaissance gestuelle était destinée aux personnes muettes (computer vision algorithm), pour interpréter le langage des signes.
Deux personnes de chez Google ont travaillé dessus avec une intelligence artificielle, afin de traduire en temps réel, depuis son smartphone, le langage des signes (pour ceux que ça intéresse, leur travail est toujours disponible ici – écrit en C++ pour poser les mesh 3D sur les images captées).
De ce phénomène, plusieurs startups se sont précipitées pour pouvoir transformer ces gestes en commande numérique.
Un problème majeur existe cependant. Gesticuler les mains dans les airs, ça fatigue et on enfreint une règle essentielle à l’expérience utilisateur (UI) : la confortabilité.
Voici un exemple concret que vous pouvez tester sur PC ou tablette équipé d’une webcam : Le jeu du Puissance 4. Vous verrez qu’après un moment, vous n’aurez plus envie de continuer.
Est-ce qu’on revient en arrière en remettant un point fixe sur l’écran du casque, tel un viseur qui doit se superposer avec la cible pour enclencher une action de l’utilisateur ? Bien sûr que non, on est en 2024 et une autre technologie s’est développée : l’oculométrie.
Qu’est-ce que le eye-tracking ?
Ou oculométrie, est une technologie qui permet à un logiciel équipé d’une caméra filmant les yeux de traquer le mouvement de la pupille et de l’iris afin de déterminer le champs de vision de l’utilisateur. En bref, on détecte ce que l’utilisateur regarde précisément.
Dans notre cas, l’utilisateur n’a qu’à regarder fixement un élément pour avoir une interaction avec celui-ci.
Le Apple Vision Pro
Cet appareil rassemble toutes les technologies citées et pourtant n’est pas spécifiquement commercialisé comme un casque de RV, mais plutôt comme un dispositif d’ « informatique spatiale » qui associe le contenu numérique au monde physique. Cependant, il possède des capacités de RV, permettant aux utilisateurs de s’immerger dans des environnements entièrement virtuels.
Voici quelques-unes des principales caractéristiques :
- Écrans haute résolution : Le Vision Pro dispose de deux écrans haute résolution, un pour chaque œil, avec une résolution de 3840 x 2160 pixels par œil. Cela permet d’obtenir une image nette et claire, même dans les applications VR exigeantes.
- Large champ de vision : Le Vision Pro dispose d’un large champ de vision de 120 degrés, ce qui contribue à créer une expérience VR plus immersive.
- Suivi de la tête : Le Vision Pro utilise le suivi de la tête pour suivre les mouvements de l’utilisateur et mettre à jour l’image VR en conséquence. Cela permet de créer une expérience VR plus réaliste et plus réactive.
- Suivi des mains : La Vision Pro prend également en charge le suivi des mains, ce qui permet aux utilisateurs d’interagir avec des objets virtuels à l’aide de leurs mains. Cela peut rendre les expériences de RV plus naturelles et intuitives.
- Processeur puissant : Le Vision Pro est équipé d’un processeur Apple personnalisé conçu pour répondre aux exigences des applications de RV.
- VisionOS : le Vision Pro fonctionne avec un nouveau système d’exploitation appelé VisionOS, conçu pour les applications informatiques spatiales. VisionOS comprend un certain nombre de fonctionnalités spécialement conçues pour la RV, telles qu’un système de cartographie spatiale et un système d’entrée virtuelle.
Ce produit déjà présent aux Etats-Unis pour 3500 $ va arriver en Juin 2024. Il a donc été testé mais présente déjà quelques critiques dont on se doutait déjà, à savoir le manque de confort.
Apple en est parfaitement conscient et prévient déjà sur sont site ( https://developer.apple.com/videos/play/wwdc2023/10073/ )les développeurs d’application afin qu’ils n’augmentent pas le sentiment d’inconfortabilité dans leurs application
First time I tried Vision Pro: Damn this display is amazing and the eye tracking is like magic and this feels very future and also it’s a little heavy
— Marques Brownlee (@MKBHD) January 16, 2024
Second time: immersion factor is still so high. Special videos are hit or miss, you gotta get the distance right. And wow this… https://t.co/iqSvs1e8LD
C’est la première fois que j’essaie Vision Pro : Cet écran est incroyable, le suivi des yeux est magique, c’est très futuriste et c’est aussi un peu lourd.
Deuxième fois : le facteur d’immersion est toujours aussi élevé. Les vidéos spéciales sont plus ou moins réussies, il faut que la distance soit bonne. Et ce truc est vraiment très lourd, je ne sais pas combien de temps je pourrais le porter.
Troisième fois : Ce truc est vraiment lourd. L’expérience de frappe est également décente. Il y a de nouvelles applications sympas à découvrir. Mais, wow. Tellement lourd.
Motion Sickness en RV
Ou cinétose, est un mal-être sous forme de fatigue et sensations de nausée, comme le mal des transports. Il est provoqué par un désaccord entre la perception visuelle et la perception du mouvement par l’oreille interne (système vestibulaire). Quand on est en voiture, le cerveau voit qu’on est en mouvement, qu’on avance et pourtant on ne fait aucun mouvement.
C’est la même chose en RV : le mouvement est ressenti mais non visualisé. Et ça le cerveau n’aime pas.
Un autre trouble est le mal de tête. Il est dû à notre système de stéréoscopie binoculaire.
Dans la réalité, nos deux yeux ne font pas les mêmes efforts en même temps. Pour voir la profondeur, Chaque oeil va analyser la face et le fond d’un objet pour comparer avec l’analyse de l’autre oeil. Or dans la RV, ce ne sont que des images planes, sans face et sans fond mais que l’image 2D de cet objet. C’est le méfait de la télévision ou de l’écran sauf qu’ici on a les yeux en huis-clos devant deux écrans, sans vue périphérique et ultra illuminé en permanence et par scintillement dû au clignotement stéréoscopique cité plus haut. Autant vous dire qu’il est déconseillé de mettre un casque RV sur la tête d’un enfant qui développe sa vision.
Lié au mal de tête, mais pas considéré réellement comme une motion sickness, c’est la douleur dans la nuque, qui s’explique tout simplement par le poids du casque.
Notre tête pèse en moyenne entre 5 et 8Kg. Avec ce casque qui ici a pourtant un poids exceptionnellement bas d’un peu moins de 1Kg, on augmente la sollicitation des cervicales.
Si on se tenait droit, ça pourrait encore fonctionner mais notons que Apple précise qu’il faut se pencher pour pouvoir utiliser le clavier virtuel, sachant que dans ce cas les ressources musculaires du cou sont encore plus augmentée car déjà un angle de 60 degrés avec la tête demanderait de soutenir l’équivalent de plus de 27Kg.
De plus, pour éviter les le contrepoids du casque, celui-ci est doté d’une sangle qu’il faut fixer fortement, ce qui va comprimer la tête.
Conclusion
La Réalité mixte (RV + RA) pour surfer sur internet, ce n’est pas encore pour maintenant tout de suite. Cela reste un gadget rigolo mais non utilisable pour tous.
Outre les motion sicknesses, il y a le problème fonctionnel (encombrement du casque, batterie autonome de 2h maximum, … et le prix).
De plus; l’accès au clavier est encombrant, moins rapide que sur l’écran d’un téléphone mobile, et moins ressenti. La vitesse de frappe s’en fait ressentir également. Il en est de même pour le défilement (scroll).
Ici on vous a parlé d’un seul produit, car il est déjà présent sur le marché mais il y a naturellement de la concurrence. Ainsi Samsung devrait aussi annoncer un produit similaire co-développé avec Google et Qualcomm. En ce qui concerne Meta (Facebook & Instagram), une récente rumeur suggère que celui-ci pourrait s’associer avec LG pour commercialiser Artemis en 2027, sous forme de lunettes utilisant la technologie du Liquid Crystal on Silicon (LCoS).