La réalité virtuelle peut-elle couper le cordon?

Publicité

Ne mâche pas ses mots: je suis visiblement excité par Valve's nouveau casque de réalité virtuelle Valve et HTC annoncent la sortie d'un nouveau casque VR d'ici Noël 2015Le nouveau casque VR de Valve est le meilleur que le monde ait jamais vu. Oculus a-t-il une chance? Lire la suite .

Le Vive, créé en partenariat avec HTC, offre un suivi parfait de votre tête et de deux contrôleurs, une résolution confortable de 2160 x 1200 et un écran OLED ultra-net de 90 Hz. Ses sortir cette année, et il offre des expériences VR interactives qui procurent un sentiment soutenu de présence physique dans la scène virtuelle.

Pour avoir une idée de la qualité du suivi, regardez cette vidéo de "The Gallery", un jeu VR joué sur le Vive.

Le défi de la réalité virtuelle en itinérance libre

Le Vive est fantastique. Cependant, si vous lisez les critiques des prototypes de casques d'écoute, vous commencez à remarquer que une plainte spécifique continue d'apparaître.

Venture Beat:

"Pendant mon essai avec le prototype, je portais une ceinture pour garder un faisceau de cordes hors de mon chemin - et maintenant que j'y pense, Valve doit avoir quelqu'un qui se promène avec moi pour m'assurer que je n'ai pas trébuché sur le mou que j'ai créé en me déplaçant pièce."

instagram viewer

PC MAG:

"Parce que c'est une expérience de promenade entièrement interactive, vous devez nettoyer les meubles du centre d'une pièce et essayer de ne pas trébucher sur le câble qui remonte vers le PC."

Gizmodo:

"Et c'est probablement le principal point faible de HTC Vive. C'est comme La matrice en ce sens, mais aussi en ce que vous êtes connecté à un PC avec un câble qui sort de l'arrière de votre tête. Cela limitera parfois votre liberté de mouvement et est parfois (mais pas souvent, selon mon expérience) un risque de trébucher. Ce n'est pas un très gros problème mais visible de toute façon. ”

Cela est dû en partie au fait que le casque est un prototype à cinq câbles (la version grand public ne devrait en avoir qu'un, un cordon USB et HDMI combiné reliant le casque au PC). Cependant, le problème semble être fondamental pour les casques filaires qui vous permettent de marcher librement Regardez-nous essayer l'Oculus Rift Crescent Bay au CES 2015L'Oculus Rift Crescent Bay est un tout nouveau prototype qui présente des améliorations intéressantes dans la technologie de réalité virtuelle. Nous l'essayons au CES 2015. Lire la suite . Les cordons sont un risque de trébucher, et aussi juste une sorte de déception. Ils vous empêchent de sortir votre appareil VR de la pièce, encore moins de la maison.

Cela deviendra plus problématique à mesure que nous commencerons à utiliser la VR comme interface de base pour nos systèmes d'exploitation.

Nous n'avions pas de PC depuis très longtemps avant de vouloir une version mobile de l'expérience (ordinateurs portables, smartphones et tablettes). La VR sera de la même manière, en particulier lorsque nous commencerons à intégrer des fonctionnalités de réalité augmentée le long de la Microsoft HoloLens 8 utilisations réelles de Microsoft HoloLensHoloLens de Microsoft est cool, mais pourquoi allez-vous vraiment l'utiliser? Nous déclinons les possibilités les plus excitantes. Lire la suite .

Malheureusement, il s'avère que le débranchement des casques VR des PC est un défi technologique majeur, et que nous ne savons toujours pas comment résoudre. Il y a cependant deux technologies prometteuses à l'horizon qui pourraient aider à résoudre le problème.

Solution n ° 1: Streaming PC

Une approche évidente du programme consiste à utiliser votre PC pour rendre le monde virtuel, puis à diffuser les images rendues sur le casque via WiFi (comme Steamlink, qui diffuse des jeux de votre PC vers votre téléviseur). Le problème avec cette approche est la latence. En réalité virtuelle, vous voulez minimiser le délai entre le déplacement et la visualisation de ce mouvement réfléchi sur l'écran. Le sweet spot est généralement reconnu comme étant inférieur à 20 millisecondes.

Le streaming vidéo moderne peut descendre à moins d'une milliseconde de latence, ce qui est un excellent début. Malheureusement, un flux vidéo 1440p 90 Hz non compressé représente près de 8 gigabits par seconde de données. Les routeurs WiFi grand public peuvent gérer environ 100 mégabits. Même les routeurs industriels haut de gamme environ 800 mégabits, huit fois moins que nécessaire. Pour résoudre ce problème, vous devez compresser les images avant de les envoyer. Le processus de compression et de décompression ajoute environ 80 ms de latence, qui volonté vous rendre malade.

Il existe quelques solutions possibles à ce problème:

Améliorations de la bande passante

Une approche consiste à essayer d'augmenter la bande passante disponible. Les réseaux 5G, qui seront disponibles dans cinq ans, peuvent permettre des vitesses d'environ un térabit par seconde, qui pourraient gérer des HMD 8K futuristes sans compression. À plus court terme, Li-Fi (une technologie Internet basée sur des LED à pulsations rapides) pourrait permettre des vitesses de transfert de 10 Go / s à des latences très faibles, ce qui permettre les versions sans fil des casques VR de génération actuelle dans les prochaines années, bien que la technologie ne soit pas disponible pour les consommateurs encore.

C'est probablement la meilleure solution au problème, mais elle ne sera pas disponible pour les consommateurs pendant au moins un an ou deux, peut être coûteux, et la résolution sera probablement à la traîne des casques filaires haut de gamme jusqu'à ce que les réseaux 5G appropriés arrivée.

Déformation locale

Une option plus complexe serait d'accepter les 80 ms de latence et d'essayer de la corriger après coup, en déformant l'ancienne image à la nouvelle position de la tête. Cela produit toujours un décalage d'entrée, mais pas le genre de mouvement de tête nauséabond.

L'approche standard de ce type de problème est la distorsion temporelle asynchrone, qui collecte les données du PC et les déforme à l'aide d'un petit GPU sur le casque pour afficher l'ancienne image dans une nouvelle perspective, permettant au casque de se mettre à jour de manière fluide malgré la latence élevée.

À première vue, cela ressemble à une balle magique. Malheureusement, il y a de grosses captures. Pour citer Michael Antonov, un chercheur d'Oculus,

«Le tremblement de position est l'un des artefacts les plus évidents avec une distorsion temporelle d'orientation uniquement. Lorsque vous déplacez votre tête, seul le composant de rotation supplémentaire est reflété dans les images générées par ATW, tandis que tout mouvement de translation de la tête depuis le rendu du cadre est ignoré. Cela signifie que lorsque vous déplacez votre tête d'un côté à l'autre, ou même que vous faites simplement pivoter votre tête, ce qui traduit vos yeux, vous verrez des images multiples sur des objets proches de vous.

[…]

Une façon possible de résoudre les saccades de position consiste à implémenter une déformation de position complète, qui applique à la fois des corrections de translation et d'orientation au cadre rendu d'origine. La déformation positionnelle doit prendre en compte la profondeur du cadre rendu d'origine, déplaçant des parties de l'image de différentes quantités. Cependant, un tel déplacement génère des artefacts de désocclusion sur les bords des objets, où des zones d'espace sont découvertes qui ne contiennent pas de données dans le cadre d'origine. "

Il y a plusieurs techniques pour créer des données afin de combler les trous créés par la distorsion temporelle positionnelle, mais tous laissent des artefacts, et ceux qui laissent le moins d'artefacts sont les plus coûteux en calcul. Le problème est similaire à celui auquel sont confrontés les tentative d'affichage d'une vidéo de profondeur VR La VR est sur le point de changer le cinéma pour toujours: voici commentLa réalité virtuelle est une nouvelle façon de communiquer avec votre spectateur, et de nombreuses personnes ayant une formation en cinéma traditionnel trouvent les possibilités excitantes. Lire la suite .

Afin de résoudre parfaitement ce problème, les développeurs doivent trouver un moyen de transmettre des données supplémentaires pour combler les trous. Quelques approches possibles:

• Rendre les objets en champ lointain et en champ proche séparément et diffuser les deux images
• Rendre un champ lumineux, qui peut être re-projeté par de grands décalages de tête sans désocclusion
• Développer des modèles de mouvements de tête extrêmement sophistiqués et utiliser la prédiction pour minimiser les erreurs de désocclusion

On ne sait pas quelle est la meilleure solution ici. Aucune des approches que nous connaissons n'est parfaite, et certaines d'entre elles nécessitent davantage de recherches. Déterminer si la reprojection est une bonne idée se résume à combien nous pouvons minimiser les artefacts. C'est une possibilité prometteuse, mais il y a beaucoup de questions sans réponse.

Solution n ° 2: rendu local

Une stratégie complètement différente consiste à oublier le PC et à effectuer le rendu localement sur le casque. C'est ainsi que fonctionnent HoloLens de Microsoft et Gear VR de Samsung. On ne sait pas grand-chose à propos de l'HoloLens Cinq questions sur le «projet HoloLens» de MicrosoftLe nouveau casque de réalité augmentée de Microsoft est très excitant - mais peut-il résoudre les problèmes fondamentaux de la réalité augmentée? Lire la suite , mais le Gear VR a un certain nombre de limitations sérieuses. Son GPU mobile peut gérer quelques expériences VR modestes (avec une optimisation intensive), mais à peine. La gestion de la chaleur est un problème, la résolution et le taux de rafraîchissement n'augmentent pas au niveau requis pour la présence dans la scène, et le casque n'a pas de suivi de position. Une partie de cela est due aux limites de la technologie mobile, et s'améliorera bientôt, soutenue par la marée de la loi de Moore.

Cependant, certains de ces problèmes résultent de la nécessité de concevoir un smartphone qui n'a pas été conçu pour la réalité virtuelle. Si vous construisiez un casque VR mobile à partir de zéro, vous pourriez faire beaucoup de choses différemment. Les concepteurs pourraient avoir deux GPU mobiles haut de gamme, un écran de rafraîchissement très élevé et une grosse batterie. Ils pourraient également répartir les composants pour une meilleure répartition du poids et une meilleure gestion de la chaleur. Le facteur de forme résultant pourrait ressembler beaucoup au Sony Morpheus.

Ou, si les ingénieurs voulaient devenir ambitieux, ils pourraient construire quelque chose de plus comme un mini-PC: un petit bloc portable de computronium contenant un ou plusieurs GPU pour ordinateur portable, un ventilateur et une grande batterie. Cet appareil aurait un facteur de forme similaire à un Walkman et piloterait un HMD via un seul câble.

Le GPU phare NVIDIA actuel, le GTX 980, qui est utilisé en interne par Oculus, est seulement environ 40% plus rapide que son homologue mobile, le 980M, et c'est minuscule. Il est probablement possible d'en installer deux dans un sac banane, avec de la place pour le reste des tripes d'un petit PC mobile.

Remarque pour les développeurs de matériel: ne laissez en aucun cas la presse décrire votre produit comme un «sac banane».

Ce facteur de forme serait plus volumineux qu'un casque autonome, sans parler de cher - le dos de l'enveloppe mathématique suggère un prix d'environ 2500 $. Il est possible que les consommateurs modernes ne soient pas intéressés par des produits aussi lourds. Cependant, c'est le seul moyen pour un casque VR mobile d'offrir des performances compétitives par rapport à PC VR, et je soupçonne que les joueurs inconditionnels et autres irréductibles y iront. Il y a une longue histoire de nerds à la pointe de la technologie en étant prêts à porter des produits qui les rendent ridicules.

À l'heure actuelle, les casques mobiles souffrent d'une incapacité à fournir un suivi de position, provoquant un sentiment nauséabond que le monde est attaché à votre torse lorsque vous essayez de bouger. Cependant, ce problème pourrait bientôt être résolu. À court terme, Valve Technologie de suivi de position «phare» est une excellente solution: les projecteurs laser sont stupides, ce qui signifie qu'ils peuvent être carrelés pour couvrir de grands espaces et peuvent servir à de nombreux appareils à la fois. En conséquence, au cours des prochaines années, le suivi des phares pourrait devenir un service peu coûteux et les entreprises fournissent, tout comme le WiFi est aujourd'hui, vous permettant d'utiliser le matériel VR mobile dans la plupart des intérieurs les espaces.

À plus long terme, à mesure que les caméras en profondeur s'améliorent en résolution et en niveau de bruit, il devrait être possible de les utiliser pour le suivi de position, avec suffisamment de précision pour donner une impression de présence VR. Cela permettra des produits VR autonomes adaptés à une utilisation en extérieur et en réalité augmentée.

L'avenir de la VR mobile

À long terme, les casques mobiles sont le point de départ de la technologie VR.

Nous pouvons faire le calcul de la loi de Moore en déterminant combien de doublons nous sommes loin de pouvoir rendre des mondes virtuels photoréalistes sur des appareils mobiles. Les PC haut de gamme sont peut-être cinq fois plus (une autre génération de consoles) loin de pouvoir offrir des expériences de jeu photoréalistes à 1080p. Pour la VR, nous avons besoin d'un doublage pour la 3D et de trois autres pour un rendu à 8K par œil nécessaire pour éliminer le flou et l'effet de porte d'écran. Pour tenir compte de la plate-forme mobile, nous avons besoin d'environ quatre doublements supplémentaires pour rattraper les PC haut de gamme.

Si vous additionnez tous les doublements et multipliez par les dix-huit mois dictés par la loi de Moore, vous obtenez environ vingt ans (2035), ce qui est le point auquel personne ne pourra faire la différence entre une scène VR rendue sur un smartphone et celle rendue sur un PC de jeu haut de gamme. À ce stade, il n'y aura plus de raison de réutiliser un casque piloté par PC.

Jusqu'à ce jour, je pense que nous verrons des casques VR filaires et sans fil VR pilotés par PC pendant un certain temps. Les casques sans fil seront plus pratiques, mais les casques filaires offriront une meilleure résolution - au moins jusqu'à ce que les réseaux 5G soient complètement matures.

De l'autre côté de la fracture, les casques mobiles continueront de s'améliorer, et perdront des parts de marché du PC alors que nous nous éloignons assez sur la courbe des rendements décroissants, avec de plus en plus de gens prêts à sacrifier une modeste fidélité pour souplesse. La concurrence sera féroce et, espérons-le, bonne pour le consommateur. Personnellement, je ne peux pas attendre.

Excité pour les casques sans fil? Connaissez-vous une technologie que nous avons manquée? Faites le nous savoir dans les commentaires!

Crédits image: Barone Firenze Via Shutterstock, «Recording Isan’s…», par Edvvc, «Phubby», Par Kevin Lin,« HTC VR », par HTC,«Lien Steam», Par Valve,«La loi de Moore», Par Wikimedia