Cinq questions sur le «projet HoloLens» de Microsoft

Publicité

Mercredi matin, Microsoft a présenté un projet sur lequel ils travaillent depuis sept ans, un casque de réalité augmentée appelé Projet HoloLens.

La vision est ambitieuse: ils veulent changer fondamentalement la façon dont les gens interagissent avec les ordinateurs, en construire une paire de lunettes qui peut mélanger de manière fluide du contenu virtuel et réel dans l'espace physique de l'utilisateur. C'est comme technologie de réalité virtuelle Pourquoi la technologie de réalité virtuelle vous épatera dans 5 ansL'avenir de la réalité virtuelle comprend le suivi de la tête, des yeux et des expressions, le toucher simulé et bien plus encore. Ces technologies incroyables seront à votre disposition dans 5 ans ou moins. Lire la suite , mais fondamentalement plus puissant. De plus, ils veulent faire tout le traitement localement sur les lunettes - pas d'ordinateur, pas de téléphone, pas de câbles. Ils lancent même une version spéciale de Windows uniquement pour le nouveau matériel. C'est la prochaine étape de l'évolution technologique pour tous ceux

Jeux AR Applications de réalité augmentée: utiles ou tout simplement hype? Tests MakeUseOfEn 2011, les analystes ont prédit la montée en puissance des applications mobiles de réalité augmentée. La technologie naissante allait révolutionner la façon dont nous interagissons avec nos appareils mobiles. Flash en avant deux ans et des dizaines d'applications AR peuplent tous ... Lire la suite que vous avez installé sur votre téléphone une seule fois et que vous n'avez pas touché depuis.

Leur calendrier est encore plus ambitieux que leurs objectifs: ils veulent expédier des kits de développement ce printemps et le produit de consommation «pendant la période de Windows 10». Voici le pitch.

Tout cela sonne bien, mais j'admets un degré assez élevé de scepticisme.

Les technologies utilisées par Microsoft présentent de sérieux défis fondamentaux, et jusqu'à présent, Microsoft a été très discret sur la façon (ou si) de les résoudre. S'ils ne les ont pas résolus, leur objectif d'expédition dans un délai d'un an est très préoccupant. La dernière chose dont VR et AR ont besoin, c'est d'une grande entreprise qui expédie un autre produit à moitié cuit comme le Kinect. Se souvenir du Démo du projet Natal à partir de 2009?

Sans plus tarder, voici les cinq choses les plus importantes que je voudrais savoir sur le HoloLens.

S'agit-il d'un affichage en champ clair?

Pour comprendre celui-ci, nous devons approfondir un peu la 3D et son fonctionnement. Afin d'avoir la sensation d'un monde 3D réel et tangible, nos cerveaux intègrent de nombreux types d'informations. Nous obtenons des indices de profondeur sur le monde de trois manières principales:

• Profondeur stéréo - la disparité entre ce que nos deux yeux voient. Truquer c'est ainsi que fonctionnent les films 3D
• Parallaxe de mouvement - des mouvements subtils de la tête et du torse nous donnent des repères de profondeur supplémentaires pour les objets plus éloignés
• Focus optique - lorsque nous nous concentrons sur quelque chose, les lentilles de nos yeux se déforment physiquement jusqu'à ce qu'elles deviennent nettes; les objets en champ proche nécessitent plus de distorsion de l'objectif, ce qui fournit des informations détaillées sur ce que nous regardons

La mise au point optique est facile à vérifier par vous-même: fermez un œil et tenez votre pouce devant un mur de l'autre côté de la pièce. Ensuite, déplacez votre focus de votre miniature vers la surface derrière elle. Lorsque vous regardez au-delà de votre pouce, votre pouce se désoriente, car le cristallin de votre œil est maintenant moins déformé et ne peut pas correctement capter la lumière qui en provient.

Les casques de réalité virtuelle comme l'Oculus Rift fournissent les deux premiers signaux de manière extrêmement précise, mais pas le dernier, ce qui fonctionne étonnamment bien: nos yeux par défaut se détendent complètement, car l'optique focalise les images comme à travers la lumière venait d'infiniment loin un moyen. L'absence de repère de mise au point optique est irréaliste, mais elle n'est généralement pas gênante. Vous pouvez toujours avoir expériences de jeu très cool 5 expériences de jeu Oculus Rift qui vous épaterontMaintenant que la deuxième génération de kit de développement Oculus Rift est sortie et entre les mains des développeurs du monde entier, regardons quelques-unes des meilleures choses qui ont frappé le Rift jusqu'à présent. Lire la suite sans ça.

En réalité augmentée, le problème est différent, car il faut mélanger la lumière d'objets réels et virtuels. La lumière du monde réel sera naturellement focalisée à différentes profondeurs. Le contenu virtuel, cependant, sera concentré sur une distance artificielle fixe dictée par l'optique - probablement sur l'infini. Les objets virtuels n'auront pas l'air de faire vraiment partie de la scène. Ils seront flous lorsque vous regarderez des choses réelles à la même profondeur et vice versa. Il ne sera pas possible de déplacer votre œil avec fluidité à travers la scène tout en le gardant au point, comme vous le faites normalement. Les indices de profondeur contradictoires seront au mieux déroutants et au pire écoeurants.

Pour résoudre ce problème, vous avez besoin de quelque chose appelé un affichage sur fond clair. Les écrans à champ lumineux sont des écrans qui utilisent un éventail de minuscules lentilles pour afficher simultanément la lumière focalisée à plusieurs profondeurs. Cela permet à l'utilisateur de se concentrer naturellement sur l'affichage et (pour la réalité augmentée) résout le problème décrit ci-dessus.

Il y a cependant un problème: les affichages de champs lumineux représentent essentiellement un seul écran 2D sur un champ lumineux tridimensionnel, ce qui signifie que chaque «profondeur pixel "que l'utilisateur perçoit (et existe à une profondeur focale particulière dans la scène) est en fait constitué de lumière provenant de nombreux pixels sur l'original afficher. Plus la profondeur que vous souhaitez représenter est fine, plus vous devez abandonner la résolution.

Généralement, les champs lumineux ont environ huit fois diminution de la résolution afin de donner une précision de profondeur adéquate. Les meilleurs microaffichages disponibles ont une résolution d'environ 1080p. En supposant qu'un micro-écran haut de gamme pilote chaque œil, la résolution réelle du casque de Microsoft ne serait que d'environ 500 x 500 pixels par œil, moins même que l'Oculus Rift DK1. Si l'écran a un champ de vision élevé, les objets virtuels seront des taches de pixels incompréhensibles. Si ce n'est pas le cas, l'immersion en souffrira proportionnellement. Nous ne voyons jamais vraiment à travers l'objectif (juste des recréations par ordinateur de ce que l'utilisateur voit), nous n'avons donc aucune idée de ce qu'est vraiment l'expérience utilisateur.

Il est possible que Microsoft ait trouvé une nouvelle solution à ce problème, pour permettre l'utilisation d'un affichage à champ clair sans compromis de résolution. Cependant, Microsoft a été extrêmement méfiant vis-à-vis de sa technologie d'affichage, ce qui me fait penser que non. Voici la meilleure explication que nous ayons obtenue jusqu'à présent (d'après FILAIRE démo).

Pour créer les images du projet HoloLens, les particules de lumière rebondissent environ des millions de fois dans le soi-disant moteur de lumière de l'appareil. Ensuite, les photons pénètrent dans les deux lentilles des lunettes, où ils ricochent entre des couches de verre bleu, vert et rouge avant d'atteindre l'arrière de l'œil.

Ce type de description de la technologie pourrait signifier pratiquement n'importe quoi (bien que, pour être juste envers Microsoft, le matériel a impressionné WIRED, même si l'article était léger sur les détails).

Nous n'en saurons pas plus avant que Microsoft ne commence à publier des spécifications techniques, probablement dans des mois. Dans un autre ordre d'idées, est-il vraiment nécessaire de noyer le projet dans ce discours marketing? Le processeur dédié qu'ils utilisent pour le suivi de la tête est appelé «processeur holographique» et les images sont appelées «hologrammes», sans raison particulière. Le produit est fondamentalement assez cool pour qu'il ne soit vraiment pas nécessaire de le dorer comme ça.

Le suivi est-il assez bon?

Le casque Project HoloLens est équipé d'une caméra à haute profondeur de champ (comme le Kinect), qu'il utilise pour déterminer où le le casque est dans l'espace (en essayant d'aligner l'image de profondeur qu'il voit avec son modèle du monde, composé de la profondeur passée images). Voici leur démo en direct du casque en action.

Le suivi est impressionnant étant donné qu'il n'utilise aucun marqueur ou autre triche, mais même dans cette vidéo (sous conditions fortement contrôlées), vous pouvez voir une certaine quantité d'oscillation: le suivi n'est pas complètement stable. C'est à prévoir: ce type de suivi à l'envers est extrêmement difficile.

Cependant, la grande leçon de la divers prototypes d'Oculus Rift Regardez-nous essayer l'Oculus Rift Crescent Bay au CES 2015L'Oculus Rift Crescent Bay est un tout nouveau prototype qui présente des améliorations intéressantes dans la technologie de réalité virtuelle. Nous l'essayons au CES 2015. Lire la suite est que la précision du suivi est très importante. Le suivi instable est simplement ennuyeux lorsqu'il s'agit de quelques objets dans un monde réel largement stable, mais dans des scènes comme la démo de Mars qu'ils ont montrée dans leur concept vidéo, où presque tout ce que vous voyez est virtuel, un suivi imprécis pourrait entraîner un manque de «présence» dans la scène virtuelle, voire dans le simulateur maladie. Microsoft peut-il obtenir le suivi jusqu'à la norme établie par Oculus (précision de suivi inférieure au millimètre et latence totale inférieure à 20 ms) d'ici leur date de livraison à la fin de cette année?

Voici Michael Abrash, un chercheur en réalité virtuelle qui a travaillé pour Valve et Oculus, parler du problème

[Parce qu'il y a toujours un retard dans la génération d'images virtuelles, […] il est très difficile d'obtenir des images virtuelles et réelles à enregistrer suffisamment près pour que l'œil ne s'en aperçoive pas. Par exemple, supposons que vous ayez une vraie canette de coke que vous souhaitez transformer en canette AR Pepsi en dessinant un logo Pepsi sur le logo Coke. S'il faut des dizaines de millisecondes pour redessiner le logo Pepsi, chaque fois que vous tournerez la tête, l'effet sera le suivant: le logo Pepsi semblera se déplacer de quelques degrés par rapport à la boîte et une partie du logo Coke deviendra visible; alors le logo Pepsi reviendra au bon endroit lorsque vous arrêterez de bouger. Ce n'est clairement pas assez bon pour une RA difficile

L'affichage peut-il dessiner en noir?

Un autre problème, à côté de la profondeur focale et du suivi, concerne le dessin de couleurs sombres. Ajouter plus de lumière à une scène est relativement simple, en utilisant des séparateurs de faisceau. Il est beaucoup plus difficile d'extraire la lumière. Comment assombrir sélectivement certaines parties du monde réel? La mise en place d'un écran LCD sélectivement transparent ne le coupera pas, car il ne peut pas toujours être au bon point pour bloquer ce que vous regardez. Les outils optiques pour résoudre ce problème, à moins que Microsoft ne les ait inventés secrètement, n'existent tout simplement pas.

Cela est important, car pour de nombreuses applications que Microsoft présente (comme regarder Netflix sur votre mur), le casque a vraiment besoin la possibilité de supprimer la lumière provenant du mur, sinon votre film aura toujours un motif de stuc visible superposé: ce sera impossible pour l'imagerie de bloquer des objets réels dans la scène, ce qui rend l'utilisation du casque fortement dépendante de l'éclairage ambiant conditions. Retour à Michael Abrash:

[S] lusivement rien de la sorte n'a fait surface dans l'industrie ou la littérature de la RA, et à moins que ce ne soit le cas, la RA dure, au sens SF que nous connaissons et aimons tous, ne peut pas se produire, sauf dans la quasi-obscurité.

Cela ne signifie pas que l'AR est hors de la table, juste que pendant un certain temps, ce sera une AR douce, basée sur un mélange additif […] Encore une fois, pensez translucide comme «Ghostbusters». Les images virtuelles à haute intensité sans zones sombres fonctionneront également, en particulier avec l'aide d'un assombrissement régional ou mondial - elles ne ressembleront tout simplement pas au réel monde.

Qu'en est-il de l'occlusion?

"Occlusion" est le terme qui désigne ce qui se passe lorsqu'un objet passe devant un autre et vous empêche de voir ce qu'il y a derrière. Pour que les paysages virtuels se sentent comme une partie tangible du monde, il est important que les objets réels occlus le virtuel objets: si vous tenez votre main devant une image virtuelle, vous ne devriez pas pouvoir la voir à travers votre main. En raison de l'utilisation d'une caméra de profondeur sur le casque, cela est en fait possible. Mais, regardez à nouveau la démo en direct:

Dans l'ensemble, ils contrôlent soigneusement les angles de caméra pour éviter que de vrais objets ne passent devant des objets virtuels. Cependant, lorsque la démonstratrice interagit avec le menu Windows, vous pouvez voir que sa main ne l’obstrue pas du tout. Si cela est hors de portée de leur technologie, c'est un très mauvais signe pour la viabilité de leur produit de consommation.

Et en parlant de cette interface utilisateur ...

Est-ce vraiment l'interface utilisateur finale?

L'interface utilisateur montrée par Microsoft dans leurs vidéos de démonstration semble fonctionner en utilisant une combinaison de regard et de main suivi pour contrôler un curseur dans la scène virtuelle, tout en utilisant des commandes vocales pour sélectionner entre différents les options. Cela a deux inconvénients majeurs: il vous fait ressembler au petit enfant du Shining qui parle à son doigt, mais plus important encore, il représente également un paradigme de conception fondamentalement défectueux.

Historiquement, les meilleures interfaces utilisateur ont été celles qui apportent des intuitions physiques sur le monde dans le monde virtuel. La souris a apporté des clics, des glissements et des fenêtres. L'interface tactile a fait glisser pour faire défiler et pincer pour zoomer. Ces deux éléments ont été essentiels pour rendre les ordinateurs plus accessibles et utiles à la population en général - car ils étaient fondamentalement plus intuitifs que ce qui précède.

La VR et la RA vous offrent beaucoup plus de liberté en tant que concepteur: vous pouvez placer des éléments d'interface utilisateur n'importe où sur un espace 3D et faire en sorte que les utilisateurs interagissent avec eux naturellement, comme s'il s'agissait d'objets physiques. Un grand nombre de métaphores évidentes se suggèrent. Appuyez sur un élément d'interface utilisateur virtuel pour le sélectionner. Pincez-le, ramassez-le et déplacez-le. Faites-le glisser hors de la façon de le stocker temporairement. Écrasez-le pour le supprimer. Vous pouvez imaginer créer une interface utilisateur tellement intuitive qu'elle ne nécessite aucune explication. Quelque chose que votre grand-mère peut saisir instantanément, car il repose sur une base d'intuitions physiques de base que tout le monde construit au cours d'une vie d'interaction avec le monde. Prenez une minute et écoutez cette personne intelligente décrire ce que pourraient être les interfaces immersives.

En d'autres termes, il me semble évident qu'une interface utilisateur immersive devrait être au moins aussi intuitif que les interfaces tactiles mises au point par l'iPhone pour les écrans tactiles 2D. Construire une interface autour de la manipulation d'une «souris» VR est un pas en arrière, et expose soit des des lacunes dans leur technologie de suivi des mains ou une incompréhension fondamentale de ce qui est intéressant dans cette nouvelle moyen. Quoi qu'il en soit, c'est un très mauvais signe pour ce produit étant plus qu'un flop colossal à l'échelle Kinect.

Espérons que Microsoft ait le temps d'obtenir des commentaires à ce sujet et de faire un meilleur travail. À titre d'exemple, voici une interface conçue par un amateur pour l'Oculus Rift DK2 et le Leap Motion. Une interface utilisateur immersive conçue par une grande entreprise devrait être au moins aussi bonne.

Un signe de choses à venir

Dans l’ensemble, je suis extrêmement sceptique à l’égard du projet HoloLens dans son ensemble. Je suis très heureux qu’une entreprise disposant des ressources de Microsoft étudie ce problème, mais je crains qu’elles ne soient essayer de précipiter un produit sans résoudre certains problèmes techniques sous-jacents critiques, ou clouer une bonne interface utilisateur paradigme. Le HoloLens est un signe des choses à venir, mais cela ne signifie pas que le produit lui-même va offrir une bonne expérience aux consommateurs.

Crédit d'image: gracieuseté de Microsoft