Lume Pad 2: la tablette 3D alimentée par l'IA est incroyable et étrange

La description de Lume Pad 2 ressemble à quelqu'un qui a lancé un tas de mots à la mode: c'est une tablette 3D alimentée par l'IA!

Mais qu'est-ce que cela signifie même? Quant à l'IA, elle comprend à la fois une IA sur l'appareil pour analyser les photos et les vidéos puis les convertir en 3D, ainsi qu'une IA cloud générative pour créer des scènes 3D à partir d'invites de texte. Et la partie 3D? C'est vrai aussi: c'est un écran 3D sans lunettes. Réel, réel 3D, avec une image unique transmise à chaque œil.

Il s'agit du Lume Pad 2 d'une société appelée Leia (oui, comme la princesse Star Wars). C'est la chose la plus unique et la plus fascinante que j'ai vue depuis longtemps, mais je ne suis pas convaincu qu'elle ait un marché au-delà d'une poignée d'industries spécialisées.

Affichage 3D sans lunettes

Au cœur de l'appareil se trouve une technologie d'affichage propriétaire unique ("Light Field") qui permet une visionneuse unique pour voir les applications prises en charge dans une véritable vue 3D sans lunettes supplémentaires ou un casque. Son fonctionnement précis n'est pas divulgué, mais il s'agit probablement d'une variante des lentilles lenticulaires, du type que vous obtiendriez dans les paquets de céréales lorsque vous étiez enfant. Au fur et à mesure que vous déplaciez la scène, le prisme translucide à l'avant dirigeait une partie différente de l'image d'arrière-plan vers vos yeux, donnant l'impression que la scène changeait. Le Lume Pad 2 affichera deux images à tout moment, mais la couche d'écran spéciale combinée à deux caméras frontales pour le suivi de la tête et des yeux garantira que chaque œil n'en voit qu'une. Lorsque votre cerveau les combine, vous pouvez voir une scène 3D.

Cela peut être assez magique à voir en personne ("Whhhaaaaaaat", s'est exclamé mon fils, "Papa ça sort de l'écran. Quoi? Comment? Quoi?!")

En plus de cela, le Lume Pad 2 est une tablette Android, remplie de logiciels personnalisés qui vous permettent de prendre des images et des vidéos 3D, ou d'utiliser l'IA pour transformer des vidéos existantes en 3D.

Le matériel

Le Lume Pad 2 dispose d'un écran IPS de 12,4 pouces fonctionnant à 120 Hz de rafraîchissement et 2560 x 1600 pixels, avec une densité de pixels de 244 PPI et un rapport de 16:10. Cependant, en mode 3D, il est prudent de supposer que la résolution est réduite de moitié.

Si nous oublions un instant tous les trucs 3D fantaisistes et que je devais juste évaluer cela comme une tablette Android, je serais surtout impressionné. C'est un joli châssis en métal solide, agréable au toucher et il y a un retour haptique agréable lors de la frappe. Le boîtier en option s'enclenche magnétiquement et permet quelques angles de lecture.

L'interface Android 12 est rapide et, à part le logiciel préinstallé, il s'agit d'une tablette Google Android standard sans trop de travail personnalisé.

En bref: c'est une belle tablette, certainement l'une des meilleures tablettes Android avec lesquelles j'ai joué jusqu'à présent. Vous pouvez cependant oublier de l'utiliser à l'extérieur; avec une luminosité maximale de 450 nits en mode 2D et de 300 nits en 3D, c'est pour une utilisation en intérieur uniquement.

Vous trouverez également deux caméras arrière de 16 MP, avec lesquelles vous pourrez prendre des photos et des vidéos 3D directement sur l'appareil. Contrairement à la plupart des caméras 3D, elles ne sont pas espacées comme le seraient les yeux humains. La plupart des caméras destinées à enregistrer un effet 3D pour les yeux humains ont des objectifs espacés d'environ 63 mm à part - le même que l'humain moyen - garantissant qu'un effet 3D précis sera perçu par l'utilisateur visé téléspectateur. Mais avec le Lume Pad 2, il y a une magie sur l'appareil qui extrapole la profondeur en temps réel.

La tablette est alimentée par le chipset Qualcomm Snapdragon 888, avec 8 Go de RAM et 128 Go de stockage UFS 3.1. Vous pouvez étendre via un slot microSD avec des cartes jusqu'à 2 To, ce que vous voudrez faire rapidement si vous prévoyez de faire bon usage de cet appareil photo ou de lire vos propres médias hors ligne.

Les logiciels

Au-delà de l'écran 3D magique sans lunettes, la vraie valeur du Lume Pad 2 vient du logiciel personnalisé intégré.

LeiaPlayer est un visualiseur multimédia tout-en-un, pour votre propre pellicule 3D, et une belle collection d'exemples d'images. De plus, appuyez sur l'onglet Leia Link et vous pourrez accéder au contenu que vous avez téléchargé depuis un smartphone ordinaire avec l'application Leia Link, que leur logiciel peut ensuite transformer comme par magie en 3D. Cela fonctionne la plupart du temps, mais seulement sur les scènes où la profondeur est évidente. J'ai essayé avec une photo de famille d'être assis dans des karts à pédales, et la profondeur était mauvaise. Leia Player peut lire des vidéos au format VR180 et côte à côte (SBS), bien que vous deviez souvent le spécifier. J'ai essayé de regarder une vidéo au format SBS et pour être honnête, la profondeur était très faible et il n'y avait pas de son. Je suppose qu'il y avait des problèmes de codec. LeiaPlayer n'est certainement pas au même niveau que VLC en ce qui concerne les codecs aléatoires, donc c'était un peu un échec. Même s'il y avait du son, je ne m'en serais pas soucié. Je pense qu'un casque VR à moitié prix ferait un bien meilleur travail.

LeiaPix est une application de réseau social pour partager et visualiser les photos 3D des autres. Explorez un hashtag ou un sujet spécifique et vous constaterez que le contenu est clairsemé, mais c'est un moyen simple de visualiser des images 3D aléatoires. La qualité varie, il est donc possible que celles-ci soient prises avec l'ancienne version du Lume Pad.

LeiaChat vous permet de discuter en 3D avec d'autres utilisateurs de Lume Pad 2, en 3D, lorsque les appels Zoom standard ne suffisent plus. Bien sûr, les deux extrémités ont besoin d'un Lume Pad.

LeiaDream est une application d'art 3D générative. Je suppose que c'est une version personnalisée de StableDiffusion mais cela pourrait être complètement propriétaire. Dans tous les cas, il vous permet de saisir une invite de texte et d'obtenir une image 3D personnalisée. C'est loin d'être le niveau de réalisme de Midjourney, et en tant que service cloud, votre compte contient assez pour générer environ 250 images. Après cela, vous devrez acheter plus de crédits.

LeiaViewer est une visionneuse de modèles 3D avec une poignée de modèles inclus et une intégration avec Sketchfab si vous voulez plus ou voir vos propres créations (bien que seule une connexion par e-mail Sketchfab par défaut soit prise en charge, pas si vous vous êtes inscrit via un réseau social fournisseur). Il s'agit probablement du cas d'utilisation le plus convaincant pour le Lume Pad 2, les modèles 3D étant évidemment parfaitement adaptés à la technologie d'affichage sans lunettes. Vous pouvez incliner, faire pivoter, zoomer, etc., ainsi que contrôler la profondeur de l'effet 3D.

LeiaTube est une visionneuse YouTube et Vimeo. Ouvrez-le et vous verrez une sélection de contenu, même si le contenu au format SBS 3D natif doit être exécuté via l'algorithme de conversion AI. Vous pouvez également partager une vidéo de l'application YouTube standard directement ici et elle la convertira automatiquement pour une visualisation en 3D. Je l'ai essayé avec une de mes propres critiques, et pour être honnête, ce n'était pas si génial. L'effet n'était pas aussi prononcé ni aussi précis que je l'espérais; il y avait certainement quelques problèmes ici et là, avec des bords flous autour des objets où il pouvait dire quelle devrait être la profondeur.

Cela fait beaucoup d'applications intégrées, et il y a aussi un Leia App Store. Cependant, c'est un peu clairsemé, avec peut-être quatre matchs au total. De manière réaliste, à moins qu'il ne s'agisse d'un titre propriétaire de Leia Inc, il est peu probable que de nombreux développeurs s'engagent pour un si petit marché. Vous ne pouvez pas simplement prendre des jeux existants et les rendre en 3D. Les deux démos de jeux gratuites préinstallées sur notre appareil étaient des démos fascinantes mais n'ont finalement pas pu retenir mon attention pendant plus de cinq minutes chacune si cela.

Bien qu'il existe de nombreuses applications intégrées, vous ne devriez pas vous attendre à quoi que ce soit d'autre pour prendre en charge la fonctionnalité 3D. Vous ne pouvez pas ouvrir VLC et lire un film encodé SBS, par exemple, et Call of Duty ne gagnera pas soudainement une troisième dimension. Pour utiliser la technologie 3D unique, une application doit prendre en charge le SDK Leia. Il exécutera avec plaisir d'autres applications Android, mais elles ne s'afficheront qu'en 2D standard.

Comment est l'effet de profondeur?

J'étais sceptique quant à l'arrivée de la technologie d'affichage sans lunettes dans cette revue, mais elle peut être assez étonnante dans les bonnes conditions. Bien qu'impossible à montrer en vidéo, ce dont je peux parler, c'est de la qualité subjective de l'effet 3D et de l'écran en général.

Premièrement, le degré d'effet de profondeur varie considérablement selon l'application et le type de contenu que vous consultez.

Le meilleur effet sera obtenu à partir d'objets rendus en 3D. Par exemple, si vous ouvrez l'application LeiaViewer 3D et découvrez la ville cyberpunk incluse (y compris les voitures animées en zoomant), vous constaterez que la flèche la plus haute apparaîtra à près de 6 pouces de la surface de la tablette. C'est incroyable.

Cela est également vrai pour les démos de jeu, et c'est dans le jeu Dungeon que les fonctionnalités de suivi de la tête peuvent également être clairement vues. Non seulement les murs du donjon prennent vie en 3D glorieuse, mais si vous inclinez la tablette ou vous déplacez, vous verrez des angles précédemment cachés. C'est une expérience unique que je n'ai jamais vécue qu'en VR.

En ce qui concerne les images ou la vidéo, l'effet n'est pas aussi prononcé, dans la mesure où je ne prendrais pas la peine de regarder des films 3D à ce sujet; ce n'est tout simplement pas convaincant par rapport à faire la même chose dans le cinéma virtuel VR. Cela pourrait simplement être un "facteur de réalisme". Le contenu 3D rendu sera toujours plus impressionnant qu'une scène réelle, car cette dernière est quelque chose à laquelle nous sommes tellement habitués dans la vraie vie.

Suivi et qualité visuelle

De manière générale, tant que je n'étais pas dans un angle trop obtus, le suivi du visage et des yeux semblait bien fonctionner. Je n'ai pas rencontré beaucoup de problèmes où il reviendrait en mode 2D uniquement, sauf lorsque mon fils a décidé de coller son visage et de voir de quoi il s'agissait. Il ne peut pas suivre plus d'une personne à la fois, et il faut parfois une seconde ou deux pour se rendre compte qu'il y a un nouveau spectateur. Ensuite, tout s'enclenche comme par magie dans la vue 3D.

L'affichage est cependant loin d'être parfait; deux points nuisent à l'expérience globale.

Tout d'abord, il y a un léger type de maille pointillée de type porte moustiquaire sur l'écran. Vraisemblablement, c'est une partie de la couche lenticulaire qui sépare l'image pour chaque œil. Ceci est plus évident lorsqu'il est enclenché en mode 3D. Bien que le matériel de la tablette soit par ailleurs très agréable et réactif comme une tablette Android générique, la qualité de l'écran peut être frustrante.

Deuxièmement, il y a aussi un problème de fantôme assez évident. Cela signifie que chaque œil peut voir l'image destinée à l'autre œil, bien que très faiblement. Dans l'exemple ci-dessus, l'image rémanente à l'arrière des ailes est également présente lorsqu'elle est vue en 3D, et pas seulement à la suite d'un tournage.

Ce n'est pas tant une critique de cette tablette en particulier qu'une faille dans la technologie sous-jacente, et ce n'est pas non plus propre aux écrans sans lunettes. Si vous avez déjà regardé des films 3D passifs (ceux impliquant une paire de lunettes fragiles), ceux-ci ont également tendance à avoir pas mal de fantômes. C'est parce qu'il est presque impossible de faire culminer parfaitement la lumière dans une direction particulière. Vous pouvez l'obtenir assez bien pour obtenir l'effet 3D, mais si vous faites une pause et examinez l'image de manière critique, vous verrez des images fantômes. Ceci est plus évident pour les objets plus clairs sur un fond sombre. Seuls les écrans 3D actifs (ceux qui nécessitent des lunettes LCD plus lourdes avec une batterie) peuvent complètement éliminer les images fantômes, car ils alternent les images et bloquent complètement la vue pour un œil chacun temps.

Est-ce l'affichage 3D ultime? Non.

Le Lume Pad 2 est vraiment magique à voir. C'est une merveille technologique, et j'aimerais avoir une meilleure façon de vous le montrer, mais tout comme la réalité virtuelle, c'est quelque chose que vous devez expérimenter par vous-même.

Mais je sais ce que vous pensez: c'est une mode. J'étais un grand partisan des téléviseurs et des projecteurs 3D jusqu'à il y a dix ans. J'ai même passé une grande partie de mon temps universitaire à jouer à Unreal Tournament 2K avec les lunettes 3D Nvidia d'origine et un énorme moniteur CRT Silicon Graphic. Mais les sorties de films 3D se sont largement taries (quatre jusqu'à présent cette année, semble-t-il), et les gens ont réalisé que devoir porter des lunettes spéciales pour regarder un film était une corvée pour des résultats souvent pires que sans.

Bien sûr, la beauté du Lume Pad 2 est qu'il fonctionne sans lunettes, et il fonctionne tout simplement (bien que pour un seul spectateur).

Le fait qu'il dispose d'un système d'intelligence artificielle intégré pour convertir du contenu non 3D et d'un moyen de produire vos propres photos et films 3D sur l'appareil lui-même, je pense, lui donne des jambes. Même si demain le monde arrêtait de créer du contenu 3D et qu'Internet s'effondrait, vous pourriez toujours produire et afficher vos propres créations à partir de ce seul appareil. Leia s'est efforcée de produire un contenu convaincant avec un réseau social personnalisé juste pour Lume Pad utilisateurs, et ils comprennent que vous ne pouvez pas simplement avoir une technologie incroyable, vous avez besoin des applications et du contenu pour aller avec ça. C'est très encourageant.

Cependant, comprendre un problème et être capable de le résoudre sont deux choses différentes.

La plus grande limitation du Lume Pad 2 est qu'il n'y a aucun moyen de l'utiliser comme affichage 3D générique pour n'importe quelle source d'entrée. S'il avait un port d'entrée HDMI ou un dongle et pouvait lire n'importe quelle entrée formatée SBS en mode 3D, cela en ferait un achat instantané pour un marché beaucoup plus vaste. Par exemple, le Casque de cinéma Goovis G3 Max persona, que nous avons examiné la semaine dernière, peut faire exactement cela. Il prend n'importe quelle entrée USB-C ou HDMI, qu'il s'agisse d'un lecteur Blu-ray 3D ou d'un lecteur multimédia générique exécutant VLC avec certains SBS fichiers formatés, ou YouTube, ou même un jeu sur PC avec un logiciel qui produit des jeux 3D dans un format côte à côte - et c'est juste travaux.

Avec le Lume Pad 2, tout ce que vous voulez utiliser en 3D doit être spécifiquement programmé avec le SDK Leia. Cela ne fonctionnera même pas avec les applications Android conçues pour Google VR.

S'il n'y a pas d'application pour cela, alors c'est tout. Et franchement, il n'est pas si facile non plus d'obtenir votre propre contenu sur cet appareil. L'application Android File Transfer sur Mac est sommaire dans le meilleur des cas, j'ai donc dû installer une application Android aléatoire avec une interface horrible juste pour naviguer sur le réseau. C'était une expérience misérable de copier un fichier.

Je pense que le vrai créneau pour ce produit sera la modélisation 3D; ou plutôt, visualiser les modèles 3D que vous avez produits ailleurs et téléchargés sur Sketchfab. Cela pourrait être un public très spécialisé, cependant. Il est incroyablement fascinant de voir la conception de votre objet 3D prendre vie, et avec des objets 3D rendus, la profondeur que vous pouvez obtenir est incroyablement bonne. Et pour cette poignée de personnes qui aiment encore la photographie stéréo: vous allez adorer ça.

Pour tous les autres, je ne suis pas si sûr. Je peux voir comment Leia essaie de le rendre convaincant avec l'IA 3D-ifier de n'importe quelle vidéo YouTube, et la caméra à l'arrière pour faire vos propres photos 3D. Mais pour ces fonctionnalités, cela ne fonctionne pas si bien. Tout comme je ne pense pas que quiconque enregistrera des moments en famille à l'aide de la caméra 3D frontale d'Apple Vision Pro, je ne vous vois pas traîner une tablette à 1 000 $ pour prendre des photos ou des vidéos. Donc, ma plus grande préoccupation est simplement qu'il n'y a pas de marché pour cet appareil; du moins, pas assez grand pour convaincre les développeurs qu'il vaut la peine d'ajouter le support Leia SDK à leurs applications.

Bien qu'il ne s'agisse pas d'un point de données définitif, le subreddit pour le Lume Pad - qui est peut-être le premier endroit où je sauterais pour trouver de nouvelles applications, des conseils et des suggestions de contenu - compte au total 105 membres.

Le matériel est incroyable, et le logiciel essaie si fort de trouver un véritable objectif, et je ne pense tout simplement pas qu'il atteigne le but. Pourtant, ce sera peut-être le cas avec le temps. Mais si vous avez l'ancien Lume Pad et que vous appréciez déjà ce que vous pouvez en faire, le Lume Pad 2 est à tous points de vue une mise à niveau incroyable. Obtenez-le, vous allez l'adorer.