Qu'est-ce que la puce R1 d'Apple et comment se compare-t-elle à M1 et M2 ?

Le Vision Pro apporte un nouveau silicium Apple, la puce R1, dédiée au traitement en temps réel des données de tous les capteurs embarqués. Il est responsable du suivi des yeux, des mains et de la tête, du rendu sans décalage de l'environnement de l'utilisateur en mode passthrough vidéo et d'autres fonctionnalités de visionOS.

En déchargeant la charge de traitement du processeur principal et en optimisant les performances, le R1 réduit le mal des transports à des niveaux imperceptibles, que ce soit en utilisant le casque en réalité augmentée ou en réalité virtuelle mode. Explorons comment la puce Apple R1 fonctionne et se compare à la puce principale M2, les fonctionnalités Vision Pro qu'elle active, et plus encore.

Qu'est-ce que la puce R1 d'Apple? Comment ça marche?

L'Apple R1, et non la puce principale M2, traite un flux continu de données en temps réel vers le Vision Pro par ses douze caméras, cinq capteurs et six microphones.

Deux caméras externes principales enregistrent votre monde, transmettant plus d'un milliard de pixels aux écrans 4K du casque chaque seconde. En plus de cela, une paire de caméras latérales, ainsi que deux caméras montées en bas et deux illuminateurs infrarouges, suivent le mouvement de la main à partir d'un large éventail de positions, même dans des conditions de faible luminosité.

Les capteurs orientés vers l'extérieur comprennent également le scanner LiDAR et la caméra TrueDepth d'Apple qui capturent un carte de profondeur de votre environnement, permettant à Vision Pro de positionner avec précision des objets numériques dans votre espace. À l'intérieur, un anneau de LED autour de chaque écran et deux caméras infrarouges suivent le mouvement de vos yeux, ce qui constitue la base de la navigation visionOS.

Le R1 est chargé de traiter les données de tous ces capteurs, y compris les unités de mesure inertielle, avec un retard imperceptible. Ceci est de la plus haute importance pour rendre l'expérience spatiale fluide et crédible.

Comment l'Apple R1 se compare-t-il aux M1 et M2?

Les M1 et M2 sont des processeurs à usage général optimisés pour les ordinateurs Mac. Le R1 est un coprocesseur à focale étroite conçu pour prendre en charge des expériences AR fluides. Il fait son travail plus rapidement que le M1 ou le M2, ce qui permet des avantages comme une expérience sans décalage.

Apple n'a pas précisé le nombre de cœurs de processeur et de processeur graphique dont dispose le R1, ni détaillé la fréquence du processeur et la RAM, ce qui rend difficile une comparaison directe entre le R1, le M1 et le M2.

Les principaux domaines du R1 sont le suivi des yeux et de la tête, les gestes de la main et la cartographie 3D en temps réel via le capteur LiDAR. Le déchargement de ces opérations intensives en calcul permet au M2 d'exécuter efficacement les différents sous-systèmes, algorithmes et applications visionOS.

Les principales caractéristiques de la puce R1 du Vision Pro

Le R1 a ces fonctionnalités clés :

• Traitement rapide : Les algorithmes spécialisés et le traitement du signal d'image dans le R1 sont optimisés pour comprendre les entrées du capteur, de la caméra et du microphone.
• Faible latence: L'architecture matérielle optimisée se traduit par une très faible latence.
• Efficacité énergétique: Le R1 gère un ensemble particulier de tâches tout en utilisant un minimum d'énergie, grâce à son architecture de mémoire efficace et au processus de fabrication de 5 nm de TSMC.

En revanche, la conception à double puce du Vision Pro et la sophistication du R1 contribuent au prix élevé du casque et à la durée de vie de la batterie de deux heures.

Quels avantages le R1 apporte-t-il au Vision Pro?

Le R1 permet un suivi précis des yeux et des mains qui "fonctionne tout simplement". Pour naviguer dans visionOS, par exemple, vous dirigez votre regard vers les boutons et autres éléments.

Le Vision Pro utilise des gestes de la main pour sélectionner des éléments, faire défiler, etc. La sophistication et la précision du suivi des yeux et des mains ont permis aux ingénieurs d'Apple de créer un casque à réalité mixte ne nécessitant aucun contrôleur physique.

La précision de suivi et le délai minimal du R1 permettent des fonctionnalités supplémentaires, comme la frappe à l'air sur le clavier virtuel. Le R1 alimente également un suivi de tête fiable, essentiel à la création d'un canevas de calcul spatial entourant l'utilisateur. Encore une fois, la précision est essentielle ici - vous voulez que tous les objets AR maintiennent leur position, quelle que soit la façon dont vous inclinez et tournez la tête.

La conscience spatiale est un autre facteur qui contribue à l'expérience. Le R1 prend les données de profondeur du capteur LiDAR et de la caméra TrueDepth, effectuant une cartographie 3D en temps réel. Les informations de profondeur permettent au casque de comprendre son environnement, comme les murs et les meubles.

Ceci, à son tour, est important pour la persistance AR, qui fait référence au placement fixe des objets virtuels. Il aide également Vision Pro à avertir l'utilisateur avant qu'il ne heurte des objets physiques, ce qui contribue à réduire le risque d'accidents dans les applications AR.

Comment la fusion du capteur R1 atténue-t-elle le mal des transports?

La conception à double puce du Vision Pro décharge le traitement du capteur de la puce principale M2, qui exécute le système d'exploitation et les applications visionOS. Selon le Communiqué de presse VisionPro, le R1 diffuse les images des caméras externes vers les écrans internes en 12 millisecondes, soit huit fois plus rapidement qu'un clin d'œil, minimisant ainsi le décalage.

Le décalage fait référence à la latence entre ce que voient les caméras et les images affichées sur les écrans 4K du casque. Plus le décalage est court, mieux c'est.

Le mal des transports survient lorsqu'il y a un décalage perceptible entre l'entrée que votre cerveau reçoit de vos yeux et ce que votre oreille interne détecte. Il peut survenir dans de nombreuses situations, notamment dans un parc d'attractions, sur un promenade en bateau ou en croisière, tout en utilisant un appareil VR, etc.

La réalité virtuelle peut rendre les gens malades en raison d'un conflit sensoriel, entraînant des symptômes du mal des transports tels que désorientation, nausées, étourdissements, maux de tête, fatigue oculaire, position assise, vomissements et autres.

La réalité virtuelle peut aussi être mauvaise pour vos yeux à cause de la fatigue oculaire, dont les symptômes comprennent des yeux douloureux ou des démangeaisons, une vision double, des maux de tête et des douleurs au cou. Certaines personnes peuvent ressentir un ou plusieurs de ces symptômes pendant plusieurs heures après avoir retiré le casque.

En règle générale, un appareil VR doit rafraîchir l'affichage au moins 90 fois par seconde (FPS), et le délai d'affichage doit être inférieur à 20 millisecondes pour éviter de donner aux gens le mal des transports.

Avec le décalage indiqué de seulement 12 millisecondes, le R1 réduit le décalage à un niveau imperceptible. Alors que le R1 aide à minimiser les effets du mal des transports, certains testeurs de Vision Pro ont signalé des symptômes de mal des transports après avoir porté le casque pendant plus de 30 minutes.

Les coprocesseurs Apple Silicon spécialisés apportent des avantages majeurs

Apple n'est pas étranger aux processeurs spécialisés. Au fil des ans, son équipe de silicium a produit des puces mobiles et de bureau qui font l'envie de l'industrie.

Les puces en silicium d'Apple s'appuient fortement sur des coprocesseurs spécialisés pour gérer des fonctionnalités spécifiques. Le Secure Enclave gère en toute sécurité les données biométriques et de paiement, par exemple, tandis que le Neural Engine accélère les fonctions d'IA sans détruire la batterie.

Ce sont des exemples parfaits de ce qui peut être réalisé en ayant un coprocesseur hautement concentré pour le bon ensemble de tâches par rapport à. en utilisant le processeur principal pour tout.