Qu'est-ce que le moteur neuronal d'Apple et comment fonctionne-t-il ?

Votre iPhone, iPad, Mac et Apple TV utilisent une unité de traitement neuronal spécialisée appelée Apple Neural Engine (ANE) qui est beaucoup plus rapide et plus économe en énergie que le CPU ou le GPU.

ANE rend possible des fonctionnalités avancées sur l'appareil telles que le traitement du langage naturel et l'analyse d'images sans puiser dans le cloud ni utiliser une puissance excessive.

Explorons comment ANE fonctionne et son évolution, y compris l'inférence et l'intelligence qu'il alimente sur les plates-formes Apple et comment les développeurs peuvent l'utiliser dans des applications tierces.

Qu'est-ce qu'Apple Neural Engine (ANE)?

Apple Neural Engine est le nom commercial d'un cluster de cœurs de calcul hautement spécialisés optimisés pour l'exécution économe en énergie de réseaux de neurones profonds sur les appareils Apple. Il accélère les algorithmes d'apprentissage automatique (ML) et d'intelligence artificielle (IA), offrant des avantages considérables en termes de vitesse, de mémoire et de puissance par rapport au CPU ou au GPU principal.

ANE explique en grande partie pourquoi les derniers iPhones, iPads, Mac et Apple TV sont réactifs et ne chauffent pas lors de calculs intensifs de ML et d'IA. Malheureusement, tous les appareils Apple n'ont pas d'ANE - l'Apple Watch, les Mac Intel et les appareils antérieurs à 2016 n'en ont pas.

Le premier ANE qui a fait ses débuts dans la puce A11 d'Apple dans l'iPhone X de 2017 était suffisamment puissant pour prendre en charge Face ID et Animoji. En comparaison, le dernier ANE de la puce A15 Bionic est 26 fois plus rapide que la première version. De nos jours, ANE active des fonctionnalités telles que Siri hors ligne, et les développeurs peuvent l'utiliser pour exécuter des modèles ML préalablement formés, libérant ainsi le CPU et le GPU pour se concentrer sur les tâches qui leur conviennent le mieux.

Comment fonctionne le moteur neuronal d'Apple?

ANE fournit une logique de contrôle et d'arithmétique optimisée pour effectuer des opérations informatiques étendues telles que la multiplication et accumulation, couramment utilisée dans les algorithmes ML et AI tels que la classification des images, l'analyse des médias, la traduction automatique et plus.

Selon Le brevet d'Apple intitulé «Moteur planaire multimode pour processeur neuronal», l'ANE se compose de plusieurs cœurs de moteur neuronal et d'un ou plusieurs circuits planaires multimodes.

La conception est optimisée pour le calcul parallèle, où de nombreuses opérations, comme les multiplications matricielles s'exécutant sur des milliards d'itérations, doivent être effectuées simultanément.

Pour accélérer l'inférence dans les algorithmes d'IA, ANE utilise des modèles prédictifs. De plus, ANE possède son propre cache et ne prend en charge que quelques types de données, ce qui permet d'optimiser les performances.

Fonctionnalités d'IA optimisées par ANE

Voici quelques fonctionnalités sur l'appareil que vous connaissez peut-être et qu'ANE rend possibles.

• Traitement du langage naturel: Reconnaissance vocale plus rapide et plus fiable pour la dictée et Siri; Amélioration de l'apprentissage du langage naturel dans l'application Translate et dans tout le système; Traduction de texte instantanée dans Photos, Appareil photo et autres applications iPhone.
• Vision par ordinateur: Recherche d'objets dans des images telles que des points de repère, des animaux domestiques, des plantes, des livres et des fleurs à l'aide de l'application Photos ou de la recherche Spotlight; Obtenir des informations supplémentaires sur objets reconnus à l'aide de Visual Look Up dans des endroits comme Safari, Mail et Messages.
• Réalité augmentée: Occlusion des personnes et suivi des mouvements dans les applications AR.
• Analyse vidéo: Détection de visages et d'objets sur vidéo dans des applications comme Final Cut Pro.
• Effets de caméra: Recadrage automatique avec Center Stage; Flou d'arrière-plan pendant les appels vidéo FaceTime.
• Jeux: Effets photoréalistes dans les jeux vidéo 3D.
• Texte en direct: Fournit la reconnaissance optique des caractères (OCR) dans Appareil photo et Photos, vous permettant de copier facilement de l'écriture manuscrite ou du texte comme un mot de passe Wi-Fi ou une adresse à partir d'images.
• Photographie computationnelle: Deep Fusion analyse les pixels pour une meilleure réduction du bruit, une plus grande plage dynamique et une exposition automatique et une balance des blancs améliorées, en tirant parti de Smart HDR le cas échéant; Photographie à faible profondeur de champ, y compris la prise de portraits en mode nuit; Réglage du niveau de flou d'arrière-plan avec Depth Control.
• Petits trucs: ANE est également utilisé pour les styles photographiques dans l'application Appareil photo, la conservation des souvenirs et les effets stylistiques dans Photos, des recommandations personnalisées telles que des suggestions de fond d'écran, des sous-titres d'image VoiceOver, la recherche de doublons d'image dans Photos, etc...

Certaines des fonctionnalités mentionnées ci-dessus, telles que la reconnaissance d'image, fonctionnent également sans la présence d'un ANE, mais fonctionneront beaucoup plus lentement et solliciteront la batterie de votre appareil.

Une brève histoire du moteur neuronal d'Apple: de l'iPhone X aux Mac M2

En 2017, Apple a déployé son tout premier ANE sous la forme de deux cœurs spécialisés au sein de la puce A11 de l'iPhone X. Selon les normes actuelles, il était relativement lent, à seulement 600 milliards d'opérations par seconde.

L'ANE de deuxième génération est apparu à l'intérieur de la puce A12 en 2018, arborant quatre fois plus de cœurs. Évalué à cinq billions d'opérations par seconde, cet ANE était presque neuf fois plus rapide et utilisait un dixième de la puissance de son prédécesseur.

La puce A13 de 2019 avait le même ANE à huit cœurs mais fonctionnait un cinquième plus vite tout en utilisant 15 % moins d'énergie, un produit du nœud semi-conducteur amélioré de 7 nm de TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) fabrique des puces conçues par Apple.

L'évolution du moteur neuronal d'Apple

L'année suivante, l'Apple A14 a presque doublé les performances ANE à 11 billions d'opérations par seconde, grâce à l'augmentation du nombre de cœurs ANE de 8 à 16. En 2021, l'A15 Bionic a bénéficié du processus 5 nm de deuxième génération de TSMC, qui a encore augmenté les performances ANE à 15,8 billions d'opérations par seconde sans ajouter plus de cœurs.

Les premières puces M1, M1 Pro et M1 Max liées au Mac avaient le même ANE que l'A14, apportant pour la première fois un ML et une IA avancés et accélérés par le matériel à la plate-forme macOS.

En 2022, le M1 Ultra a combiné deux puces M1 Max dans un seul boîtier en utilisant l'interconnexion personnalisée d'Apple appelée UltraFusion. Avec deux fois plus de cœurs ANE (32), le M1 Ultra a doublé les performances ANE à 22 billions d'opérations par seconde.

L'Apple A16 en 2022 a été fabriqué à l'aide du nœud N4 amélioré de TSMC, apportant des performances ANE environ 8 % plus rapides (17 000 milliards d'opérations par seconde) par rapport à l'ANE de l'A15.

Les premiers iPad compatibles ANE étaient l'iPad mini de cinquième génération (2019), l'iPad Air de troisième génération (2019) et l'iPad de huitième génération (2020). Tous les iPad sortis depuis ont un ANE.

Comment les développeurs peuvent-ils utiliser ANE dans les applications?

De nombreuses applications tierces utilisent ANE pour des fonctionnalités qui autrement ne seraient pas réalisables. Par exemple, l'éditeur d'images Pixelmator Pro fournit des outils tels que ML Super Resolution et ML Enhance. Et dans djay Pro, ANE sépare les rythmes, les instrumentaux et les pistes vocales d'un enregistrement.

Cependant, les développeurs tiers n'obtiennent pas d'accès de bas niveau à ANE. Au lieu de cela, tous les appels ANE doivent passer par le framework logiciel d'Apple pour l'apprentissage automatique, Core ML. Avec Core ML, les développeurs peuvent créer, former et exécuter leurs modèles ML directement sur l'appareil. Un tel modèle est ensuite utilisé pour faire des prédictions basées sur de nouvelles données d'entrée.

"Une fois qu'un modèle est sur l'appareil d'un utilisateur, vous pouvez utiliser Core ML pour le recycler ou l'affiner sur l'appareil, avec les données de cet utilisateur", selon la présentation de Core ML sur le Site Web d'Apple.

Pour accélérer les algorithmes ML et AI, Core ML exploite non seulement ANE, mais également le CPU et le GPU. Cela permet à Core ML d'exécuter un modèle même si aucun ANE n'est disponible. Mais avec un ANE présent, Core ML fonctionnera beaucoup plus rapidement et la batterie ne se déchargera pas aussi rapidement.

De nombreuses fonctionnalités Apple ne fonctionneraient pas sans ANE

De nombreuses fonctionnalités sur l'appareil ne seraient pas possibles sans le traitement rapide des algorithmes AI et ML et l'empreinte mémoire et la consommation d'énergie minimisées qu'ANE apporte à la table. La magie d'Apple est d'avoir un coprocesseur dédié pour exécuter des réseaux de neurones en privé sur l'appareil au lieu de décharger ces tâches sur des serveurs dans le cloud.

Avec ANE, Apple et les développeurs peuvent implémenter des réseaux de neurones profonds et récolter les bénéfices d'une apprentissage automatique pour divers modèles prédictifs tels que la traduction automatique, la détection d'objets, la classification d'images, etc.