Was ist Apples Neural Engine und wie funktioniert sie?

Ihr iPhone, iPad, Mac und Apple TV verwenden eine spezialisierte neuronale Verarbeitungseinheit namens Apple Neural Engine (ANE), die viel schneller und energieeffizienter als die CPU oder GPU ist.

ANE ermöglicht fortschrittliche On-Device-Funktionen wie die Verarbeitung natürlicher Sprache und Bildanalyse, ohne die Cloud anzuzapfen oder übermäßig viel Strom zu verbrauchen.

Lassen Sie uns untersuchen, wie ANE funktioniert und seine Entwicklung, einschließlich der Inferenz und Intelligenz, die es auf Apple-Plattformen ermöglicht, und wie Entwickler es in Apps von Drittanbietern verwenden können.

Was ist Apple Neural Engine (ANE)?

Apple Neural Engine ist ein Marketingname für einen Cluster hochspezialisierter Rechenkerne, die für die energieeffiziente Ausführung tiefer neuronaler Netze auf Apple-Geräten optimiert sind. Es beschleunigt Algorithmen für maschinelles Lernen (ML) und künstliche Intelligenz (KI) und bietet enorme Geschwindigkeits-, Speicher- und Leistungsvorteile gegenüber der Haupt-CPU oder -GPU.

ANE ist ein großer Teil dessen, warum die neuesten iPhones, iPads, Macs und Apple TVs reaktionsschnell sind und bei umfangreichen ML- und KI-Berechnungen nicht heiß werden. Leider haben nicht alle Apple-Geräte eine ANE – die Apple Watch, Intel-basierte Macs und Geräte, die älter als 2016 sind, haben keine.

Das erste ANE, das im iPhone X von 2017 in Apples A11-Chip debütierte, war leistungsfähig genug, um Face ID und Animoji zu unterstützen. Im Vergleich dazu ist das neueste ANE im A15 Bionic-Chip 26-mal schneller als die erste Version. Heutzutage ermöglicht ANE Funktionen wie Offline-Siri, und Entwickler können es verwenden, um zuvor trainierte ML-Modelle auszuführen, wodurch CPU und GPU entlastet werden, damit sie sich auf Aufgaben konzentrieren können, die besser für sie geeignet sind.

Wie funktioniert Apples Neural Engine?

ANE bietet Steuerungs- und arithmetische Logik, die für die Durchführung umfangreicher Rechenoperationen wie Multiplikation und optimiert ist Akkumulation, die häufig in ML- und KI-Algorithmen wie Bildklassifizierung, Medienanalyse, maschinelle Übersetzung und verwendet wird mehr.

Entsprechend Apples Patent ANE mit dem Titel „Multi-Mode Planar Engine for Neural Processor“ besteht aus mehreren neuralen Engine-Kernen und einer oder mehreren planaren Multi-Mode-Schaltungen.

Das Design ist für paralleles Rechnen optimiert, bei dem viele Operationen, wie Matrixmultiplikationen, die in Billionen von Iterationen ausgeführt werden, gleichzeitig ausgeführt werden müssen.

Um die Inferenz in KI-Algorithmen zu beschleunigen, verwendet ANE Vorhersagemodelle. Darüber hinaus verfügt ANE über einen eigenen Cache und unterstützt nur wenige Datentypen, wodurch die Leistung maximiert wird.

KI-Funktionen Unterstützt von ANE

Hier sind einige Gerätefunktionen, mit denen Sie vielleicht vertraut sind und die ANE ermöglicht.

• Verarbeitung natürlicher Sprache: Schnellere, zuverlässigere Spracherkennung für Diktat und Siri; Verbessertes Erlernen natürlicher Sprache in der Übersetzer-App und im gesamten System; Sofortige Textübersetzung in Fotos, Kamera und anderen iPhone-Apps.
• Computer Vision: Suchen von Objekten in Bildern wie Sehenswürdigkeiten, Haustieren, Pflanzen, Büchern und Blumen mit der Fotos-App oder der Spotlight-Suche; Weitere Informationen erhalten über erkannte Objekte mit Visual Look Up an Orten wie Safari, Mail und Nachrichten.
• Erweiterte Realität: Personenverdeckung und Bewegungsverfolgung in AR-Apps.
• Videoanalyse: Erkennung von Gesichtern und Objekten auf Videos in Apps wie Final Cut Pro.
• Kameraeffekte: Automatisches Zuschneiden mit Center Stage; Hintergrundunschärfe bei FaceTime-Videoanrufen.
• Spiele: Fotorealistische Effekte in 3D-Videospielen.
• Live-Text: Bietet optische Zeichenerkennung (OCR) in Kamera und Fotos, sodass Sie Handschrift oder Text wie ein WLAN-Passwort oder eine Adresse einfach aus Bildern kopieren können.
• Computergestützte Fotografie: Deep Fusion analysiert Pixel für eine bessere Rauschunterdrückung, einen größeren Dynamikbereich und eine verbesserte automatische Belichtung und einen verbesserten Weißabgleich, wobei Smart HDR bei Bedarf genutzt wird; Fotografie mit geringer Schärfentiefe, einschließlich Porträts im Nachtmodus; Anpassen des Grads der Hintergrundunschärfe mit der Tiefensteuerung.
• Leckerbissen: ANE wird auch für fotografische Stile in der Kamera-App, Kuration von Erinnerungen und stilistische Effekte in Fotos verwendet. personalisierte Empfehlungen wie Hintergrundbildvorschläge, VoiceOver-Bildbeschriftung, Finden von Bildduplikaten in Fotos usw.

Einige der oben genannten Funktionen, wie die Bilderkennung, funktionieren auch ohne ANE, laufen aber viel langsamer und belasten den Akku Ihres Geräts.

Eine kurze Geschichte der Apple Neural Engine: Vom iPhone X bis zu M2-Macs

Im Jahr 2017 setzte Apple sein allererstes ANE in Form von zwei spezialisierten Kernen im A11-Chip des iPhone X ein. Nach heutigen Maßstäben war es mit nur 600 Milliarden Operationen pro Sekunde relativ langsam.

Der ANE der zweiten Generation erschien 2018 im A12-Chip mit viermal so vielen Kernen. Mit einer Nennleistung von fünf Billionen Operationen pro Sekunde war dieser ANE fast neunmal schneller und verbrauchte ein Zehntel der Energie seines Vorgängers.

Der A13-Chip von 2019 hatte das gleiche ANE mit acht Kernen, lief aber ein Fünftel schneller und verbrauchte dabei 15 % weniger Strom, ein Produkt des verbesserten 7-nm-Halbleiterknotens von TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) stellt von Apple entwickelte Chips her.

Die Evolution der Apple Neural Engine

Im folgenden Jahr verdoppelte der Apple A14 die ANE-Leistung fast auf 11 Billionen Operationen pro Sekunde, was durch die Erhöhung der Anzahl der ANE-Kerne von 8 auf 16 erreicht wurde. Im Jahr 2021 profitierte der A15 Bionic vom 5-nm-Prozess der zweiten Generation von TSMC, der die ANE-Leistung weiter auf 15,8 Billionen Operationen pro Sekunde steigerte, ohne weitere Kerne hinzuzufügen.

Die ersten Mac-gebundenen M1-, M1 Pro- und M1 Max-Chips hatten die gleiche ANE wie der A14 und brachten zum ersten Mal fortschrittliches, hardwarebeschleunigtes ML und KI auf die macOS-Plattform.

Im Jahr 2022 kombinierte der M1 Ultra zwei M1 Max-Chips in einem einzigen Gehäuse unter Verwendung von Apples benutzerdefinierter Verbindung namens UltraFusion. Mit doppelt so vielen ANE-Kernen (32) verdoppelte der M1 Ultra die ANE-Leistung auf 22 Billionen Operationen pro Sekunde.

Der Apple A16 im Jahr 2022 wurde unter Verwendung des verbesserten N4-Knotens von TSMC hergestellt, was eine um 8 % schnellere ANE-Leistung (17 Billionen Operationen pro Sekunde) im Vergleich zum ANE des A15 bringt.

Die ersten ANE-fähigen iPads waren das iPad mini der fünften Generation (2019), das iPad Air der dritten Generation (2019) und das iPad der achten Generation (2020). Alle seitdem veröffentlichten iPads haben eine ANE.

Wie können Entwickler ANE in Apps verwenden?

Viele Apps von Drittanbietern verwenden ANE für Funktionen, die sonst nicht realisierbar wären. Der Bildeditor Pixelmator Pro bietet beispielsweise Tools wie ML Super Resolution und ML Enhance. Und in djay Pro trennt ANE Beats, Instrumentals und Gesangsspuren von einer Aufnahme.

Entwickler von Drittanbietern erhalten jedoch keinen Low-Level-Zugriff auf ANE. Stattdessen müssen alle ANE-Aufrufe Apples Software-Framework für maschinelles Lernen, Core ML, durchlaufen. Mit Core ML können Entwickler ihre ML-Modelle direkt auf dem Gerät erstellen, trainieren und ausführen. Ein solches Modell wird dann verwendet, um Vorhersagen basierend auf neuen Eingabedaten zu treffen.

„Sobald sich ein Modell auf dem Gerät eines Benutzers befindet, können Sie Core ML verwenden, um es auf dem Gerät mit den Daten dieses Benutzers neu zu trainieren oder zu optimieren“, so die Core ML-Übersicht auf der Apple-Website.

Um ML- und KI-Algorithmen zu beschleunigen, nutzt Core ML nicht nur ANE, sondern auch CPU und GPU. Dadurch kann Core ML ein Modell ausführen, auch wenn keine ANE verfügbar ist. Aber mit einem vorhandenen ANE läuft Core ML viel schneller und der Akku wird nicht so schnell entladen.

Viele Apple-Funktionen würden ohne ANE nicht funktionieren

Viele Funktionen auf dem Gerät wären ohne die schnelle Verarbeitung von KI- und ML-Algorithmen und den minimierten Speicherbedarf und Stromverbrauch, den ANE mit sich bringt, nicht möglich. Die Magie von Apple besteht darin, einen dedizierten Coprozessor zu haben, um neuronale Netze privat auf dem Gerät auszuführen, anstatt diese Aufgaben auf Server in der Cloud auszulagern.

Mit ANE können sowohl Apple als auch Entwickler tiefe neuronale Netze implementieren und die Vorteile der Beschleunigung nutzen maschinelles Lernen für verschiedene Vorhersagemodelle wie maschinelle Übersetzung, Objekterkennung, Bildklassifizierung, usw.