Hva er Apples nevrale motor og hvordan fungerer den?

iPhone, iPad, Mac og Apple TV bruker en spesialisert neural prosesseringsenhet kalt Apple Neural Engine (ANE) som er mye raskere og mer energieffektiv enn CPU eller GPU.

ANE muliggjør avanserte funksjoner på enheten som naturlig språkbehandling og bildeanalyse uten å tappe inn i skyen eller bruke overdreven kraft.

La oss utforske hvordan ANE fungerer og dens utvikling, inkludert slutningen og intelligensen den driver på tvers av Apple-plattformer og hvordan utviklere kan bruke den i tredjepartsapper.

Hva er Apple Neural Engine (ANE)?

Apple Neural Engine er et markedsføringsnavn for en klynge med høyt spesialiserte datakjerner som er optimert for energieffektiv utførelse av dype nevrale nettverk på Apple-enheter. Den akselererer maskinlæring (ML) og kunstig intelligens (AI) algoritmer, og tilbyr enorme hastighet, minne og kraftfordeler i forhold til hoved-CPU eller GPU.

ANE er en stor del av hvorfor de nyeste iPhone-ene, iPadene, Mac-ene og Apple TV-ene er responsive og ikke blir varme under tunge ML- og AI-beregninger. Dessverre har ikke alle Apple-enheter en ANE – Apple Watch, Intel-baserte Mac-er og enheter eldre enn 2016 mangler en.

Den første ANE som debuterte i Apples A11-brikke i 2017s iPhone X var kraftig nok til å støtte Face ID og Animoji. Til sammenligning er den siste ANE i A15 Bionic-brikken 26 ganger raskere enn den første versjonen. I dag aktiverer ANE funksjoner som offline Siri, og utviklere kan bruke den til å kjøre tidligere opplærte ML-modeller, noe som frigjør CPU og GPU for å fokusere på oppgaver som passer bedre for dem.

Hvordan fungerer Apples nevrale motor?

ANE gir kontroll og aritmetisk logikk optimalisert for å utføre omfattende databehandlingsoperasjoner som multiplikasjon og akkumulering, ofte brukt i ML- og AI-algoritmer som bildeklassifisering, medieanalyse, maskinoversettelse og mer.

I følge Apples patent med tittelen "Multi-Mode Planar Engine for Neural Processor," ANE består av flere nevrale motorkjerner og en eller flere multi-mode plane kretser.

Designet er optimalisert for parallell databehandling, der mange operasjoner, som matrisemultiplikasjoner som kjører i billioner av iterasjoner, må utføres samtidig.

For å øke hastigheten på inferens i AI-algoritmer, bruker ANE prediktive modeller. I tillegg har ANE sin egen cache og støtter bare noen få datatyper, noe som bidrar til å maksimere ytelsen.

AI-funksjoner drevet av ANE

Her er noen funksjoner på enheten du kanskje er kjent med som ANE gjør mulig.

• Naturlig språkbehandling: Raskere, mer pålitelig stemmegjenkjenning for diktering og Siri; Forbedret naturlig språklæring i Translate-appen og i hele systemet; Øyeblikkelig tekstoversettelse i bilder, kamera og andre iPhone-apper.
• Datamaskin syn: Finne objekter i bilder som landemerker, kjæledyr, planter, bøker og blomster ved å bruke Bilder-appen eller Spotlight-søk; Får tilleggsinformasjon om gjenkjente objekter ved hjelp av Visual Look Up på steder som Safari, Mail og Messages.
• Utvidet virkelighet: Folkeokklusjon og bevegelsessporing i AR-apper.
• Videoanalyse: Gjenkjenning av ansikter og objekter på video i apper som Final Cut Pro.
• Kameraeffekter: Automatisk beskjæring med Center Stage; Bakgrunnsuskarphet under FaceTime-videosamtaler.
• Spill: Fotorealistiske effekter i 3D-videospill.
• Live tekst: Gir optisk tegngjenkjenning (OCR) i kamera og bilder, slik at du enkelt kan kopiere håndskrift eller tekst som et Wi-Fi-passord eller adresse fra bilder.
• Beregningsfotografering: Deep Fusion analyserer piksler for bedre støyreduksjon, større dynamisk rekkevidde og forbedret automatisk eksponering og hvitbalanse, og utnytter Smart HDR når det passer; Fotografering med grunt dybdeskarphet, inkludert å ta nattmodusportretter; Juster nivået på bakgrunnsuskarphet med dybdekontroll.
• Godbiter: ANE brukes også for fotografiske stiler i kamera-appen, minnekurering og stilistiske effekter i bilder, personlige anbefalinger som bakgrunnsforslag, VoiceOver bildeteksting, finne bildeduplikater i Bilder osv.

Noen av funksjonene nevnt ovenfor, som bildegjenkjenning, fungerer også uten en ANE til stede, men vil gå mye tregere og belaste enhetens batteri.

En kort historie om Apple Neural Engine: Fra iPhone X til M2 Mac-er

I 2017 distribuerte Apple sin aller første ANE i form av to spesialiserte kjerner innenfor iPhone Xs A11-brikke. Etter dagens standarder var det relativt sakte, med bare 600 milliarder operasjoner per sekund.

Andregenerasjons ANE dukket opp inne i A12-brikken i 2018, med fire ganger kjernene. Vurdert til fem billioner operasjoner per sekund, var denne ANE nesten ni ganger raskere og brukte en tidel av kraften til forgjengeren.

2019s A13-brikke hadde samme åttekjerners ANE, men kjørte en femtedel raskere mens den brukte 15 % mindre strøm, et produkt av TSMCs forbedrede 7nm halvledernode. TSMC (Taiwan Semiconductor Manufacturing Company) produserer Apple-designede brikker.

Utviklingen av Apple Neural Engine

Året etter doblet Apple A14 nesten ANE-ytelsen til 11 billioner operasjoner per sekund, oppnådd ved å øke antallet ANE-kjerner fra 8 til 16. I 2021 dro A15 Bionic fordel av TSMCs andre generasjons 5nm-prosess, som ytterligere økte ANE-ytelsen til 15,8 billioner operasjoner per sekund uten å legge til flere kjerner.

De første Mac-bundne M1-, M1 Pro- og M1 Max-brikkene hadde samme ANE som A14, og brakte avansert, maskinvareakselerert ML og AI til macOS-plattformen for første gang.

I 2022 kombinerte M1 Ultra to M1 Max-brikker i en enkelt pakke ved å bruke Apples tilpassede sammenkobling kalt UltraFusion. Med to ganger ANE-kjernene (32), doblet M1 Ultra ANE-ytelsen til 22 billioner operasjoner per sekund.

Apple A16 i 2022 ble produsert ved hjelp av TSMCs forbedrede N4-node, noe som ga omtrent 8 % raskere ANE-ytelse (17 billioner operasjoner per sekund) sammenlignet med A15s ANE.

De første ANE-aktiverte iPadene var femte generasjons iPad mini (2019), tredje generasjons iPad Air (2019) og åttende generasjons iPad (2020). Alle iPads utgitt siden har en ANE.

Hvordan kan utviklere bruke ANE i apper?

Mange tredjepartsapper bruker ANE for funksjoner som ellers ikke ville vært gjennomførbare. For eksempel gir bilderedigeringsprogrammet Pixelmator Pro verktøy som ML Super Resolution og ML Enhance. Og i djay Pro skiller ANE beats, instrumentaler og vokalspor fra en innspilling.

Tredjepartsutviklere får imidlertid ikke lavnivåtilgang til ANE. I stedet må alle ANE-anrop gå gjennom Apples programvareramme for maskinlæring, Core ML. Med Core ML kan utviklere bygge, trene og kjøre ML-modellene sine direkte på enheten. En slik modell brukes så til å lage prediksjoner basert på nye inputdata.

"Når en modell er på en brukers enhet, kan du bruke Core ML til å omskolere eller finjustere den på enheten, med den brukerens data," ifølge Core ML-oversikten på Apples nettsted.

For å akselerere ML- og AI-algoritmer, utnytter Core ML ikke bare ANE, men også CPU og GPU. Dette gjør at Core ML kan kjøre en modell selv om ingen ANE er tilgjengelig. Men med en ANE til stede, vil Core ML kjøre mye raskere, og batteriet tappes ikke like raskt.

Mange Apple-funksjoner ville ikke fungert uten ANE

Mange funksjoner på enheten ville ikke vært mulig uten den raske behandlingen av AI- og ML-algoritmer og det minimaliserte minnefotavtrykket og strømforbruket som ANE bringer til bordet. Apples magi er å ha en dedikert koprosessor for å kjøre nevrale nettverk privat på enheten i stedet for å laste disse oppgavene til servere i skyen.

Med ANE kan både Apple og utviklere implementere dype nevrale nettverk og høste fordelene av akselerert maskinlæring for ulike prediktive modeller som maskinoversettelse, objektdeteksjon, bildeklassifisering, etc.