TPU vs. GPU: Verkliga prestanda och hastighetsskillnader

I den här artikeln kommer vi att göra en TPU vs. GPU jämförelse. Men innan vi går in i det, här är vad du måste veta.

Machine Learning och AI-teknik har accelererat tillväxten av intelligenta appar. För detta ändamål skapar halvledarföretag kontinuerligt acceleratorer och processorer, inklusive TPU och CPU, för att hantera mer komplexa appar.

Vissa användare har haft problem med att förstå när det rekommenderas att använda en TPU och när de ska använda en GPU för sina datoruppgifter.

En GPU, även känd som en grafisk bearbetningsenhet, är din dators grafikkort för att erbjuda dig en visuell och uppslukande PC-upplevelse. Du kan till exempel följa enkla steg om din Datorn upptäcker inte GPU: n.

För att bättre förstå dessa omständigheter måste vi också klargöra vad en TPU är och hur den kan jämföras med en GPU.

Vad är en TPU?

TPU eller Tensor Processing Units är specialiserade integrerade kretsar (IC) för specifika applikationer, även kända som ASIC (applikationsspecifika integrerade kretsar). Google skapade TPU: er från grunden, började använda dem 2015, och öppnade dem för allmänheten 2018.

TPU: er erbjuds som mindre chip- eller molnversioner. För att påskynda maskininlärning för ett neuralt nätverk med programvaran TensorFlow, löser moln-TPU: er komplicerade matris- och vektoroperationer med otroliga hastigheter.

Med TensorFlow utvecklade Google Brain Team en maskininlärningsplattform med öppen källkod, forskare, utvecklare och företag kan konstruera och driva AI-modeller med Cloud TPU-hårdvara.

När du tränar komplexa och robusta neurala nätverksmodeller minskar TPU: er tiden till noggrannhetsvärde. Detta innebär att djupinlärningsmodeller som kan ha tagit veckor att träna med GPU: er tar mindre än en bråkdel av den tiden.

Är TPU detsamma som GPU?

De är arkitektoniskt mycket distinkta. En grafisk bearbetningsenhet är en processor i sig själv, om än en som leds mot vektoriserad numerisk programmering. GPU: er är i själva verket nästa generation av Cray-superdatorerna.

TPU: er är samprocessorer som inte utför instruktioner på egen hand; koden exekveras på processorer, vilket matar TPU: n med ett flöde av små operationer.

När ska jag använda TPU?

TPU: er i molnet är skräddarsydda för särskilda applikationer. Du kanske föredrar att utföra dina maskininlärningsuppgifter med GPU: er eller processorer i vissa fall. I allmänhet kan följande principer hjälpa dig att utvärdera om TPU är det bästa alternativet för din arbetsbelastning:

• Matrisberäkningar är dominerande i modellerna
• Inom modellens huvudutbildningsslinga finns det inga anpassade TensorFlow-operationer
• De är modeller som går igenom veckor eller månader av träning
• De är massiva modeller som har omfattande, effektiva batchstorlekar.

Låt oss nu hoppa in i lite direkt TPU vs. GPU jämförelse.

Vad är skillnaderna mellan GPU och TPU?

TPU vs. GPU-arkitektur

TPU: n är inte särskilt komplex hårdvara och känns som en signalbehandlingsmotor för radarapplikationer och inte den traditionella X86-härledda arkitekturen.

Trots att den har många matrismultiplikationsdivisioner är den mindre av en GPU och mer av en samprocessor; den exekverar bara de kommandon som tas emot av en värd.

Eftersom det finns så många vikter att mata in till matrismultiplikationskomponenten, drivs TPU: s DRAM som en enda enhet parallellt.

Dessutom, eftersom TPU: er bara kan utföra matrisoperationer, är TPU-kort länkade till CPU-baserade värdsystem för att utföra uppgifter som TPU: erna inte kan hantera.

Värddatorerna ansvarar för att leverera data till TPU: n, förbearbeta och hämta detaljer från Cloud Storage.

GPU: er är mer angelägna om att använda tillgängliga kärnor för att fungera än att komma åt cachen med låg latens.

Många datorer (processorkluster) med flera SM: er (strömmande multiprocessorer) blir en enda GPU-gadget, med lager ett instruktionscachelager och tillhörande kärnor inrymt i varje SM.

Innan data extraheras från globalt GDDR-5-minne använder en SM vanligtvis ett delat lager med två cacher och ett dedikerat lager med en cache. GPU-arkitekturen är tolerant för minneslatens.

En GPU fungerar med ett minimalt antal minnescachenivåer. Men eftersom en GPU har fler transistorer ägnade åt bearbetning, är den mindre bekymrad över sin tid att komma åt data i minnet.

Den möjliga minnesåtkomstfördröjningen är dold eftersom GPU: n hålls upptagen med adekvata beräkningar.

TPU vs. GPU-hastighet

Denna ursprungliga TPU-generation riktade inferens, som använder en inlärd modell snarare än en tränad.

TPU: n är 15 till 30 gånger snabbare än nuvarande GPU: er och processorer på kommersiella AI-applikationer som använder neurala nätverksslutningar.

Dessutom är TPU: n avsevärt energieffektiv, med mellan 30 och 80 gånger ökningen av TOPS/Watt-värdet.

Därför att göra en TPU vs. GPU-hastighetsjämförelse, oddsen är snedställda mot Tensor Processing Unit.

TPU vs. GPU-prestanda

En TPU är en tensorbearbetningsmaskin skapad för att påskynda beräkningar av Tensorflow-grafer.

På ett enda kort kan varje TPU tillhandahålla så mycket som 64 GB minne med hög bandbredd och 180 teraflops flyttalsprestanda.

En jämförelse mellan Nvidia GPU: er och TPU: er visas nedan. Y-axeln visar antalet bilder per sekund, medan X-axeln representerar de olika modellerna.

TPU vs. GPU maskininlärning

Nedan är träningstiderna för CPU: er och GPU: er som använder olika batchstorlekar och iterationer per epok:

• Iterationer/epok: 100, Batchstorlek: 1000, Totala epoker: 25, Parametrar: 1,84 M, och modelltyp: Keras Mobilenet V1 (alfa 0,75).

ACCELERATOR	GPU (NVIDIA K80)	TPU
Träningsprecision (%)	96.5	94.1
Valideringsnoggrannhet (%)	65.1	68.6
Tid per iteration (ms)	69	173
Tid per epok (er)	69	173
Total tid (minuter)	30	72

• Iterationer/epok: 1000, Batchstorlek: 100, Totala epoker: 25, Parametrar: 1,84 M och modelltyp: Keras Mobilenet V1 (alfa 0,75)

ACCELERATOR	GPU (NVIDIA K80)	TPU
Träningsprecision (%)	97.4	96.9
Valideringsnoggrannhet (%)	45.2	45.3
Tid per iteration (ms)	185	252
Tid per epok (er)	18	25
Total tid (minuter)	16	21

Med en mindre batchstorlek tar TPU mycket längre tid att träna, sett från träningstiden. TPU-prestanda är dock närmare GPU: n med ökad batchstorlek.

Därför att göra en TPU vs. GPU-träningsjämförelse, mycket har att göra med epoker och batchstorlek.

TPU vs. GPU-riktmärke

Med 0,5 watt/TOPS kan en enda Edge TPU utföra fyra biljoner operationer/per sekund. Flera variabler påverkar hur väl detta översätts till appens prestanda.

Neurala nätverksmodeller har distinkta krav, och den totala uteffekten varierar beroende på USB-värdens hastighet, CPU och andra systemresurser för USB-acceleratorenheten.

Med det i åtanke, kontrasterar grafiken nedan den tid som ägnats åt att dra enstaka slutsatser på en Edge TPU med olika standardmodeller. Naturligtvis är alla modeller som körs TensorFlow Lite-versionerna för jämförelses skull.

Observera att de givna uppgifterna ovan visar den tid det tar att köra modellen. Det utesluter dock den tid det tar att bearbeta indata, som varierar beroende på applikation och system.

Resultaten av GPU-riktmärken jämförs med användarens önskade spelkvalitetsinställningar och upplösning.

Baserat på utvärdering av över 70 000 benchmark-tester har sofistikerade algoritmer noggrant konstruerats för att generera 90 procent tillförlitliga uppskattningar av spelprestanda.

Även om prestanda för grafikkort varierar kraftigt mellan spel, ger den här jämförelsebilden nedan ett brett betygsindex för vissa grafikkort.

TPU vs. GPU pris

De har en betydande prisskillnad. TPU: er är fem gånger dyrare än GPU: er. Här är några exempel:

• En Nvidia Tesla P100 GPU kostar $1,46 per timme
• Google TPU v3 kostar $8,00 per timme
• TPUv2 med GCP-åtkomst på begäran 4,50 USD per timme

Om målet är att optimera för kostnad, bör du välja en TPU endast om den tränar en modell 5X hastigheten för en GPU.

Vad är skillnaden mellan CPU vs. GPU vs. TPU?

Skillnaden mellan TPU, GPU och CPU är att CPU: n är en icke-specifik processor som hanterar alla datorns beräkningar, logik, input och output.

Å andra sidan är GPU en extra processor som används för att förbättra det grafiska gränssnittet (GI) och göra avancerade aktiviteter. TPU: er är starka, specialgjorda processorer som används för att utföra projekt som utvecklats med ett visst ramverk, som TensorFlow.

Vi kategoriserar dem enligt följande:

• Central Processing Unit (CPU) – Styr alla aspekter av en dator
• Graphics Processing Unit (GPU) – Förbättra datorns grafikprestanda
• Tensor Processing Unit (TPU) – ASIC uttryckligen utformad för TensorFlow-projekt

Gör Nvidia TPU?

Många har undrat hur NVIDIA skulle reagera på Googles TPU, men vi har nu svar.

Istället för att vara orolig har NVIDIA framgångsrikt depositionerat TPU som ett verktyg det kan använda när det är vettigt men ändå hålla sin CUDA-mjukvara och GPU: er i täten.

Det håller en kontrollpunkt för IoT-maskininlärning genom att göra den tekniska öppen källkod. Faran med denna metod är dock att den kan ge trovärdighet åt ett koncept som kan bli en utmaning för de långsiktiga ambitionerna hos datacenter-inferensmotorer för NVIDIA.

Är GPU eller TPU bättre?

Sammanfattningsvis måste vi säga att även om vi utvecklar algoritmerna för att möjliggöra effektiv användning av en TPU kostar lite extra, de minskade träningskostnaderna uppväger i allmänhet den extra programmeringen utgifter.

Andra skäl att välja en TPU inkluderar det faktum att v3-128 8:s G för VRAM överträffar den hos Nvidia GPU: er, vilket gör v3-8 till ett bättre alternativ för att bearbeta stora datamängder associerade med NLU och NLP.

Högre hastigheter kan också leda till snabbare iteration under utvecklingscykler, vilket leder till snabbare och mer frekvent innovation, vilket ökar sannolikheten för framgång på marknaden.

TPU: n överträffar GPU: n när det gäller innovationshastighet, enkelhet att använda och prisvärd; konsumenter och molnarkitekter bör överväga TPU i sina ML- och AI-initiativ.

TPU: n från Google har gott om bearbetningskapacitet, och användaren måste koordinera datainmatning för att säkerställa att det inte finns någon överbelastning.

Där har du det, en total TPU vs. GPU jämförelse. Vi vill gärna veta dina tankar och se om du har gjort några tester och vilka resultat du fått på TPU och GPU.

Kom ihåg att du kan njuta av en uppslukande PC-upplevelse med vilken som helst bästa grafikkort för Windows 11.