TPU vs. GPU: Virkelig ydeevne og hastighedsforskelle

I denne artikel vil vi lave en TPU vs. GPU sammenligning. Men før vi dykker ned i det, her er hvad du skal vide.

Machine Learning og AI-teknologi har accelereret væksten af ​​intelligente apps. Til dette formål skaber halvlederfirmaer konstant acceleratorer og processorer, inklusive TPU og CPU, til at håndtere mere komplekse apps.

Nogle brugere har haft problemer med at forstå, hvornår det anbefales at bruge en TPU, og hvornår de skal bruge en GPU til deres computeropgaver.

En GPU, også kendt som en Graphical Processing Unit, er din pc's videokort for at tilbyde dig en visuel og fordybende pc-oplevelse. Du kan for eksempel følge nemme trin, hvis din Pc'en registrerer ikke GPU'en.

For bedre at forstå disse omstændigheder bliver vi også nødt til at afklare, hvad en TPU er, og hvordan den kan sammenlignes med en GPU.

Hvad er en TPU?

TPU'er eller Tensor Processing Units er specialiserede integrerede kredsløb (IC'er) til specifikke applikationer, også kendt som ASIC'er (applikationsspecifikke integrerede kredsløb). Google skabte TPU'er fra bunden, begyndte at bruge dem i 2015, og åbnede dem for offentligheden i 2018.

TPU'er tilbydes som mindre chip- eller cloudversioner. For at fremskynde maskinlæring for et neuralt netværk ved hjælp af TensorFlow-softwaren løser cloud TPU'er komplicerede matrix- og vektoroperationer med utrolige hastigheder.

Med TensorFlow udviklede Google Brain Team en open source maskinlæringsplatform, forskere, udviklere og virksomheder kan konstruere og betjene AI-modeller ved hjælp af Cloud TPU-hardware.

Når du træner komplekse og robuste neurale netværksmodeller, reducerer TPU'er tiden til nøjagtighedsværdi. Det betyder, at deep learning-modeller, der kan have taget uger at træne ved hjælp af GPU'er, tager mindre end en brøkdel af den tid.

Er TPU det samme som GPU?

De er arkitektonisk meget forskellige. En grafisk bearbejdningsenhed er en processor i sig selv, omend en der er ført i retning af vektoriseret numerisk programmering. GPU'er er i realiteten den næste generation af Cray-supercomputere.

TPU'er er coprocessorer, der ikke selv udfører instruktioner; koden udføres på CPU'er, hvilket giver TPU'en et flow af små operationer.

Hvornår skal jeg bruge TPU?

TPU'er i skyen er skræddersyet til bestemte applikationer. Du foretrækker måske at udføre dine maskinlæringsopgaver ved hjælp af GPU'er eller CPU'er i nogle tilfælde. Generelt kan følgende principper hjælpe dig med at vurdere, om TPU er den bedste mulighed for din arbejdsbyrde:

• Matrixberegninger er dominerende i modellerne
• Inden for modellens hovedtræningsloop er der ingen tilpassede TensorFlow-operationer
• De er modeller, der gennemgår uger eller måneders træning
• De er massive modeller, der har omfattende, effektive batchstørrelser.

Lad os nu hoppe ind i noget direkte TPU vs. GPU sammenligning.

Hvad er forskellene mellem GPU og TPU?

TPU vs. GPU arkitektur

TPU'en er ikke særlig kompleks hardware og føles som en signalbehandlingsmotor til radarapplikationer og ikke den traditionelle X86-afledte arkitektur.

På trods af at den har mange matrixmultiplikationsdivisioner, er den mindre af en GPU og mere en coprocessor; den udfører blot de kommandoer, der modtages af en vært.

Fordi der er så mange vægte at indtaste til matrixmultiplikationskomponenten, drives TPU's DRAM som en enkelt enhed parallelt.

Derudover, fordi TPU'er kun kan udføre matrixoperationer, er TPU-kort forbundet med CPU-baserede værtssystemer for at udføre opgaver, som TPU'erne ikke kan håndtere.

Værtscomputerne er ansvarlige for at levere data til TPU'en, forbehandle og hente detaljer fra Cloud Storage.

GPU'er er mere optaget af at anvende tilgængelige kerner til arbejdet end at få adgang til cachen med lav latens.

Mange pc'er (Processor Clusters) med flere SM'er (Streaming Multiprocessors) bliver til en enkelt GPU-gadget med lag et instruktionscachelag og tilhørende kerner i hver SM.

Før dataudtrækning fra global GDDR-5-hukommelse, bruger en SM typisk et delt lag med to caches og et dedikeret lag med én cache. GPU-arkitekturen er tolerant med hukommelsesforsinkelse.

En GPU fungerer med et minimalt antal hukommelsescache-niveauer. Men fordi en GPU har flere transistorer dedikeret til behandling, er den mindre bekymret over sin tid til at få adgang til data i hukommelsen.

Den mulige forsinkelse af hukommelsesadgang er skjult, da GPU'en holdes optaget af tilstrækkelige beregninger.

TPU vs. GPU hastighed

Denne originale TPU-generation målrettede inferens, som bruger en lært model frem for en trænet model.

TPU'en er 15 til 30 gange hurtigere end nuværende GPU'er og CPU'er på kommercielle AI-applikationer, der bruger neural netværksinferens.

Ydermere er TPU'en betydeligt energieffektiv, med en stigning på mellem 30 og 80 gange i TOPS/Watt værdi.

Derfor ved at lave en TPU vs. GPU-hastighedssammenligning, oddsene er skæve i forhold til Tensor Processing Unit.

TPU vs. GPU ydeevne

En TPU er en tensorbehandlingsmaskine skabt til at fremskynde Tensorflow-grafberegninger.

På et enkelt kort kan hver TPU give så meget som 64 GB hukommelse med høj båndbredde og 180 teraflops floating-point ydeevne.

En sammenligning mellem Nvidia GPU'er og TPU'er er vist nedenfor. Y-aksen viser antallet af fotos i sekundet, mens X-aksen repræsenterer de forskellige modeller.

TPU vs. GPU maskinlæring

Nedenfor er træningstiderne for CPU'er og GPU'er, der bruger forskellige batchstørrelser og iterationer pr. epoke:

• Iterationer/epoke: 100, Batchstørrelse: 1000, Samlede epoker: 25, Parametre: 1,84 M, og Modeltype: Keras Mobilenet V1 (alfa 0,75).

ACCELERATOR	GPU (NVIDIA K80)	TPU
Træningsnøjagtighed (%)	96.5	94.1
Valideringsnøjagtighed (%)	65.1	68.6
Tid pr. iteration (ms)	69	173
Tid pr. epoke (r)	69	173
Samlet tid (minutter)	30	72

• Iterationer/epoke: 1000, Batchstørrelse: 100, Samlede epoker: 25, Parametre: 1,84 M, og modeltype: Keras Mobilenet V1 (alfa 0,75)

ACCELERATOR	GPU (NVIDIA K80)	TPU
Træningsnøjagtighed (%)	97.4	96.9
Valideringsnøjagtighed (%)	45.2	45.3
Tid pr. iteration (ms)	185	252
Tid pr. epoke (r)	18	25
Samlet tid (minutter)	16	21

Med en mindre batchstørrelse tager TPU'en meget længere tid at træne, set ud fra træningstiden. TPU-ydelsen er dog tættere på GPU'en med øget batchstørrelse.

Derfor ved at lave en TPU vs. GPU-træningssammenligning, meget har at gøre med epoker og batchstørrelse.

TPU vs. GPU benchmark

Med 0,5 watt/TOPS kan en enkelt Edge TPU udføre fire billioner operationer/per sekund. Adskillige variabler påvirker, hvor godt dette oversættes til app-ydeevne.

Neurale netværksmodeller har forskellige krav, og det samlede output varierer afhængigt af værtens USB-hastighed, CPU og andre systemressourcer på USB-acceleratorenheden.

Med det i tankerne, kontrasterer grafikken nedenfor tid brugt på at lave enkelte slutninger på en Edge TPU med forskellige standardmodeller. Selvfølgelig er alle modeller, der kører, TensorFlow Lite-versionerne for sammenligningens skyld.

Bemærk venligst, at de givne data ovenfor viser den tid, det tager at køre modellen. Det udelukker dog den tid, det tager at behandle inputdataene, som varierer efter applikation og system.

Resultaterne af GPU-benchmarks sammenlignes med brugerens ønskede spilkvalitetsindstillinger og opløsning.

Baseret på evaluering af op mod 70.000 benchmark-tests er sofistikerede algoritmer blevet omhyggeligt konstrueret til at generere 90 procent pålidelige estimater af spilydelse.

Selvom ydeevnen af ​​grafikkort varierer meget på tværs af spil, giver dette sammenligningsbillede nedenfor et bredt vurderingsindeks for nogle grafikkort.

TPU vs. GPU pris

De har en markant prisforskel. TPU'er er fem gange dyrere end GPU'er. Her er nogle eksempler:

• En Nvidia Tesla P100 GPU koster $1,46 i timen
• Google TPU v3 koster 8,00 USD i timen
• TPUv2 med GCP on-demand-adgang $4,50 i timen

Hvis optimering for omkostninger er målet, bør du kun gå efter en TPU, hvis den træner en model 5X hastigheden af ​​en GPU.

Hvad er forskellen mellem CPU vs. GPU vs. TPU?

Forskellen mellem TPU, GPU og CPU er, at CPU'en er en ikke-specifik formålsprocessor, der håndterer alle computerens beregninger, logik, input og output.

På den anden side er GPU en ekstra processor, der bruges til at forbedre det grafiske interface (GI) og udføre avancerede aktiviteter. TPU'er er stærke, specialfremstillede processorer, der bruges til at udføre projekter udviklet ved hjælp af en bestemt ramme, såsom TensorFlow.

Vi kategoriserer dem som følger:

• Central Processing Unit (CPU) – Styr alle aspekter af en computer
• Graphics Processing Unit (GPU) – Forbedre computerens grafiske ydeevne
• Tensor Processing Unit (TPU) – ASIC eksplicit designet til TensorFlow-projekter

Laver Nvidia TPU?

Mange mennesker har undret sig over, hvordan NVIDIA ville reagere på Googles TPU, men vi har nu svar.

I stedet for at være bekymret, har NVIDIA med succes depositioneret TPU som et værktøj, det kan bruge, når det giver mening, men stadig holder sin CUDA-software og GPU'er i spidsen.

Det holder et kontrolpunkt for IoT-maskinlæringsadoption ved at gøre teknologien til open source. Imidlertid er faren ved denne metode, at den kan give troværdighed til et koncept, der kan blive en udfordring for de langsigtede forventninger til datacenter-inferensmotorer til NVIDIA.

Er GPU eller TPU bedre?

Afslutningsvis må vi sige, at selvom vi udvikler algoritmerne for at muliggøre effektiv brug af en TPU koster lidt ekstra, de reducerede træningsomkostninger opvejer generelt den ekstra programmering udgifter.

Andre grunde til at vælge en TPU inkluderer det faktum, at v3-128 8's G af VRAM overgår det Nvidia GPU'er, hvilket gør v3-8 til et bedre alternativ til behandling af store datasæt forbundet med NLU og NLP.

Højere hastigheder kan også føre til hurtigere iteration under udviklingscyklusser, hvilket fører til hurtigere og hyppigere innovation, hvilket øger sandsynligheden for succes på markedet.

TPU'en overgår GPU'en med hensyn til innovationshastighed, brugervenlighed og overkommelighed; forbrugere og cloud-arkitekter bør overveje TPU'en i deres ML- og AI-initiativer.

TPU'en fra Google har masser af behandlingskapacitet, og brugeren skal koordinere datainput for at sikre, at der ikke er overbelastning.

Der har du det, en total TPU vs. GPU sammenligning. Vi vil meget gerne vide dine tanker og se, om du har lavet nogen test, og hvilke resultater du har modtaget på TPU og GPU.

Husk, du kan nyde en fordybende pc-oplevelse ved at bruge en af ​​de bedste grafikkort til Windows 11.