TPU versus GPU: echte prestatie- en snelheidsverschillen

In dit artikel maken we een TPU vs. GPU-vergelijking. Maar voordat we er dieper op ingaan, is dit wat u moet weten.

Machine Learning en AI-technologie hebben de groei van intelligente apps versneld. Daartoe creëren halfgeleiderbedrijven voortdurend versnellers en processors, waaronder TPU en CPU, om complexere apps aan te kunnen.

Sommige gebruikers hebben problemen gehad met het begrijpen wanneer het wordt aanbevolen om een ​​TPU te gebruiken en wanneer ze een GPU moeten gebruiken voor hun computertaken.

Een GPU, ook wel een grafische verwerkingseenheid genoemd, is de videokaart van uw pc die u een visuele en meeslepende pc-ervaring biedt. U kunt bijvoorbeeld eenvoudige stappen volgen als uw PC detecteert de GPU niet.

Om deze omstandigheden beter te begrijpen, moeten we ook verduidelijken wat een TPU is en hoe deze zich verhoudt tot een GPU.

Wat is een TPU?

TPU's of Tensor Processing Units zijn gespecialiseerde geïntegreerde schakelingen (IC's) voor specifieke toepassingen, ook wel bekend als ASIC's (toepassingsspecifieke geïntegreerde schakelingen). Google heeft TPU's helemaal opnieuw gemaakt, begon ze in 2015 te gebruiken en stelde ze in 2018 open voor het publiek.

TPU's worden aangeboden als kleine chip- of cloudversies. Om machine learning voor een neuraal netwerk te versnellen met behulp van de TensorFlow-software, lossen cloud-TPU's gecompliceerde matrix- en vectorbewerkingen op met ongelooflijke snelheden.

Met TensorFlow heeft het Google Brain Team een ​​open-source machine learning-platform ontwikkeld, waarmee onderzoekers, ontwikkelaars en ondernemingen AI-modellen kunnen bouwen en gebruiken met behulp van Cloud TPU-hardware.

Bij het trainen van complexe en robuuste neurale netwerkmodellen, verminderen TPU's de time-to-nauwkeurigheidswaarde. Dit betekent dat deep learning-modellen die weken nodig hadden om te trainen met GPU's minder dan een fractie van die tijd in beslag nemen.

Is TPU hetzelfde als GPU?

Ze zijn architectonisch zeer verschillend. Een grafische verwerkingseenheid is een processor op zichzelf, zij het een die is doorgesluisd naar gevectoriseerde numerieke programmering. GPU's zijn in feite de volgende generatie van de Cray-supercomputers.

TPU's zijn coprocessors die zelf geen instructies uitvoeren; de code wordt uitgevoerd op CPU's, die de TPU een stroom van kleine bewerkingen voeden.

Wanneer moet ik TPU gebruiken?

TPU's in de cloud zijn afgestemd op bepaalde toepassingen. In sommige gevallen geeft u er misschien de voorkeur aan uw machine learning-taken uit te voeren met behulp van GPU's of CPU's. Over het algemeen kunnen de volgende principes u helpen evalueren of TPU de beste optie is voor uw werklast:

• Matrixberekeningen zijn dominant in de modellen
• Binnen de hoofdtrainingslus van het model zijn er geen aangepaste TensorFlow-bewerkingen
• Het zijn modellen die weken of maanden trainen
• Het zijn enorme modellen met uitgebreide, effectieve batchgroottes.

Laten we nu eens kijken naar wat directe TPU vs. GPU-vergelijking.

Wat zijn de verschillen tussen GPU en TPU?

TPU versus GPU-architectuur

De TPU is geen zeer complexe hardware en voelt aan als een signaalverwerkingsengine voor radartoepassingen en niet als de traditionele X86-afgeleide architectuur.

Ondanks dat het veel matrixvermenigvuldigingsdivisies heeft, is het minder een GPU en meer een coprocessor; het voert alleen de opdrachten uit die door een host zijn ontvangen.

Omdat er zoveel gewichten moeten worden ingevoerd in de matrixvermenigvuldigingscomponent, wordt de DRAM van de TPU als een enkele eenheid parallel gebruikt.

Omdat TPU's alleen matrixbewerkingen kunnen uitvoeren, zijn TPU-kaarten bovendien gekoppeld aan CPU-gebaseerde hostsystemen om taken uit te voeren die de TPU's niet aankunnen.

De hostcomputers zijn verantwoordelijk voor het leveren van gegevens aan de TPU, voorverwerking en het ophalen van details uit Cloud Storage.

GPU's houden zich meer bezig met het toepassen van beschikbare kernen op het werk dan met toegang tot de cache met lage latentie.

Veel pc's (Processor Clusters) met meerdere SM's (Streaming Multiprocessors) worden een enkele GPU-gadget, met laag één instructiecachelagen en bijbehorende kernen in elke SM.

Voordat gegevens worden geëxtraheerd uit het globale GDDR-5-geheugen, gebruikt één SM doorgaans een gedeelde laag van twee caches en een speciale laag van één cache. De GPU-architectuur is tolerant voor geheugenlatentie.

Een GPU werkt met een minimaal aantal geheugencacheniveaus. Omdat een GPU echter meer transistors bevat die zijn toegewijd aan verwerking, maakt hij zich minder zorgen over de tijd die nodig is om toegang te krijgen tot gegevens in het geheugen.

De mogelijke vertraging bij de toegang tot het geheugen wordt verborgen omdat de GPU bezig wordt gehouden met adequate berekeningen.

TPU versus GPU-snelheid

Deze originele TPU-generatie was gericht op gevolgtrekking, waarbij een geleerd model wordt gebruikt in plaats van een getraind model.

De TPU is 15 tot 30 keer sneller dan de huidige GPU's en CPU's op commerciële AI-toepassingen die gebruikmaken van neurale netwerkinferentie.

Bovendien is de TPU aanzienlijk energiezuinig, met een 30 tot 80-voudige toename van de TOPS/Watt-waarde.

Vandaar dat bij het maken van een TPU vs. GPU-snelheidsvergelijking, de kans is scheef in de richting van de Tensor Processing Unit.

TPU versus GPU-prestaties

Een TPU is een tensorverwerkingsmachine die is gemaakt om Tensorflow-grafiekberekeningen te versnellen.

Op een enkel bord kan elke TPU maar liefst 64 GB geheugen met hoge bandbreedte en 180 teraflops drijvende-kommaprestaties leveren.

Een vergelijking tussen Nvidia GPU's en TPU's wordt hieronder weergegeven. De Y-as geeft het aantal foto's per seconde weer, terwijl de X-as de verschillende modellen weergeeft.

TPU versus GPU-machine learning

Hieronder staan ​​de trainingstijden voor CPU's en GPU's die verschillende batchgroottes en iteraties per Epoch gebruiken:

• Iteraties/tijdperk: 100, Batchgrootte: 1000, Totaal tijdperken: 25, Parameters: 1,84 M, en Modeltype: Keras Mobilenet V1 (alpha 0,75).

GASPEDAAL	GPU (NVIDIA K80)	TPU
Trainingsnauwkeurigheid (%)	96.5	94.1
Validatienauwkeurigheid (%)	65.1	68.6
Tijd per iteratie (ms)	69	173
Tijd per tijdperk (en)	69	173
Totale tijd (minuten)	30	72

• Iteraties/epoch: 1000, Batchgrootte: 100, Totale tijdperken: 25, Parameters: 1,84 M, en Modeltype: Keras Mobilenet V1 (alpha 0,75)

GASPEDAAL	GPU (NVIDIA K80)	TPU
Trainingsnauwkeurigheid (%)	97.4	96.9
Validatienauwkeurigheid (%)	45.2	45.3
Tijd per iteratie (ms)	185	252
Tijd per tijdperk (en)	18	25
Totale tijd (minuten)	16	21

Met een kleinere batchgrootte doet de TPU er veel langer over om te trainen, gezien de trainingstijd. De TPU-prestaties liggen echter dichter bij de GPU met een grotere batchgrootte.

Vandaar dat bij het maken van een TPU vs. GPU-trainingsvergelijking, veel heeft te maken met tijdperken en batchgrootte.

TPU versus GPU-benchmark

Met 0,5 watt/TOPS kan een enkele Edge TPU vier biljoen bewerkingen per seconde uitvoeren. Verschillende variabelen beïnvloeden hoe goed dit zich vertaalt in app-prestaties.

Neurale netwerkmodellen hebben verschillende vereisten en de totale output varieert afhankelijk van de USB-hostsnelheid, CPU en andere systeembronnen van het USB-versnellerapparaat.

Met dat in gedachten contrasteert de onderstaande afbeelding de tijd die wordt besteed aan het maken van enkele conclusies op een Edge TPU met verschillende standaardmodellen. Natuurlijk zijn alle draaiende modellen de TensorFlow Lite-versies ter vergelijking.

Houd er rekening mee dat de bovenstaande gegevens de tijd weergeven die nodig is om het model uit te voeren. Het is echter exclusief de tijd die nodig is om de invoergegevens te verwerken, die verschilt per applicatie en systeem.

De resultaten van GPU-benchmarks worden vergeleken met de door de gebruiker gewenste instellingen en resolutie voor gameplaykwaliteit.

Gebaseerd op evaluatie van meer dan 70.000 benchmarktests, zijn geavanceerde algoritmen zorgvuldig geconstrueerd om 90 procent betrouwbare schattingen van gameprestaties te genereren.

Hoewel de prestaties van grafische kaarten sterk variëren tussen games, geeft deze vergelijkingsafbeelding hieronder een brede beoordelingsindex voor sommige grafische kaarten.

TPU versus GPU-prijs

Ze hebben een aanzienlijk prijsverschil. TPU's zijn vijf keer duurder dan GPU's. Hier zijn enkele voorbeelden:

• Een Nvidia Tesla P100 GPU kost $1,46 per uur
• Google TPU v3 kost $ 8,00 per uur
• TPUv2 met GCP on-demand toegang $ 4,50 per uur

Als optimaliseren voor de kosten het doel is, moet je alleen voor een TPU gaan als het een model 5x de snelheid van een GPU traint.

Wat is het verschil tussen CPU vs. GPU versus Tpu?

Het onderscheid tussen de TPU, GPU en CPU is dat de CPU een niet-specifieke processor is die alle berekeningen, logica, invoer en uitvoer van de computer afhandelt.

Aan de andere kant is GPU een extra processor die wordt gebruikt om de grafische interface (GI) te verbeteren en high-end activiteiten uit te voeren. TPU's zijn sterke, speciaal gemaakte processors die worden gebruikt om projecten uit te voeren die zijn ontwikkeld met een bepaald framework, zoals TensorFlow.

We categoriseren ze als volgt:

• Central Processing Unit (CPU) - Beheers alle aspecten van een computer
• Graphics Processing Unit (GPU) – Verbeter de grafische prestaties van de computer
• Tensor Processing Unit (TPU) - ASIC expliciet ontworpen voor TensorFlow-projecten

Maakt Nvidia TPU?

Veel mensen hebben zich afgevraagd hoe NVIDIA zou reageren op de TPU van Google, maar we hebben nu antwoorden.

In plaats van zich zorgen te maken, heeft NVIDIA met succes TPU gedepositioneerd als een hulpmiddel dat het kan gebruiken wanneer het zinvol is, maar toch zijn CUDA-software en GPU's aan de leiding houdt.

Het houdt een controlepunt voor de adoptie van IoT-machine learning door de technologie open source te maken. Het gevaar van deze methode is echter dat het geloofwaardigheid kan bieden aan een concept dat een uitdaging zou kunnen worden voor de langetermijnambities van datacenter-inferentie-engines voor NVIDIA.

Is GPU of TPU beter?

Concluderend moeten we zeggen dat hoewel de ontwikkeling van de algoritmen om het effectieve gebruik van a TPU kost wat extra, de lagere trainingskosten wegen over het algemeen zwaarder dan de extra programmering uitgaven.

Andere redenen om voor een TPU te kiezen, zijn onder meer het feit dat de V3-128 8's G van VRAM die van overtreft Nvidia GPU's, waardoor de v3-8 een beter alternatief is voor het verwerken van grote datasets die zijn gekoppeld aan NLU en NLP.

Hogere snelheden kunnen ook leiden tot snellere iteratie tijdens ontwikkelcycli, wat leidt tot snellere en frequentere innovatie, waardoor de kans op succes in de markt groter wordt.

De TPU presteert beter dan de GPU in termen van innovatiesnelheid, gebruiksgemak en betaalbaarheid; consumenten en cloudarchitecten zouden de TPU moeten overwegen in hun ML- en AI-initiatieven.

De TPU van Google heeft veel verwerkingscapaciteit en de gebruiker moet de gegevensinvoer coördineren om ervoor te zorgen dat er geen overbelasting is.

Daar heb je het, een totale TPU vs. GPU-vergelijking. We willen graag uw mening weten en kijken of u tests heeft gedaan en welke resultaten u hebt ontvangen op TPU en GPU.

Onthoud dat u kunt genieten van een meeslepende pc-ervaring met een van de beste grafische kaarten voor Windows 11.