TPU vs. GPU: Skutečný výkon a rozdíly v rychlosti

V tomto článku uděláme TPU vs. Srovnání GPU. Ale než se do toho ponoříme, tady je to, co musíte vědět.

Strojové učení a technologie AI urychlily růst inteligentních aplikací. Za tímto účelem polovodičové firmy neustále vytvářejí akcelerátory a procesory, včetně TPU a CPU, aby se vypořádaly se složitějšími aplikacemi.

Někteří uživatelé měli problémy s pochopením, kdy je doporučeno používat TPU a kdy používat GPU pro jejich počítačové úlohy.

GPU, také známý jako Graphical Processing Unit, je grafická karta vašeho počítače, která vám nabízí vizuální a pohlcující zážitek z počítače. Můžete například postupovat podle jednoduchých kroků, pokud máte PC nedetekuje GPU.

Abychom lépe porozuměli těmto okolnostem, budeme si také muset ujasnit, co je TPU a jak se srovnává s GPU.

Co je TPU?

TPU nebo Tensor Processing Units jsou specializované integrované obvody (IC) pro specifické aplikace, známé také jako ASIC (application-specific integrované obvody). Google vytvořil TPU od nuly, začal je používat v roce 2015 a otevřel je veřejnosti v roce 2018.

TPU jsou nabízeny jako menší čipové nebo cloudové verze. Pro urychlení strojového učení pro neuronové sítě pomocí softwaru TensorFlow řeší cloudové TPU složité maticové a vektorové operace neuvěřitelnou rychlostí.

S TensorFlow, týmem Google Brain, vyvinutou platformou strojového učení s otevřeným zdrojovým kódem, mohou výzkumníci, vývojáři a podniky vytvářet a provozovat modely umělé inteligence pomocí hardwaru Cloud TPU.

Při trénování komplexních a robustních modelů neuronových sítí zkracují TPU čas na dosažení hodnoty přesnosti. To znamená, že modely hlubokého učení, jejichž trénování pomocí GPU mohlo trvat týdny, trvá méně než zlomek této doby.

Je TPU to samé jako GPU?

Jsou architektonicky velmi odlišné. Grafická procesorová jednotka je procesor sám o sobě, i když je směrován k vektorovému numerickému programování. GPU jsou ve skutečnosti další generací superpočítačů Cray.

TPU jsou koprocesory, které samy neprovádějí instrukce; kód je spouštěn na CPU, které zásobují TPU tokem malých operací.

Kdy bych měl použít TPU?

TPU v cloudu jsou přizpůsobeny konkrétním aplikacím. V některých případech můžete dát přednost provádění úloh strojového učení pomocí GPU nebo CPU. Obecně platí, že následující zásady vám mohou pomoci vyhodnotit, zda je TPU tou nejlepší volbou pro vaši pracovní zátěž:

• V modelech dominují maticové výpočty
• V rámci hlavní tréninkové smyčky modelu neexistují žádné vlastní operace TensorFlow
• Jsou to modely, které procházejí týdny nebo měsíci tréninku
• Jsou to masivní modely, které mají rozsáhlé, efektivní velikosti dávek.

Nyní se vrhněme na nějaké přímé TPU vs. Srovnání GPU.

Jaké jsou rozdíly mezi GPU a TPU?

TPU vs. Architektura GPU

TPU není příliš složitý hardware a působí jako motor pro zpracování signálu pro radarové aplikace a ne jako tradiční architektura odvozená od X86.

Navzdory mnoha dělením maticového násobení je to méně GPU a více koprocesor; pouze provádí příkazy přijaté hostitelem.

Protože existuje tolik závaží, které je třeba zadávat do maticové multiplikační komponenty, je DRAM TPU provozována jako jediná jednotka paralelně.

Navíc, protože TPU mohou provádět pouze maticové operace, jsou desky TPU propojeny s hostitelskými systémy založenými na CPU, aby mohly plnit úkoly, které TPU nezvládnou.

Hostitelské počítače mají na starosti doručování dat do TPU, předběžné zpracování a načítání podrobností z cloudového úložiště.

GPU se více zabývají používáním dostupných jader pro práci než přístupem k mezipaměti s nízkou latencí.

Mnoho počítačů (Processor Clusters) s více moduly SM (Streaming Multiprocessors) se stává jediným gadgetem GPU s vrstvami mezipaměti instrukcí první vrstvy a doprovodnými jádry umístěnými v každém modulu SM.

Před extrakcí dat z globální paměti GDDR-5 jeden SM obvykle využívá sdílenou vrstvu dvou mezipamětí a vyhrazenou vrstvu jedné mezipaměti. Architektura GPU je tolerantní k latenci paměti.

GPU pracuje s minimálním počtem úrovní mezipaměti. Protože však GPU obsahuje více tranzistorů věnovaných zpracování, méně se zabývá tím, jak dlouho potřebuje přístup k datům v paměti.

Možné zpoždění přístupu do paměti je skryté, protože GPU je zaměstnán adekvátními výpočty.

TPU vs. rychlost GPU

Tato původní generace TPU cílená na odvození, která používá naučený model spíše než natrénovaný.

TPU je 15 až 30krát rychlejší než současné GPU a CPU v komerčních aplikacích umělé inteligence, které využívají odvozování neuronové sítě.

Kromě toho je TPU výrazně energeticky účinný, s 30 až 80násobným zvýšením hodnoty TOPS/Watt.

Proto při vytváření TPU vs. Porovnání rychlosti GPU, pravděpodobnost je vychýlena směrem k Tensor Processing Unit.

TPU vs. Výkon GPU

TPU je stroj na zpracování tensorů vytvořený pro urychlení výpočtů grafů Tensorflow.

Na jedné desce může každý TPU poskytnout až 64 GB paměti s vysokou šířkou pásma a 180 teraflopů výkonu s plovoucí desetinnou čárkou.

Srovnání mezi GPU a TPU Nvidia je uvedeno níže. Osa Y znázorňuje počet fotografií za sekundu, zatímco osa X představuje různé modely.

TPU vs. strojové učení GPU

Níže jsou uvedeny časy školení pro CPU a GPU s použitím různých velikostí dávek a iterací pro jednotlivé epochy:

• Počet iterací/epocha: 100, Velikost dávky: 1000, Celkový počet epoch: 25, Parametry: 1,84 M a Typ modelu: Keras Mobilenet V1 (alfa 0,75).

PLYNOVÝ PEDÁL	GPU (NVIDIA K80)	TPU
Přesnost tréninku (%)	96.5	94.1
Přesnost ověření (%)	65.1	68.6
Čas na iteraci (ms)	69	173
Čas na epochu (s)	69	173
Celkový čas (minuty)	30	72

• Počet iterací/epocha: 1000, Velikost dávky: 100, Celkový počet epoch: 25, Parametry: 1,84 M a Typ modelu: Keras Mobilenet V1 (alfa 0,75)

PLYNOVÝ PEDÁL	GPU (NVIDIA K80)	TPU
Přesnost tréninku (%)	97.4	96.9
Přesnost ověření (%)	45.2	45.3
Čas na iteraci (ms)	185	252
Čas na epochu (s)	18	25
Celkový čas (minuty)	16	21

S menší velikostí dávky trvá trénink TPU mnohem déle, jak je vidět z doby školení. Výkon TPU je však blíže GPU se zvýšenou velikostí dávky.

Proto při vytváření TPU vs. Srovnání školení GPU, hodně souvisí s epochami a velikostí dávky.

TPU vs. GPU benchmark

S výkonem 0,5 W/TOPS dokáže jediný Edge TPU provést čtyři biliony operací za sekundu. Jak dobře se to promítne do výkonu aplikace, ovlivňuje několik proměnných.

Modely neuronových sítí mají odlišné požadavky a celkový výstup se liší v závislosti na rychlosti hostitelského USB, CPU a dalších systémových prostředcích zařízení USB akcelerátoru.

S ohledem na to níže uvedená grafika kontrastuje čas strávený vytvářením jednotlivých závěrů na Edge TPU s různými standardními modely. Všechny běžící modely jsou samozřejmě pro srovnání verze TensorFlow Lite.

Vezměte prosím na vědomí, že výše uvedené údaje ukazují čas potřebný ke spuštění modelu. Nezahrnuje však čas potřebný ke zpracování vstupních dat, který se liší podle aplikace a systému.

Výsledky testů GPU jsou porovnávány s uživatelem požadovaným nastavením herní kvality a rozlišením.

Na základě vyhodnocení více než 70 000 benchmarkových testů byly pečlivě zkonstruovány sofistikované algoritmy, které generují 90 procent spolehlivých odhadů herního výkonu.

Přestože se výkon grafických karet v různých hrách značně liší, tento srovnávací obrázek níže poskytuje široký index hodnocení pro některé grafické karty.

TPU vs. Cena GPU

Mají výrazný cenový rozdíl. TPU jsou pětkrát dražší než GPU. Zde jsou nějaké příklady:

• GPU Nvidia Tesla P100 stojí 1,46 $ za hodinu
• Google TPU v3 stojí 8,00 $ za hodinu
• TPUv2 s přístupem GCP na vyžádání 4,50 $ za hodinu

Pokud je cílem optimalizace nákladů, měli byste sáhnout po TPU pouze v případě, že trénuje model 5x rychlejší než GPU.

Jaký je rozdíl mezi CPU vs. GPU vs. TPU?

Rozdíl mezi TPU, GPU a CPU spočívá v tom, že CPU je nespecifický účelový procesor, který zpracovává všechny výpočty, logiku, vstup a výstup počítače.

Na druhou stranu, GPU je další procesor používaný ke zlepšení grafického rozhraní (GI) a provádění špičkových činností. TPU jsou silné, speciálně vyrobené procesory používané k provádění projektů vyvinutých pomocí konkrétního rámce, jako je TensorFlow.

Dělíme je následovně:

• Centrální procesorová jednotka (CPU) – Ovládejte všechny aspekty počítače
• Graphics Processing Unit (GPU) – Zlepšete grafický výkon počítače
• Tensor Processing Unit (TPU) – ASIC výslovně navržený pro projekty TensorFlow

Vyrábí Nvidia TPU?

Mnoho lidí přemýšlelo, jak by NVIDIA reagovala na TPU společnosti Google, ale nyní máme odpovědi.

Místo toho, aby se NVIDIA znepokojovala, úspěšně umístila TPU jako nástroj, který může použít, když to dává smysl, ale stále udržuje svůj CUDA software a GPU v čele.

Udržuje kontrolní bod pro přijetí strojového učení IoT tím, že technologii vytváří jako open source. Nebezpečí této metody však spočívá v tom, že může poskytnout důvěryhodnost konceptu, který by se mohl stát výzvou pro dlouhodobé aspirace inferenčních motorů datových center pro NVIDIA.

Je lepší GPU nebo TPU?

Na závěr musíme říci, že i když vyvíjíme algoritmy umožňující efektivní využití a TPU stojí trochu víc, snížené náklady na školení obecně převažují nad dodatečným programováním výdaje.

Mezi další důvody, proč si vybrat TPU, patří skutečnost, že G VRAM v3-128 8 převyšuje GPU Nvidia, díky čemuž je v3-8 lepší alternativou pro zpracování velkých datových sad spojených s NLU a NLP.

Vyšší rychlosti mohou také vést k rychlejší iteraci během vývojových cyklů, což vede k rychlejším a častějším inovacím, což zvyšuje pravděpodobnost úspěchu na trhu.

TPU překonává GPU, pokud jde o rychlost inovací, snadnost použití a cenovou dostupnost; spotřebitelé a cloud architekti by měli zvážit TPU ve svých iniciativách ML a AI.

TPU od společnosti Google má dostatek zpracovatelské kapacity a uživatel musí koordinovat zadávání dat, aby se ujistil, že nedochází k přetížení.

Tady to máte, celkové TPU vs. Srovnání GPU. Rádi bychom znali váš názor a zjistili, zda jste provedli nějaké testy a jaké výsledky jste získali na TPU a GPU.

Pamatujte si, že si můžete užít pohlcující zážitek z počítače pomocí kteréhokoli z nich nejlepší grafické karty pro Windows 11.