TPU vs. GPU: Razlike u performansama i brzini u stvarnom svijetu

U ovom članku ćemo napraviti TPU vs. Usporedba GPU-a. Ali prije nego što se udubimo u to, evo što morate znati.

Strojno učenje i AI tehnologija ubrzali su rast inteligentnih aplikacija. U tu svrhu, poluvodičke tvrtke kontinuirano stvaraju akceleratore i procesore, uključujući TPU i CPU, za rješavanje složenijih aplikacija.

Neki korisnici su imali problema s razumijevanjem kada se preporučuje korištenje TPU-a, a kada GPU za svoje računalne zadatke.

GPU, također poznat kao jedinica za grafičku obradu, je video kartica vašeg računala koja vam nudi vizualno i impresivno iskustvo računala. Na primjer, možete slijediti jednostavne korake ako želite PC ne otkriva GPU.

Da bismo bolje razumjeli ove okolnosti, također ćemo morati razjasniti što je TPU i kako se može usporediti s GPU-om.

Što je TPU?

TPU ili Tensor Processing Units su specijalizirani integrirani krugovi (IC-ovi) za specifične primjene, također poznati kao ASIC-ovi (integrirani sklopovi specifični za aplikaciju). Google je stvorio TPU-ove od nule, počeo ih koristiti 2015., a otvorio ih je za javnost 2018. godine.

TPU-ovi se nude kao manje čipove ili verzije u oblaku. Kako bi ubrzali strojno učenje za neuronsku mrežu pomoću softvera TensorFlow, TPU-ovi u oblaku rješavaju komplicirane matrične i vektorske operacije nevjerojatnim brzinama.

Uz TensorFlow, Google Brain Team je razvio platformu za strojno učenje otvorenog koda, istraživači, programeri i poduzeća mogu konstruirati i upravljati AI modelima koristeći Cloud TPU hardver.

Kada treniraju složene i robusne modele neuronskih mreža, TPU smanjuju vrijeme do vrijednosti točnosti. To znači da modelima dubokog učenja za koje su možda bili potrebni tjedni za obuku pomoću GPU-a potrebno je manje od djelića tog vremena.

Je li TPU isto što i GPU?

Arhitektonski su vrlo različiti. Grafička procesorska jedinica je procesor sam po sebi, iako je usmjeren prema vektoriziranom numeričkom programiranju. GPU-ovi su, zapravo, sljedeća generacija Cray superračunala.

TPU-ovi su koprocesori koji sami ne izvršavaju instrukcije; kod se izvršava na CPU-ima, što hrani TPU-u tijek malih operacija.

Kada trebam koristiti TPU?

TPU-ovi u oblaku prilagođeni su određenim aplikacijama. Možda biste radije izvršavali zadatke strojnog učenja pomoću GPU-a ili CPU-a u nekim slučajevima. Općenito, sljedeća načela mogu vam pomoći da procijenite je li TPU najbolja opcija za vaše radno opterećenje:

• Matrični proračuni su dominantni u modelima
• Unutar glavne petlje treninga modela ne postoje prilagođene operacije TensorFlow
• Oni su modeli koji prolaze tjedne ili mjesece obuke
• To su masivni modeli koji imaju opsežne, učinkovite veličine serija.

Sada skočimo na neke izravne TPU vs. Usporedba GPU-a.

Koje su razlike između GPU-a i TPU-a?

TPU vs. GPU arhitektura

TPU nije vrlo složen hardver i osjeća se kao motor za obradu signala za radarske aplikacije, a ne kao tradicionalna arhitektura izvedena iz X86.

Unatoč tome što ima mnogo podjela množenja matrice, manje je GPU, a više koprocesor; on samo izvršava naredbe koje prima host.

Budući da postoji toliko mnogo težine za unos u komponentu množenja matrice, TPU-ov DRAM radi kao jedna jedinica paralelno.

Osim toga, budući da TPU-ovi mogu izvoditi samo matrične operacije, TPU ploče su povezane s glavnim sustavima baziranim na CPU-u kako bi ostvarili zadatke koje TPU-ovi ne mogu nositi.

Glavna računala zadužena su za isporuku podataka u TPU, prethodnu obradu i dohvaćanje pojedinosti iz Cloud Storagea.

GPU-ovi su više zabrinuti za primjenu dostupnih jezgri na rad nego za pristup predmemoriji niske latencije.

Mnoga računala (klasteri procesora) s više SM-ova (streaming multiprocessors) postaju jedan GPU gadget, sa slojevima predmemorije instrukcija prvog sloja i pratećim jezgrama smještenim u svakom SM-u.

Prije ekstrakcije podataka iz globalne GDDR-5 memorije, jedan SM obično koristi zajednički sloj od dvije predmemorije i namjenski sloj od jedne predmemorije. Arhitektura GPU-a je tolerantna na kašnjenje memorije.

GPU radi s minimalnim brojem razina memorijske predmemorije. Međutim, budući da GPU ima više tranzistora posvećenih obradi, manje je zabrinut za svoje vrijeme za pristup podacima u memoriji.

Moguće kašnjenje pristupa memoriji je skriveno jer je GPU zauzet odgovarajućim izračunima.

TPU vs. Brzina GPU-a

Ova izvorna generacija TPU ciljano zaključivanje, koje koristi naučeni model, a ne istrenirani.

TPU je 15 do 30 puta brži od trenutnih GPU-a i CPU-a u komercijalnim AI aplikacijama koje koriste zaključivanje neuronske mreže.

Nadalje, TPU je značajno energetski učinkovit, s povećanjem vrijednosti TOPS/Watt od 30 do 80 puta.

Stoga u izradi TPU-a vs. Usporedba brzine GPU-a, izgledi su nagnuti prema Tensor Processing Unit.

TPU vs. Performanse GPU-a

TPU je stroj za obradu tenzora stvoren da ubrza izračune Tensorflow grafova.

Na jednoj ploči, svaki TPU može pružiti čak 64 GB memorije velike propusnosti i 180 teraflopsa performansi s pomičnim zarezom.

Usporedba između Nvidia GPU-a i TPU-a prikazana je u nastavku. Y-os prikazuje broj fotografija u sekundi, dok X-os predstavlja različite modele.

TPU vs. GPU strojno učenje

U nastavku su vremena treninga za CPU-ove i GPU-ove koji koriste različite veličine serije i iteracije po epohi:

• Iteracije/epoha: 100, Veličina serije: 1000, Ukupno epoha: 25, Parametri: 1,84 M i Tip modela: Keras Mobilenet V1 (alfa 0,75).

AKCELERATOR	GPU (NVIDIA K80)	TPU
Točnost treninga (%)	96.5	94.1
Točnost provjere (%)	65.1	68.6
Vrijeme po iteraciji (ms)	69	173
Vrijeme po epohi (s)	69	173
Ukupno vrijeme (minute)	30	72

• Iteracije/epoha: 1000, veličina serije: 100, Ukupno epoha: 25, parametri: 1,84 M i tip modela: Keras Mobilenet V1 (alfa 0,75)

AKCELERATOR	GPU (NVIDIA K80)	TPU
Točnost treninga (%)	97.4	96.9
Točnost provjere (%)	45.2	45.3
Vrijeme po iteraciji (ms)	185	252
Vrijeme po epohi (s)	18	25
Ukupno vrijeme (minute)	16	21

S manjom veličinom serije, TPU-u je potrebno mnogo dulje da se trenira, što se vidi iz vremena treninga. Međutim, performanse TPU-a su bliže GPU-u s povećanom veličinom serije.

Stoga u izradi TPU-a vs. Usporedba GPU treninga, mnogo ima veze s epohama i veličinom serije.

TPU vs. GPU mjerilo

S 0,5 vata/TOPS, jedan Edge TPU može izvršiti četiri trilijuna operacija u sekundi. Nekoliko varijabli utječe na to koliko dobro se to prevodi na izvedbu aplikacije.

Modeli neuronskih mreža imaju različite zahtjeve, a ukupni izlaz varira ovisno o brzini USB-a hosta, CPU-u i drugim resursima sustava USB akceleratorskog uređaja.

Imajući to na umu, donja grafika suprotstavlja vrijeme provedeno u izradi pojedinačnih zaključaka na Edge TPU-u s različitim standardnim modelima. Naravno, svi modeli koji rade su verzije TensorFlow Lite radi usporedbe.

Napominjemo da gore navedeni podaci pokazuju vrijeme potrebno za pokretanje modela. Međutim, isključuje vrijeme potrebno za obradu ulaznih podataka, koje se razlikuje ovisno o aplikaciji i sustavu.

Rezultati GPU benchmarka uspoređuju se s korisnikovim željenim postavkama kvalitete igranja i razlučivosti.

Na temelju ocjenjivanja više od 70.000 referentnih testova, sofisticirani algoritmi su pomno konstruirani za generiranje 90 posto pouzdanih procjena performansi igara.

Iako se performanse grafičkih kartica uvelike razlikuju u različitim igrama, ova usporedna slika u nastavku daje širok indeks ocjena za neke grafičke kartice.

TPU vs. Cijena GPU-a

Imaju značajnu razliku u cijeni. TPU-ovi su pet puta skuplji od GPU-a. Evo nekoliko primjera:

• Nvidia Tesla P100 GPU košta 1,46 dolara po satu
• Google TPU v3 košta 8,00 USD po satu
• TPUv2 s GCP pristupom na zahtjev 4,50 USD po satu

Ako je cilj optimizacija za cijenu, trebali biste odabrati TPU samo ako trenira model 5X brži od GPU-a.

Koja je razlika između CPU-a i GPU vs. TPU?

Razlika između TPU-a, GPU-a i CPU-a je u tome što je CPU procesor nespecifične namjene koji upravlja svim računalnim izračunima, logikom, ulazom i izlazom.

S druge strane, GPU je dodatni procesor koji se koristi za poboljšanje grafičkog sučelja (GI) i obavljanje vrhunskih aktivnosti. TPU-i su jaki, posebno izrađeni procesori koji se koriste za izvođenje projekata razvijenih pomoću određenog okvira, kao što je TensorFlow.

Kategoriziramo ih na sljedeći način:

• Centralna procesorska jedinica (CPU) – Upravlja svim aspektima računala
• Jedinica za grafičku obradu (GPU) – Poboljšajte grafičke performanse računala
• Tensor Processing Unit (TPU) – ASIC eksplicitno dizajniran za TensorFlow projekte

Da li Nvidia proizvodi TPU?

Mnogi ljudi su se pitali kako bi NVIDIA reagirala na Googleov TPU, ali sada imamo odgovore.

Umjesto da bude zabrinuta, NVIDIA je uspješno depozicionirala TPU kao alat koji može koristiti kada ima smisla, ali i dalje drži svoj CUDA softver i GPU-ove u prednosti.

Zadržava kontrolnu točku za usvajanje IoT strojnog učenja tako što čini tehnologiju otvorenim kodom. Međutim, opasnost s ovom metodom je u tome što može pružiti vjerodostojnost konceptu koji bi mogao postati izazov za dugoročne aspiracije motora za zaključivanje podatkovnih centara za NVIDIA.

Je li bolji GPU ili TPU?

U zaključku, moramo reći da iako razvoj algoritama omogućuje učinkovitu upotrebu a TPU košta malo više, smanjeni troškovi obuke općenito nadmašuju dodatno programiranje troškovi.

Drugi razlozi za odabir TPU-a uključuju činjenicu da v3-128 8 G VRAM-a nadmašuje Nvidia GPU, što v3-8 čini boljom alternativom za obradu velikih skupova podataka povezanih s NLU-om i NLP.

Veće brzine također mogu dovesti do brže iteracije tijekom razvojnih ciklusa, što dovodi do bržih i češćih inovacija, povećavajući vjerojatnost uspjeha na tržištu.

TPU nadmašuje GPU u smislu brzine inovacije, jednostavnosti korištenja i pristupačnosti; potrošači i arhitekti oblaka trebali bi uzeti u obzir TPU u svojim inicijativama za ML i AI.

TPU iz Googlea ima dosta kapaciteta obrade, a korisnik mora koordinirati unos podataka kako bi bio siguran da nema preopterećenja.

Evo ga, ukupni TPU vs. Usporedba GPU-a. Voljeli bismo znati vaše mišljenje i vidjeti jeste li radili neke testove i kakve ste rezultate dobili na TPU-u i GPU-u.

Zapamtite, možete uživati ​​u impresivnom iskustvu na računalu koristeći bilo koji od ovih najbolje grafičke kartice za Windows 11.