TPU vs. GPU: reālās veiktspējas un ātruma atšķirības

Šajā rakstā mēs izveidosim TPU vs. GPU salīdzinājums. Bet, pirms mēs tajā iedziļināmies, šeit ir tas, kas jums jāzina.

Mašīnmācīšanās un AI tehnoloģija ir paātrinājušas viedo lietotņu izaugsmi. Šim nolūkam pusvadītāju uzņēmumi nepārtraukti veido paātrinātājus un procesorus, tostarp TPU un CPU, lai strādātu ar sarežģītākām lietotnēm.

Dažiem lietotājiem ir radušās problēmas saprast, kad ir ieteicams izmantot TPU un kad izmantot GPU viņu datora uzdevumiem.

GPU, kas pazīstams arī kā grafiskā apstrādes vienība, ir jūsu datora videokarte, kas piedāvā vizuālu un iespaidīgu datora pieredzi. Piemēram, varat veikt vienkāršas darbības, ja jūsu Dators neatklāj GPU.

Lai labāk izprastu šos apstākļus, mums būs arī jāprecizē, kas ir TPU un kā tas ir salīdzināms ar GPU.

Kas ir TPU?

TPU vai Tensor Processing Units ir specializētas integrētās shēmas (IC) īpašiem lietojumiem, kas pazīstamas arī kā ASIC (lietojumprogrammai specifiskās integrālās shēmas). Google izveidoja TPU no nulles, sāka tos izmantot 2015. gadā un atklāja tos sabiedrībai 2018. gadā.

TPU tiek piedāvāti kā nelielas mikroshēmas vai mākoņa versijas. Lai paātrinātu neironu tīkla mašīnmācīšanos, izmantojot TensorFlow programmatūru, mākoņa TPU neticamā ātrumā atrisina sarežģītas matricas un vektoru darbības.

Izmantojot TensorFlow, Google Brain Team izstrādāja atvērtā pirmkoda mašīnmācīšanās platformu, pētnieki, izstrādātāji un uzņēmumi var konstruēt un darbināt AI modeļus, izmantojot mākoņa TPU aparatūru.

Apmācot sarežģītus un robustus neironu tīklu modeļus, TPU samazina laiku līdz precizitātes vērtībai. Tas nozīmē, ka dziļās mācīšanās modeļi, kuru apmācībai, izmantojot GPU, var būt nepieciešamas nedēļas, aizņem mazāk nekā daļu no šī laika.

Vai TPU ir tas pats, kas GPU?

Tie ir arhitektoniski ļoti atšķirīgi. Grafiskās apstrādes vienība ir procesors pats par sevi, lai gan tas ir paredzēts vektorizētai skaitliskai programmēšanai. GPU faktiski ir nākamās paaudzes Cray superdatori.

TPU ir kopprocesori, kas paši neizpilda instrukcijas; kods tiek izpildīts CPU, kas nodrošina TPU nelielu darbību plūsmu.

Kad man vajadzētu izmantot TPU?

TPU mākonī ir pielāgoti noteiktām lietojumprogrammām. Dažos gadījumos mašīnmācības uzdevumus varat veikt, izmantojot GPU vai CPU. Kopumā šādi principi var palīdzēt novērtēt, vai TPU ir jūsu darba slodzei piemērotākais risinājums.

• Modeļos dominē matricu aprēķini
• Modeļa galvenajā apmācības ciklā nav pielāgotu TensorFlow darbību
• Tie ir modeļi, kas iziet nedēļu vai mēnešu apmācību
• Tie ir masīvi modeļi ar plašiem, efektīviem partijas izmēriem.

Tagad pievērsīsimies dažiem tiešajiem TPU vs. GPU salīdzinājums.

Kādas ir atšķirības starp GPU un TPU?

TPU vs. GPU arhitektūra

TPU nav īpaši sarežģīta aparatūra, un tas šķiet kā signālu apstrādes dzinējs radara lietojumprogrammām, nevis tradicionālā X86 arhitektūra.

Neskatoties uz daudzām matricas reizināšanas iedaļām, tas ir mazāk GPU un vairāk līdzprocesors; tas tikai izpilda komandas, ko saņem saimniekdators.

Tā kā matricas reizināšanas komponentā ir jāievada tik daudz atsvaru, TPU DRAM tiek darbināta kā viena vienība paralēli.

Turklāt, tā kā TPU var veikt tikai matricas darbības, TPU plates ir saistītas ar CPU balstītām resursdatora sistēmām, lai veiktu uzdevumus, ar kuriem TPU nevar tikt galā.

Resursdatori ir atbildīgi par datu piegādi TPU, priekšapstrādi un informācijas iegūšanu no mākoņkrātuves.

GPU vairāk rūp pieejamo kodolu izmantošana darbam, nevis piekļuve zema latentuma kešatmiņai.

Daudzi datori (procesoru kopas) ar vairākiem SM (straumēšanas daudzprocesoriem) kļūst par vienu GPU sīkrīku ar pirmā slāņa instrukciju kešatmiņas slāņiem un pavadošajiem kodoliem, kas atrodas katrā SM.

Pirms datu iegūšanas no globālās GDDR-5 atmiņas viens SM parasti izmanto koplietotu divu kešatmiņu slāni un speciālu vienas kešatmiņas slāni. GPU arhitektūra ir izturīga pret atmiņas latentumu.

GPU darbojas ar minimālu atmiņas kešatmiņas līmeņu skaitu. Tomēr, tā kā GPU ir vairāk tranzistoru, kas paredzēti apstrādei, tas mazāk rūpējas par laiku, lai piekļūtu datiem atmiņā.

Iespējamā atmiņas piekļuves aizkave ir paslēpta, jo GPU tiek aizņemts ar atbilstošiem aprēķiniem.

TPU vs. GPU ātrums

Šis sākotnējās TPU paaudzes mērķtiecīgs secinājums, kas izmanto apgūtu modeli, nevis apmācītu.

TPU ir 15 līdz 30 reizes ātrāks nekā pašreizējie GPU un CPU komerciālajās AI lietojumprogrammās, kas izmanto neironu tīkla secinājumus.

Turklāt TPU ir ievērojami energoefektīvs, un TOPS/vata vērtība palielinās no 30 līdz 80 reizēm.

Tādējādi, veidojot TPU vs. GPU ātruma salīdzinājums, izredzes ir novirzītas uz Tensor Processing Unit.

TPU vs. GPU veiktspēja

TPU ir tensoru apstrādes iekārta, kas izveidota, lai paātrinātu Tensorflow grafiku aprēķinus.

Uz vienas plates katrs TPU var nodrošināt pat 64 GB liela joslas platuma atmiņu un 180 teraflopus peldošā komata veiktspējas.

Tālāk ir parādīts Nvidia GPU un TPU salīdzinājums. Y ass attēlo fotoattēlu skaitu sekundē, bet X ass attēlo dažādus modeļus.

TPU vs. GPU mašīnmācība

Tālāk ir norādīti apmācību laiki CPU un GPU, izmantojot dažādus partijas izmērus un atkārtojumus katrā laikmetā:

• Iterācijas/epoha: 100, partijas lielums: 1000, kopējie periodi: 25, parametri: 1,84 m un modeļa veids: Keras Mobilenet V1 (alfa 0,75).

Akselerators	GPU (NVIDIA K80)	TPU
Apmācības precizitāte (%)	96.5	94.1
Validācijas precizitāte (%)	65.1	68.6
Iterācijas laiks (ms)	69	173
Laiks vienā laikmetā (s)	69	173
Kopējais laiks (minūtes)	30	72

• Iterācijas/epoha: 1000, partijas lielums: 100, kopējie periodi: 25, parametri: 1,84 milj. un modeļa veids: Keras Mobilenet V1 (alfa 0,75)

Akselerators	GPU (NVIDIA K80)	TPU
Apmācības precizitāte (%)	97.4	96.9
Validācijas precizitāte (%)	45.2	45.3
Iterācijas laiks (ms)	185	252
Laiks vienā laikmetā (s)	18	25
Kopējais laiks (minūtes)	16	21

Izmantojot mazāku partijas izmēru, TPU apmācīšana prasa daudz ilgāku laiku, kā redzams no apmācības laika. Tomēr TPU veiktspēja ir tuvāka GPU ar palielinātu partijas lielumu.

Tādējādi, veidojot TPU vs. GPU apmācības salīdzinājums, daudz kas ir saistīts ar laikmetiem un partijas lielumu.

TPU vs. GPU etalons

Ar 0,5 vati/TOPS viens Edge TPU var izpildīt četrus triljonus darbību sekundē. Vairāki mainīgie ietekmē to, cik labi tas nozīmē lietotnes veiktspēju.

Neironu tīklu modeļiem ir atšķirīgas prasības, un kopējā izvade atšķiras atkarībā no resursdatora USB ātruma, CPU un citiem USB paātrinātāja ierīces sistēmas resursiem.

Paturot to prātā, tālāk redzamajā grafikā laiks, kas pavadīts atsevišķu secinājumu veikšanai Edge TPU, ir pretstatīts dažādiem standarta modeļiem. Protams, visi modeļi, kas darbojas, ir TensorFlow Lite versijas salīdzināšanas labad.

Lūdzu, ņemiet vērā, ka iepriekš norādītie dati parāda laiku, kas nepieciešams modeļa palaišanai. Tomēr tajā nav iekļauts laiks, kas nepieciešams ievades datu apstrādei, kas atšķiras atkarībā no lietojumprogrammas un sistēmas.

GPU etalonu rezultāti tiek salīdzināti ar lietotāja vēlamajiem spēles kvalitātes iestatījumiem un izšķirtspēju.

Pamatojoties uz vairāk nekā 70 000 etalontestu novērtēšanu, ir rūpīgi izstrādāti sarežģīti algoritmi, lai radītu 90 procentu ticamus spēļu veiktspējas aprēķinus.

Lai gan grafisko karšu veiktspēja dažādās spēlēs ir ļoti atšķirīga, šis salīdzinājuma attēls sniedz plašu dažu grafisko karšu vērtējumu indeksu.

TPU vs. GPU cena

Viņiem ir ievērojama cenu atšķirība. TPU ir piecas reizes dārgāki nekā GPU. Šeit ir daži piemēri:

• Nvidia Tesla P100 GPU maksā 1,46 USD stundā
• Google TPU v3 maksā 8,00 USD stundā
• TPUv2 ar GCP piekļuvi pēc pieprasījuma USD 4,50 stundā

Ja mērķis ir optimizēt izmaksas, jums vajadzētu izvēlēties TPU tikai tad, ja tas trenē modeli, kas 5X pārsniedz GPU ātrumu.

Kāda ir atšķirība starp CPU vs. GPU vs. TPU?

Atšķirība starp TPU, GPU un CPU ir tāda, ka centrālais procesors ir nekonkrēts procesors, kas apstrādā visus datora aprēķinus, loģiku, ievadi un izvadi.

No otras puses, GPU ir papildu procesors, ko izmanto, lai uzlabotu grafisko interfeisu (GI) un veiktu augstas klases darbības. TPU ir spēcīgi, īpaši izgatavoti procesori, ko izmanto, lai izpildītu projektus, kas izstrādāti, izmantojot noteiktu sistēmu, piemēram, TensorFlow.

Mēs tos iedalām šādās kategorijās:

• Centrālā procesora bloks (CPU) — kontrolējiet visus datora aspektus
• Grafikas apstrādes vienība (GPU) – uzlabojiet datora grafisko veiktspēju
• Tensor Processing Unit (TPU) – ASIC, kas īpaši izstrādāts TensorFlow projektiem

Vai Nvidia ražo TPU?

Daudzi cilvēki ir domājuši, kā NVIDIA reaģēs uz Google TPU, taču tagad mums ir atbildes.

Tā vietā, lai raizētos, NVIDIA ir veiksmīgi depozicionējusi TPU kā rīku, ko tas var izmantot, kad tas ir saprātīgi, bet joprojām saglabā savu CUDA programmatūru un GPU vadībā.

Tas saglabā kontroles punktu IoT mašīnmācības pieņemšanai, padarot tehnoloģiju atvērtā koda. Tomēr šīs metodes draudi ir tādi, ka tā var sniegt ticamību koncepcijai, kas var kļūt par izaicinājumu NVIDIA datu centru secinājumu dzinēju ilgtermiņa centieniem.

Vai GPU vai TPU ir labāks?

Noslēgumā jāsaka, ka, lai gan tiek izstrādāti algoritmi, kas ļauj efektīvi izmantot a TPU maksā nedaudz vairāk, samazinātās apmācības izmaksas parasti pārsniedz papildu programmēšanu izdevumiem.

Citi iemesli TPU izvēlei ir fakts, ka v3-128 8 G VRAM pārspēj VRAM. Nvidia GPU, padarot v3-8 par labāku alternatīvu lielu ar NLU saistītu datu kopu apstrādei un NLP.

Lielāki ātrumi var izraisīt arī ātrāku iterāciju izstrādes ciklu laikā, tādējādi radot ātrākus un biežākus jauninājumus, palielinot veiksmes iespējamību tirgū.

TPU pārspēj GPU inovāciju ātruma, lietošanas vienkāršības un cenas ziņā; patērētājiem un mākoņa arhitektiem savās ML un AI iniciatīvās jāņem vērā TPU.

Google nodrošinātajam TPU ir liela apstrādes jauda, ​​un lietotājam ir jākoordinē datu ievade, lai pārliecinātos, ka nenotiek pārslodze.

Lūk, kopējais TPU vs. GPU salīdzinājums. Mēs labprāt uzzinātu jūsu domas un noskaidrotu, vai esat veicis testus un kādus rezultātus saņēmāt TPU un GPU.

Atcerieties, ka varat izbaudīt iespaidīgu datora pieredzi, izmantojot jebkuru no labākās grafiskās kartes operētājsistēmai Windows 11.