TPU vs. GPU: tegelikud jõudluse ja kiiruse erinevused

Selles artiklis teeme TPU vs. GPU võrdlus. Kuid enne sellesse süvenemist peate teadma järgmist.

Masinõpe ja AI-tehnoloogia on kiirendanud intelligentsete rakenduste kasvu. Sel eesmärgil loovad pooljuhtide ettevõtted keerukamate rakendustega toimetulemiseks pidevalt kiirendeid ja protsessoreid, sealhulgas TPU-d ja CPU-d.

Mõnel kasutajal on olnud probleeme aru saada, millal on soovitatav kasutada arvutiülesannete jaoks TPU-d ja millal GPU-d.

GPU, tuntud ka kui graafiline protsessor, on teie arvuti videokaart, mis pakub teile visuaalset ja kaasahaaravat arvutikogemust. Näiteks võite järgida lihtsaid samme, kui teie Arvuti ei tuvasta GPU-d.

Nende asjaolude paremaks mõistmiseks peame ka selgitama, mis on TPU ja kuidas seda võrrelda GPU-ga.

Mis on TPU?

TPU-d ehk Tensor Processing Units on spetsiifiliste rakenduste jaoks spetsiaalsed integraallülitused (IC-d), mida tuntakse ka ASIC-idena (rakendusspetsiifilised integraallülitused). Google lõi TPU-d nullist, hakati neid kasutama 2015. aastal ja avas need avalikkusele 2018. aastal.

TPU-sid pakutakse väikese kiibi või pilve versioonina. TensorFlow tarkvara abil närvivõrgu masinõppe kiirendamiseks lahendavad pilve-TPU-d keerulisi maatriksi- ja vektoroperatsioone uskumatu kiirusega.

TensorFlow abil töötas Google Brain Team välja avatud lähtekoodiga masinõppeplatvormi, mille abil teadlased, arendajad ja ettevõtted saavad pilvepõhise TPU riistvara abil luua ja kasutada tehisintellekti mudeleid.

Keeruliste ja töökindlate närvivõrgumudelite treenimisel vähendavad TPU-d täpsuse väärtuse saavutamise aega. See tähendab, et süvaõppe mudelid, mille treenimine GPU-de abil võis võtta nädalaid, võtab vähem kui murdosa sellest ajast.

Kas TPU on sama mis GPU?

Need on arhitektuuriliselt väga erinevad. Graafiline töötlusüksus on iseenesest protsessor, ehkki selline, mis on suunatud vektoriseeritud arvprogrammeerimisele. GPU-d on tegelikult Cray superarvutite järgmine põlvkond.

TPU-d on kaasprotsessorid, mis ei täida ise juhiseid; kood käivitatakse protsessorites, mis toidab TPU-le väikeste toimingute voogu.

Millal peaksin TPU-d kasutama?

Pilves olevad TPU-d on kohandatud konkreetsete rakenduste jaoks. Mõnel juhul eelistate masinõppe ülesandeid täita GPU-de või CPU-de abil. Üldiselt võivad järgmised põhimõtted aidata teil hinnata, kas TPU on teie töökoormuse jaoks parim valik.

• Mudelites domineerivad maatriksarvutused
• Mudeli peamises treeningtsüklis pole kohandatud TensorFlow toiminguid
• Need on modellid, kes läbivad nädalaid või kuid kestnud koolituse
• Need on massiivsed mudelid, millel on ulatuslikud ja tõhusad partiide suurused.

Hüppame nüüd mõne otsese TPU vs. GPU võrdlus.

Mis vahe on GPU ja TPU vahel?

TPU vs. GPU arhitektuur

TPU ei ole väga keeruline riistvara ja tundub signaalitöötlusmootorina radarirakenduste jaoks, mitte traditsioonilise X86-st tuletatud arhitektuurina.

Vaatamata paljudele maatrikskorrutisjaotistele on see vähem GPU ja rohkem kaasprotsessor; see lihtsalt täidab hosti antud käske.

Kuna maatriksi korrutamiskomponendile tuleb sisestada nii palju kaalusid, kasutatakse TPU DRAM-i paralleelselt ühe ühikuna.

Lisaks, kuna TPU-d saavad teha ainult maatriksoperatsioone, on TPU-plaadid ühendatud CPU-põhiste hostsüsteemidega, et täita ülesandeid, millega TPÜ-d hakkama ei saa.

Hostarvutid vastutavad andmete edastamise eest TPU-sse, eeltöötluse ja pilvesalvestusest üksikasjade toomise eest.

GPU-d on rohkem mures saadaolevate tuumade töölerakendamise kui madala latentsusajaga vahemälu juurdepääsu pärast.

Paljud arvutid (protsessoriklastrid), millel on mitu SM-i (voogedatavad mitmeprotsessorid), muutuvad üheks GPU-vidinaks, kus on esimese kihi käsuvahemälu kihid ja kaasnevad tuumad, mis asuvad igas SM-is.

Enne andmete eraldamist globaalsest GDDR-5 mälust kasutab üks SM tavaliselt kahe vahemälu jagatud kihti ja ühe vahemälu spetsiaalset kihti. GPU arhitektuur talub mälu latentsust.

GPU töötab minimaalse arvu vahemälu tasemetega. Kuid kuna GPU-l on rohkem töötlemiseks mõeldud transistore, on see vähem mures mälus olevatele andmetele juurdepääsu ajaga.

Võimalik mälule juurdepääsu viivitus on peidetud, kuna GPU on hõivatud piisavate arvutustega.

TPU vs. GPU kiirus

See algne TPU põlvkonna sihitud järeldus, mis kasutab õpitud mudelit, mitte koolitatud mudelit.

TPU on 15–30 korda kiirem kui praegused GPU-d ja CPU-d kaubanduslikes AI-rakendustes, mis kasutavad närvivõrgu järeldusi.

Lisaks on TPU märkimisväärselt energiasäästlik, TOPS/vati väärtus on 30–80 korda suurem.

Seega TPU vs. GPU kiiruse võrdlus, tõenäosus on kaldu Tensori töötlemisüksuse poole.

TPU vs. GPU jõudlus

TPU on tensorite töötlemise masin, mis on loodud Tensorflow graafiku arvutamise kiirendamiseks.

Ühel plaadil võib iga TPU pakkuda kuni 64 GB suure ribalaiusega mälu ja 180 teraflopsi ujukoma jõudlust.

Nvidia GPU-de ja TPU-de võrdlus on näidatud allpool. Y-teljel on kujutatud fotode arvu sekundis, X-teljel aga erinevaid mudeleid.

TPU vs. GPU masinõpe

Allpool on koolitusajad protsessorite ja GPU-de jaoks, mis kasutavad erinevat partii suurust ja iteratsioone epohhi kohta:

• Iteratsioonid/epohh: 100, partii suurus: 1000, perioodid kokku: 25, parameetrid: 1,84 M ja mudeli tüüp: Keras Mobilenet V1 (alfa 0,75).

KIIREND	GPU (NVIDIA K80)	TPU
Treeningu täpsus (%)	96.5	94.1
Valideerimise täpsus (%)	65.1	68.6
Aeg iteratsiooni kohta (ms)	69	173
Aeg epohhi kohta (s)	69	173
Koguaeg (minutites)	30	72

• Iteratsioonid/epohh: 1000, partii suurus: 100, perioodid kokku: 25, parameetrid: 1,84 M ja mudeli tüüp: Keras Mobilenet V1 (alpha 0,75)

KIIREND	GPU (NVIDIA K80)	TPU
Treeningu täpsus (%)	97.4	96.9
Valideerimise täpsus (%)	45.2	45.3
Aeg iteratsiooni kohta (ms)	185	252
Aeg epohhi kohta (s)	18	25
Koguaeg (minutites)	16	21

Väiksema partii suurusega võtab TPU treenimine palju kauem aega, nagu on näha treeningajast. TPU jõudlus on aga suurema partiisuurusega GPU-le lähemal.

Seega TPU vs. GPU koolituse võrdlus, palju on seotud ajastute ja partii suurusega.

TPU vs. GPU etalon

0,5 vatti/TOPSiga suudab üks Edge TPU sooritada neli triljonit toimingut sekundis. Mitmed muutujad mõjutavad seda, kui hästi see rakenduse toimivuses väljendub.

Närvivõrgu mudelitel on erinevad nõuded ja üldine väljund sõltub hosti USB kiirusest, protsessorist ja muudest USB-kiirendi seadme süsteemiressurssidest.

Seda silmas pidades vastandab allolev graafik Edge TPU-s üksikute järelduste tegemiseks kulunud aega erinevatele standardmudelitele. Muidugi on võrdluse huvides kõik töötavad mudelid TensorFlow Lite'i versioonid.

Pange tähele, et ülaltoodud andmed näitavad mudeli käitamiseks kuluvat aega. See aga ei hõlma sisendandmete töötlemiseks kuluvat aega, mis erineb olenevalt rakendusest ja süsteemist.

GPU etalonide tulemusi võrreldakse kasutaja soovitud mängukvaliteedi seadete ja eraldusvõimega.

Tuginedes enam kui 70 000 võrdlustesti hindamisele, on keerukad algoritmid täpselt konstrueeritud, et luua 90 protsenti usaldusväärseid hinnanguid mängude jõudluse kohta.

Kuigi graafikakaartide jõudlus on mängude lõikes väga erinev, annab see allpool olev võrdluspilt mõne graafikakaardi laia reitinguindeksi.

TPU vs. GPU hind

Neil on märkimisväärne hinnavahe. TPU-d on viis korda kulukamad kui GPU-d. siin on mõned näidised:

• Nvidia Tesla P100 GPU maksab 1,46 dollarit tunnis
• Google TPU v3 maksab 8,00 $ tunnis
• TPUv2 koos GCP nõudmisel juurdepääsuga 4,50 dollarit tunnis

Kui eesmärk on kulude optimeerimine, peaksite valima TPU ainult siis, kui see treenib mudelit 5 korda kiiremini kui GPU.

Mis vahe on CPU vs. GPU vs. TPU?

TPU, GPU ja CPU erinevus seisneb selles, et CPU on mittespetsiifiline protsessor, mis tegeleb kõigi arvuti arvutuste, loogika, sisendi ja väljundiga.

Teisest küljest on GPU lisaprotsessor, mida kasutatakse graafilise liidese (GI) täiustamiseks ja tipptasemel tegevuste tegemiseks. TPU-d on tugevad, spetsiaalselt valmistatud protsessorid, mida kasutatakse konkreetse raamistiku (nt TensorFlow) abil arendatud projektide täitmiseks.

Me liigitame need järgmiselt:

• Keskprotsessor (CPU) – juhtige arvuti kõiki aspekte
• Graafikaprotsessor (GPU) – parandage arvuti graafika jõudlust
• Tensor Processing Unit (TPU) – ASIC, mis on spetsiaalselt loodud TensorFlow projektide jaoks

Kas Nvidia toodab TPU-d?

Paljud inimesed on mõelnud, kuidas NVIDIA reageeriks Google'i TPU-le, kuid meil on nüüd vastused.

Selle asemel, et muretseda, on NVIDIA edukalt eemaldanud TPU kui tööriista, mida ta saab kasutada, kui see on mõistlik, kuid hoiab siiski oma CUDA tarkvara ja GPU-sid juhtpositsioonil.

See hoiab asjade Interneti masinõppe kasutuselevõtu kontrollpunkti, muutes tehnoloogia avatud lähtekoodiga. Selle meetodi oht seisneb aga selles, et see võib anda usalduse kontseptsioonile, mis võib muutuda väljakutseks NVIDIA andmekeskuste järeldusmootorite pikaajalistele püüdlustele.

Kas GPU või TPU on parem?

Kokkuvõtteks peame ütlema, et kuigi algoritmide väljatöötamine võimaldab tõhusalt kasutada a TPU maksab natuke rohkem, vähenenud koolituskulud kaaluvad üldjuhul üles lisaprogrammeerimise kulud.

Muud põhjused TPU valimiseks hõlmavad asjaolu, et v3-128 8 G VRAM ületab Nvidia GPU-d, muutes v3-8 paremaks alternatiiviks NLU-ga seotud suurte andmekogumite töötlemiseks ja NLP.

Suuremad kiirused võivad kaasa tuua ka kiirema iteratsiooni arendustsüklite ajal, mis toob kaasa kiiremad ja sagedasemad uuendused, mis suurendab turul edu tõenäosust.

TPU ületab GPU-d uuenduste kiiruse, kasutuslihtsuse ja taskukohasuse poolest; tarbijad ja pilvearhitektid peaksid oma ML ja AI algatustes arvestama TPU-ga.

Google'i TPU-l on palju töötlemisvõimsust ja kasutaja peab andmete sisestamist koordineerima, et tagada ülekoormuse puudumine.

Siin on see, kogu TPU vs. GPU võrdlus. Meile meeldiks teada teie mõtteid ja näha, kas olete teste teinud ja millised tulemused olete TPU ja GPU puhul saanud.

Pidage meeles, et saate nautida kõikehõlmavat arvutikogemust, kasutades ükskõik millist parimad graafikakaardid Windows 11 jaoks.