TPU vs. GPU: realūs našumo ir greičio skirtumai

Šiame straipsnyje mes sukursime TPU vs. GPU palyginimas. Tačiau prieš gilindamiesi į tai, štai ką turite žinoti.

Mašininis mokymasis ir AI technologijos paspartino išmaniųjų programų augimą. Šiuo tikslu puslaidininkių įmonės nuolat kuria greitintuvus ir procesorius, įskaitant TPU ir CPU, kad galėtų dirbti su sudėtingesnėmis programomis.

Kai kuriems vartotojams kilo problemų suprasti, kada rekomenduojama naudoti TPU ir kada naudoti GPU atliekant kompiuterio užduotis.

GPU, taip pat žinomas kaip grafinis apdorojimo blokas, yra jūsų kompiuterio vaizdo plokštė, siūlanti vaizdinę ir įtraukią kompiuterio patirtį. Pavyzdžiui, galite atlikti paprastus veiksmus, jei Kompiuteris neaptinka GPU.

Norėdami geriau suprasti šias aplinkybes, taip pat turėsime paaiškinti, kas yra TPU ir kaip jį palyginti su GPU.

Kas yra TPU?

TPU arba Tensor Processing Units yra specializuoti integriniai grandynai (IC), skirti konkrečioms programoms, taip pat žinomi kaip ASIC (konkrečios programos integriniai grandynai). „Google“ sukūrė TPU nuo nulio, pradėjo juos naudoti 2015 m., o 2018 m. atvėrė juos visuomenei.

TPU siūlomi kaip nedidelės lusto arba debesies versijos. Norėdami pagreitinti neuroninio tinklo mašininį mokymąsi naudojant TensorFlow programinę įrangą, debesies TPU neįtikėtinu greičiu išsprendžia sudėtingas matricos ir vektorines operacijas.

Naudodama „TensorFlow“, „Google Brain Team“ sukūrė atvirojo kodo mašininio mokymosi platformą, tyrėjai, kūrėjai ir įmonės gali kurti ir valdyti AI modelius naudodami debesies TPU aparatinę įrangą.

Treniruodami sudėtingus ir tvirtus neuroninių tinklų modelius, TPU sumažina laiką iki tikslumo vertės. Tai reiškia, kad giluminio mokymosi modeliai, kurių mokymas naudojant GPU užtruko kelias savaites, užtrunka mažiau nei dalį to laiko.

Ar TPU yra tas pats kaip GPU?

Architektūriškai jie labai skiriasi. Grafinis apdorojimo blokas yra pats procesorius, nors ir nukreipiamas į vektorinį skaitmeninį programavimą. GPU iš tikrųjų yra naujos kartos Cray superkompiuteriai.

TPU yra koprocesoriai, kurie patys nevykdo instrukcijų; kodas vykdomas CPU, kuris tiekia TPU smulkių operacijų srautą.

Kada turėčiau naudoti TPU?

Debesyje esantys TPU yra pritaikyti konkrečioms programoms. Kai kuriais atvejais galbūt norėsite atlikti mašininio mokymosi užduotis naudodami GPU arba CPU. Apskritai, šie principai gali padėti jums įvertinti, ar TPU yra geriausias jūsų darbo krūvio pasirinkimas:

• Modeliuose dominuoja matriciniai skaičiavimai
• Pagrindinėje modelio mokymo kilpoje nėra tinkintų „TensorFlow“ operacijų
• Tai modeliai, kurie treniruojasi savaites ar mėnesius
• Tai didžiuliai modeliai, kurių partijos dydis yra didelis.

Dabar pereikime prie tiesioginio TPU vs. GPU palyginimas.

Kuo skiriasi GPU ir TPU?

TPU vs. GPU architektūra

TPU nėra labai sudėtinga aparatinė įranga ir atrodo kaip signalų apdorojimo variklis radaro programoms, o ne tradicinė X86 architektūra.

Nepaisant daugybės matricos daugybos padalų, tai mažiau GPU ir daugiau koprocesoriaus; jis tik vykdo komandas, kurias gavo šeimininkas.

Kadangi į matricos daugybos komponentą reikia įvesti tiek daug svorių, TPU DRAM lygiagrečiai veikia kaip vienas įrenginys.

Be to, kadangi TPU gali atlikti tik matricines operacijas, TPU plokštės yra susietos su procesoriaus pagrindu veikiančiomis pagrindinėmis sistemomis, kad būtų galima atlikti užduotis, kurių TPU negali atlikti.

Pagrindiniai kompiuteriai yra atsakingi už duomenų pateikimą į TPU, išankstinį apdorojimą ir informacijos gavimą iš debesies saugyklos.

GPU labiau rūpinasi turimų branduolių pritaikymu darbui, o ne prieiga prie mažos delsos talpyklos.

Daugelis kompiuterių (procesorių grupių) su keliais SM (srautiniai daugiaprocesoriai) tampa viena GPU įtaisu su pirmojo sluoksnio instrukcijų talpyklos sluoksniais ir kartu esančiais branduoliais, esančiais kiekviename SM.

Prieš ištraukiant duomenis iš pasaulinės GDDR-5 atminties, vienas SM paprastai naudoja bendrą dviejų talpyklų sluoksnį ir specialųjį vienos talpyklos sluoksnį. GPU architektūra yra atspari atminties delsai.

GPU veikia su minimaliu atminties talpyklos lygių skaičiumi. Tačiau, kadangi GPU turi daugiau apdorojimui skirtų tranzistorių, jam mažiau rūpi laikas pasiekti duomenis atmintyje.

Galimas prieigos prie atminties delsas yra paslėptas, nes GPU yra užimtas tinkamais skaičiavimais.

TPU vs. GPU greitis

Ši originali TPU kartos tikslinė išvada, kuri naudoja išmoktą modelį, o ne išmokytą.

TPU yra 15–30 kartų greitesnis nei dabartiniai GPU ir CPU komercinėse AI programose, kuriose naudojama neuroninio tinklo išvada.

Be to, TPU labai taupo energiją, o TOPS / vato vertė padidėja nuo 30 iki 80 kartų.

Taigi kuriant TPU vs. Palyginus GPU greitį, tikimybė yra iškreipta link Tensor Processing Unit.

TPU vs. GPU našumas

TPU yra tenzorinio apdorojimo mašina, sukurta paspartinti Tensorflow grafikų skaičiavimus.

Vienoje plokštėje kiekvienas TPU gali suteikti net 64 GB didelio pralaidumo atminties ir 180 teraflopų slankiojo kablelio našumą.

Nvidia GPU ir TPU palyginimas parodytas žemiau. Y ašis rodo nuotraukų skaičių per sekundę, o X ašis – įvairius modelius.

TPU vs. GPU mašininis mokymasis

Toliau pateikiami procesorių ir GPU, naudojančių skirtingus partijos dydžius ir iteracijas per epochą, mokymo laikas:

• Pakartojimai / epocha: 100, partijos dydis: 1000, viso epochos: 25, parametrai: 1,84 M ir modelio tipas: Keras Mobilenet V1 (alfa 0,75).

AKCELERATORIAUS	GPU (NVIDIA K80)	TPU
Treniruotės tikslumas (%)	96.5	94.1
Patvirtinimo tikslumas (%)	65.1	68.6
Iteracijos laikas (ms)	69	173
Laikas per epochą (s)	69	173
Visas laikas (min.)	30	72

• Pakartojimai / epocha: 1000, partijos dydis: 100, visos epochos: 25, parametrai: 1,84 M ir modelio tipas: Keras Mobilenet V1 (alpha 0,75)

AKCELERATORIAUS	GPU (NVIDIA K80)	TPU
Treniruotės tikslumas (%)	97.4	96.9
Patvirtinimo tikslumas (%)	45.2	45.3
Iteracijos laikas (ms)	185	252
Laikas per epochą (s)	18	25
Visas laikas (min.)	16	21

Naudojant mažesnį partijos dydį, TPU treniruotis užtrunka daug ilgiau, kaip matyti iš treniruočių laiko. Tačiau TPU našumas yra artimesnis GPU padidintam partijos dydžiui.

Taigi kuriant TPU vs. GPU mokymo palyginimas, daug kas susiję su epochomis ir partijos dydžiu.

TPU vs. GPU etalonas

Su 0,5 vato/TOPS vienas Edge TPU gali atlikti keturis trilijonus operacijų per sekundę. Keletas kintamųjų turi įtakos programos našumui.

Neuroninių tinklų modeliams keliami skirtingi reikalavimai, o bendra išvestis skiriasi priklausomai nuo pagrindinio USB spartos, procesoriaus ir kitų USB greitintuvo įrenginio sistemos išteklių.

Turint tai omenyje, toliau pateiktame grafike kontrastuojamas laikas, praleistas darant atskiras išvadas apie Edge TPU su įvairiais standartiniais modeliais. Žinoma, visi veikiantys modeliai yra „TensorFlow Lite“ versijos, kad būtų galima palyginti.

Atkreipkite dėmesį, kad aukščiau pateikti duomenys rodo laiką, kurio reikia modeliui paleisti. Tačiau tai neapima įvesties duomenų apdorojimo laiko, kuris skiriasi priklausomai nuo programos ir sistemos.

GPU etalonų rezultatai lyginami su vartotojo norimais žaidimo kokybės nustatymais ir raiška.

Įvertinus daugiau nei 70 000 etaloninių testų, buvo kruopščiai sukurti sudėtingi algoritmai, kad būtų galima gauti 90 procentų patikimų žaidimų našumo įvertinimų.

Nors vaizdo plokščių našumas įvairiuose žaidimuose labai skiriasi, toliau pateiktame palyginimo paveikslėlyje pateikiamas platus kai kurių vaizdo plokščių reitingų indeksas.

TPU vs. GPU kaina

Jie turi didelį kainų skirtumą. TPU yra penkis kartus brangesni nei GPU. Štai keletas pavyzdžių:

• Nvidia Tesla P100 GPU kainuoja 1,46 USD už valandą
• „Google TPU v3“ kainuoja 8,00 USD už valandą
• TPUv2 su GCP prieiga pagal pareikalavimą – 4,50 USD per valandą

Jei siekiama optimizuoti išlaidas, turėtumėte rinktis TPU tik tuo atveju, jei jis treniruoja modelį, 5 kartus didesnį nei GPU.

Kuo skiriasi CPU vs. GPU vs. TPU?

Skirtumas tarp TPU, GPU ir procesoriaus yra tas, kad CPU yra nespecifinis procesorius, kuris tvarko visus kompiuterio skaičiavimus, logiką, įvestį ir išvestį.

Kita vertus, GPU yra papildomas procesorius, naudojamas pagerinti grafinę sąsają (GI) ir atlikti aukščiausios klasės veiklą. TPU yra stiprūs, specialiai pagaminti procesoriai, naudojami projektams, sukurtiems naudojant tam tikrą sistemą, pvz., TensorFlow, vykdyti.

Mes juos skirstome į kategorijas:

• Centrinis procesorius (CPU) – valdykite visus kompiuterio aspektus
• Grafikos apdorojimo blokas (GPU) – pagerinkite kompiuterio grafikos našumą
• Tensor Processing Unit (TPU) – ASIC, specialiai sukurta TensorFlow projektams

Ar Nvidia gamina TPU?

Daugelis žmonių susimąstė, kaip NVIDIA reaguotų į „Google“ TPU, bet dabar turime atsakymus.

Užuot susirūpinusi, NVIDIA sėkmingai perkėlė TPU kaip įrankį, kurį gali naudoti, kai tai prasminga, tačiau vis tiek pirmauja savo CUDA programinėje įrangoje ir GPU.

Jis palaiko IoT mašininio mokymosi valdymo tašką, nes technologija tampa atviro kodo. Tačiau naudojant šį metodą kyla pavojus, kad jis gali suteikti patikimumo koncepcijai, kuri gali tapti iššūkiu ilgalaikiams NVIDIA duomenų centrų išvadų variklių siekiams.

GPU ar TPU geresnis?

Apibendrinant, turime pasakyti, kad nors ir kuriant algoritmus, leidžiančius efektyviai naudoti a TPU kainuoja šiek tiek papildomai, sumažintos mokymo išlaidos paprastai viršija papildomą programavimą išlaidas.

Kitos priežastys pasirinkti TPU yra tai, kad v3-128 8 G VRAM pranoksta Nvidia GPU, todėl v3-8 yra geresnė alternatyva apdoroti didelius duomenų rinkinius, susijusius su NLU ir NLP.

Didesnis greitis taip pat gali lemti greitesnę iteraciją kūrimo ciklų metu, o tai lemia greitesnes ir dažnesnes naujoves, o tai padidina sėkmės tikimybę rinkoje.

TPU pranoksta GPU naujovių diegimo greičiu, naudojimo paprastumu ir įperkamumu; vartotojai ir debesų architektai savo ML ir AI iniciatyvose turėtų atsižvelgti į TPU.

„Google“ TPU turi daug apdorojimo pajėgumų, o vartotojas turi koordinuoti duomenų įvestį, kad įsitikintų, jog nėra perkrovos.

Štai, bendras TPU palyginimas. GPU palyginimas. Norėtume sužinoti jūsų mintis ir sužinoti, ar atlikote kokius nors testus ir kokius rezultatus gavote naudodami TPU ir GPU.

Atminkite, kad galite mėgautis įtraukiančia kompiuterio patirtimi naudodami bet kurį iš geriausios vaizdo plokštės, skirtos „Windows 11“..