TPU vs. GPU: realne razlike v zmogljivosti in hitrosti

V tem članku bomo izdelali TPU vs. Primerjava GPU-ja. Toda preden se poglobimo v to, morate vedeti nekaj.

Strojno učenje in tehnologija umetne inteligence sta pospešila rast inteligentnih aplikacij. V ta namen polprevodniška podjetja nenehno ustvarjajo pospeševalnike in procesorje, vključno s TPU in CPU, za obravnavo bolj zapletenih aplikacij.

Nekateri uporabniki so imeli težave z razumevanjem, kdaj je priporočljiva uporaba TPU in kdaj GPU za računalniška opravila.

GPU, znan tudi kot grafična procesna enota, je grafična kartica vašega računalnika, ki vam ponuja vizualno in poglobljeno izkušnjo računalnika. Na primer, sledite preprostim korakom, če ste PC ne zazna GPU.

Da bi bolje razumeli te okoliščine, bomo morali tudi razjasniti, kaj je TPU in kako se primerja z GPU.

Kaj je TPU?

TPU ali tenzorske procesne enote so specializirana integrirana vezja (IC) za posebne aplikacije, znana tudi kot ASIC (integrirana vezja, specifična za aplikacijo). Google je TPU ustvaril iz nič, začel jih uporabljati leta 2015 in jih leta 2018 odprl javnosti.

TPU-ji so na voljo kot manjše različice čipa ali v oblaku. Da bi pospešili strojno učenje za nevronsko omrežje s programsko opremo TensorFlow, TPU v oblaku rešujejo zapletene matrične in vektorske operacije z neverjetnimi hitrostmi.

S TensorFlow je skupina Google Brain Team razvila odprtokodno platformo za strojno učenje, raziskovalci, razvijalci in podjetja lahko konstruirajo in upravljajo modele AI s strojno opremo TPU v oblaku.

Pri usposabljanju kompleksnih in robustnih modelov nevronskih omrežij TPU zmanjšajo čas do vrednosti natančnosti. To pomeni, da modeli globokega učenja, ki so morda potrebovali tedne za usposabljanje z uporabo grafičnih procesorjev, potrebujejo manj kot del tega časa.

Ali je TPU enak GPU?

Arhitekturno so zelo različni. Grafična procesna enota je sam po sebi procesor, čeprav je usmerjen v vektorizirano numerično programiranje. Grafični procesorji so pravzaprav naslednja generacija superračunalnikov Cray.

TPU-ji so koprocesorji, ki ne izvajajo navodil sami; koda se izvaja na CPU-jih, ki TPU-ju napajajo tok majhnih operacij.

Kdaj naj uporabim TPU?

TPU-ji v oblaku so prilagojeni določenim aplikacijam. Morda boste v nekaterih primerih raje izvajali naloge strojnega učenja z uporabo GPU-jev ali CPE-jev. Na splošno vam lahko naslednja načela pomagajo oceniti, ali je TPU najboljša možnost za vašo delovno obremenitev:

• V modelih prevladujejo matrični izračuni
• Znotraj glavne vadbene zanke modela ni operacij TensorFlow po meri
• So modeli, ki gredo skozi tedne ali mesece usposabljanja
• So ogromni modeli, ki imajo obsežne, učinkovite velikosti serij.

Zdaj pa skočimo na nekaj neposrednih TPU vs. Primerjava GPU-ja.

Kakšne so razlike med GPU in TPU?

TPU vs. GPU arhitektura

TPU ni zelo zapletena strojna oprema in se zdi kot motor za obdelavo signalov za radarske aplikacije in ne kot tradicionalna arhitektura, ki izhaja iz X86.

Kljub temu, da ima veliko delitev množenja matrik, je manj GPU in bolj koprocesor; samo izvaja ukaze, ki jih prejme gostitelj.

Ker je toliko uteži za vnos v komponento množenja matrik, TPU-jev DRAM deluje kot ena enota vzporedno.

Poleg tega, ker lahko TPU-ji izvajajo samo matrične operacije, so plošče TPU povezane z gostiteljskimi sistemi, ki temeljijo na CPU-ju, da bi dosegli naloge, ki jih TPU-ji ne morejo obvladati.

Gostiteljski računalniki so zadolženi za dostavo podatkov v TPU, predhodno obdelavo in pridobivanje podrobnosti iz Cloud Storage.

GPU-ji se bolj ukvarjajo z uporabo razpoložljivih jeder za delo kot z dostopom do predpomnilnika z majhno zamudo.

Številni osebni računalniki (procesorski gruči) z več SM (pretočnimi večprocesorji) postanejo en sam GPU pripomoček, s plastmi predpomnilnika navodil in spremljajočimi jedri, nameščenimi v vsakem SM.

Pred ekstrakcijo podatkov iz globalnega pomnilnika GDDR-5 en SM običajno uporablja skupni sloj dveh predpomnilnikov in namensko plast enega predpomnilnika. Arhitektura GPU je odporna na zamudo pomnilnika.

GPU deluje z minimalnim številom ravni predpomnilnika. Ker pa ima GPU več tranzistorjev, namenjenih obdelavi, je manj zaskrbljen s svojim časom za dostop do podatkov v pomnilniku.

Možna zamuda pri dostopu do pomnilnika je skrita, saj je GPU zaposlen z ustreznimi izračuni.

TPU vs. Hitrost GPU

Ta izvirna generacija TPU je usmerjena v sklepanje, ki uporablja naučen model in ne usposobljenega.

TPU je 15 do 30-krat hitrejši od trenutnih GPU-jev in CPU-jev v komercialnih aplikacijah AI, ki uporabljajo sklepanje nevronskih omrežij.

Poleg tega je TPU znatno energetsko učinkovit z med 30 in 80-kratnim povečanjem vrednosti TOPS/Watt.

Zato pri izdelavi TPU vs. Primerjava hitrosti GPU-ja, verjetnost je nagnjena proti procesorski enoti Tensor.

TPU vs. Zmogljivost GPU

TPU je stroj za obdelavo tenzorja, ustvarjen za pospešitev izračunov grafov Tensorflow.

Na eni plošči lahko vsak TPU zagotovi kar 64 GB pomnilnika z visoko pasovno širino in 180 teraflops zmogljivosti s plavajočo vejico.

Spodaj je prikazana primerjava med GPU-ji Nvidia in TPU-ji. Os Y prikazuje število fotografij na sekundo, os X pa predstavlja različne modele.

TPU vs. GPU strojno učenje

Spodaj so časi usposabljanja za CPU-je in GPE-je, ki uporabljajo različne velikosti serije in ponovitve na Epoho:

• Iteracije/epoha: 100, Velikost paketa: 1000, Skupno obdobje: 25, Parametri: 1,84 M in Tip modela: Keras Mobilenet V1 (alfa 0,75).

POSPESNIK	GPU (NVIDIA K80)	TPU
Natančnost vadbe (%)	96.5	94.1
Natančnost preverjanja (%)	65.1	68.6
Čas na ponovitev (ms)	69	173
Čas na epoho (s)	69	173
Skupni čas (minute)	30	72

• Iteracije/epoha: 1000, Velikost serije: 100, Skupno obdobje: 25, Parametri: 1,84 M in Vrsta modela: Keras Mobilenet V1 (alfa 0,75)

POSPESNIK	GPU (NVIDIA K80)	TPU
Natančnost vadbe (%)	97.4	96.9
Natančnost preverjanja (%)	45.2	45.3
Čas na ponovitev (ms)	185	252
Čas na epoho (s)	18	25
Skupni čas (minute)	16	21

Z manjšo velikostjo serije TPU traja veliko dlje za usposabljanje, kot je razvidno iz časa usposabljanja. Vendar pa je zmogljivost TPU bližje GPU s povečano velikostjo serije.

Zato pri izdelavi TPU vs. Primerjava usposabljanja GPU, veliko je povezano z epohami in velikostjo serije.

TPU vs. GPU merilo

Z 0,5 vata/TOPS lahko en sam Edge TPU izvede štiri bilijone operacij na sekundo. Več spremenljivk vpliva na to, kako dobro se to prevede na uspešnost aplikacije.

Modeli nevronskih omrežij imajo različne zahteve, skupni izhod pa se razlikuje glede na hitrost USB gostitelja, CPU in druge sistemske vire naprave USB pospeševalnika.

Glede na to je spodnja grafika v nasprotju s časom, porabljenim za posamezne sklepe o Edge TPU z različnimi standardnimi modeli. Seveda so za primerjavo vsi delujoči modeli različice TensorFlow Lite.

Upoštevajte, da zgornji podatki kažejo čas, potreben za zagon modela. Vendar pa izključuje čas, potreben za obdelavo vhodnih podatkov, ki se razlikuje glede na aplikacijo in sistem.

Rezultati meritev GPU se primerjajo z uporabnikovimi želenimi nastavitvami kakovosti igranja in ločljivostjo.

Na podlagi vrednotenja več kot 70.000 primerjalnih testov so bili izpopolnjeni algoritmi natančno izdelani za ustvarjanje 90 odstotkov zanesljivih ocen igralne zmogljivosti.

Čeprav se zmogljivost grafičnih kartic med igrami močno razlikuje, ta spodnja primerjalna slika podaja širok indeks ocen za nekatere grafične kartice.

TPU vs. Cena GPU

Imajo bistveno razliko v ceni. TPU-ji so petkrat dražji od GPU-jev. Tukaj je nekaj primerov:

• GPU Nvidia Tesla P100 stane 1,46 $ na uro
• Google TPU v3 stane 8,00 $ na uro
• TPUv2 z GCP dostopom na zahtevo 4,50 USD na uro

Če je cilj optimizacija glede na stroške, se raje odločite za TPU le, če trenira model, ki je 5X hitrejši od GPU-ja.

Kakšna je razlika med CPU vs. GPU vs. TPU?

Razlika med TPU, GPU in CPU je v tem, da je CPU nespecifičen namenski procesor, ki upravlja vse izračune, logiko, vhod in izhod računalnika.

Po drugi strani pa je GPU dodaten procesor, ki se uporablja za izboljšanje grafičnega vmesnika (GI) in izvajanje vrhunskih dejavnosti. TPU-ji so močni, posebej izdelani procesorji, ki se uporabljajo za izvajanje projektov, razvitih z uporabo določenega okvira, kot je TensorFlow.

Razvrščamo jih na naslednji način:

• Centralna procesna enota (CPU) – nadzoruje vse vidike računalnika
• Grafična procesna enota (GPU) – Izboljšajte grafično zmogljivost računalnika
• Tensor Processing Unit (TPU) – ASIC, ki je izrecno zasnovan za projekte TensorFlow

Ali Nvidia izdeluje TPU?

Veliko ljudi se je spraševalo, kako bi se NVIDIA odzvala na Googlov TPU, zdaj pa imamo odgovore.

Namesto da bi bila zaskrbljena, je NVIDIA uspešno razmestila TPU kot orodje, ki ga lahko uporabi, ko je to smiselno, vendar še vedno ohranja svojo programsko opremo CUDA in grafične procesorje v prednosti.

Ohranja kontrolno točko za sprejetje strojnega učenja interneta stvari tako, da je tehnologija odprtokodna. Vendar pa je nevarnost te metode v tem, da lahko zagotovi verodostojnost konceptu, ki bi lahko postal izziv za dolgoročne želje motorjev za sklepanje podatkovnih centrov za NVIDIA.

Je boljši GPU ali TPU?

Za zaključek moramo reči, da čeprav razvijamo algoritme, ki omogočajo učinkovito uporabo a TPU stane nekoliko več, zmanjšani stroški usposabljanja na splošno odtehtajo dodatno programiranje stroški.

Drugi razlogi za izbiro TPU vključujejo dejstvo, da G VRAM-a v3-128 8 presega Grafični procesorji Nvidia, zaradi česar je v3-8 boljša alternativa za obdelavo velikih naborov podatkov, povezanih z NLU in NLP.

Večje hitrosti lahko vodijo tudi do hitrejše iteracije med razvojnimi cikli, kar vodi do hitrejših in pogostejših inovacij, kar poveča verjetnost uspeha na trgu.

TPU prekaša GPU v smislu hitrosti inovacij, enostavnosti uporabe in cenovne dostopnosti; potrošniki in arhitekti v oblaku bi morali upoštevati TPU v svojih pobudah ML in AI.

Googlov TPU ima veliko zmogljivosti za obdelavo in uporabnik mora uskladiti vnos podatkov, da se prepriča, da ni preobremenitve.

Tukaj imate, skupni TPU vs. Primerjava GPU-ja. Radi bi izvedeli vaše misli in videli, ali ste opravili kakšne teste in kakšne rezultate ste prejeli na TPU in GPU.

Ne pozabite, da lahko uživate v poglobljeni računalniški izkušnji s katerim koli od teh najboljše grafične kartice za Windows 11.