TPU contro GPU: prestazioni reali e differenze di velocità

In questo articolo, realizzeremo un TPU vs. Confronto GPU. Ma prima di approfondire, ecco cosa devi sapere.

L'apprendimento automatico e la tecnologia AI hanno accelerato la crescita delle app intelligenti. A tal fine, le aziende di semiconduttori creano continuamente acceleratori e processori, inclusi TPU e CPU, per gestire app più complesse.

Alcuni utenti hanno avuto problemi a capire quando è consigliabile utilizzare una TPU e quando utilizzare una GPU per le attività del computer.

Una GPU, nota anche come unità di elaborazione grafica, è la scheda video del tuo PC per offrirti un'esperienza PC visiva e coinvolgente. Ad esempio, potresti seguire semplici passaggi se il tuo Il PC non rileva la GPU.

Per comprendere meglio queste circostanze, dovremo anche chiarire cos'è una TPU e come si confronta con una GPU.

Cos'è un TPU?

Le TPU o Tensor Processing Unit sono circuiti integrati (CI) specializzati per applicazioni specifiche, noti anche come ASIC (circuiti integrati specifici dell'applicazione). Google ha creato le TPU da zero, iniziando a usarle nel 2015 e le ha aperte al pubblico nel 2018.

I TPU sono offerti come versioni chip o cloud minori. Per velocizzare l'apprendimento automatico per una rete neurale utilizzando il software TensorFlow, le TPU cloud risolvono complicate operazioni di matrice e vettore a velocità incredibili.

Con TensorFlow, il team di Google Brain ha sviluppato una piattaforma di apprendimento automatico open source, ricercatori, sviluppatori e aziende possono costruire e utilizzare modelli di intelligenza artificiale utilizzando l'hardware Cloud TPU.

Quando si addestrano modelli di rete neurale complessi e robusti, le TPU riducono il valore del tempo per la precisione. Ciò significa che i modelli di deep learning che potrebbero aver richiesto settimane per essere addestrati utilizzando le GPU impiegano meno di una frazione di quel tempo.

Il TPU è uguale alla GPU?

Sono architettonicamente molto distinti. Un'unità di elaborazione grafica è un processore in sé e per sé, sebbene indirizzato verso la programmazione numerica vettorizzata. Le GPU sono, in effetti, la prossima generazione dei supercomputer Cray.

I TPU sono coprocessori che non eseguono istruzioni da soli; il codice viene eseguito sulle CPU, che alimentano la TPU con un flusso di piccole operazioni.

Quando dovrei usare il TPU?

Le TPU nel cloud sono personalizzate per applicazioni particolari. Potresti preferire eseguire le tue attività di machine learning utilizzando GPU o CPU in alcuni casi. In generale, i seguenti principi possono aiutarti a valutare se TPU è l'opzione migliore per il tuo carico di lavoro:

• I calcoli di matrice sono dominanti nei modelli
• All'interno del ciclo di addestramento principale del modello, non sono presenti operazioni TensorFlow personalizzate
• Sono modelli che attraversano settimane o mesi di allenamento
• Sono modelli enormi che hanno dimensioni dei lotti ampie ed efficaci.

Ora passiamo al TPU diretto vs. Confronto GPU.

Quali sono le differenze tra GPU e TPU?

TPU contro Architettura della GPU

Il TPU non è un hardware molto complesso e sembra un motore di elaborazione del segnale per applicazioni radar e non la tradizionale architettura derivata dall'X86.

Nonostante abbia molte divisioni di moltiplicazione di matrici, è meno una GPU e più un coprocessore; esegue semplicemente i comandi ricevuti dati da un host.

Poiché ci sono così tanti pesi da inserire nel componente di moltiplicazione della matrice, la DRAM del TPU viene utilizzata come una singola unità in parallelo.

Inoltre, poiché le TPU possono eseguire solo operazioni di matrice, le schede TPU sono collegate a sistemi host basati su CPU per eseguire attività che le TPU non sono in grado di gestire.

I computer host sono responsabili della consegna dei dati alla TPU, della preelaborazione e del recupero dei dettagli da Cloud Storage.

Le GPU sono più interessate all'applicazione dei core disponibili al lavoro che all'accesso alla cache a bassa latenza.

Molti PC (cluster di processori) con più SM (Streaming Multiprocessors) diventano un unico gadget GPU, con livelli di cache di istruzioni di livello uno e core di accompagnamento alloggiati in ogni SM.

Prima dell'estrazione dei dati dalla memoria GDDR-5 globale, un SM utilizza in genere uno strato condiviso di due cache e uno strato dedicato di una cache. L'architettura della GPU è tollerante alla latenza della memoria.

Una GPU funziona con un numero minimo di livelli di cache di memoria. Tuttavia, poiché una GPU dispone di più transistor dedicati all'elaborazione, è meno preoccupata del suo tempo per accedere ai dati nella memoria.

Il possibile ritardo di accesso alla memoria è nascosto in quanto la GPU viene tenuta occupata con calcoli adeguati.

TPU contro Velocità della GPU

Questa generazione originale di TPU mirava all'inferenza, che utilizza un modello appreso anziché addestrato.

Il TPU è da 15 a 30 volte più veloce delle attuali GPU e CPU su applicazioni di intelligenza artificiale commerciali che utilizzano l'inferenza della rete neurale.

Inoltre, il TPU è significativamente efficiente dal punto di vista energetico, con un aumento da 30 a 80 volte del valore TOPS/Watt.

Quindi nel realizzare un TPU vs. Confronto della velocità della GPU, le probabilità sono distorte verso l'unità di elaborazione del tensor.

TPU contro Prestazioni della GPU

Un TPU è una macchina di elaborazione tensoriale creata per velocizzare i calcoli del grafico Tensorflow.

Su una singola scheda, ogni TPU può fornire fino a 64 GB di memoria a larghezza di banda elevata e 180 teraflop di prestazioni in virgola mobile.

Di seguito è mostrato un confronto tra GPU Nvidia e TPU. L'asse Y rappresenta il numero di foto al secondo, mentre l'asse X rappresenta i vari modelli.

TPU contro Apprendimento automatico della GPU

Di seguito sono riportati i tempi di addestramento per CPU e GPU che utilizzano diverse dimensioni batch e iterazioni per Epoch:

• Iterazioni/epoca: 100, Dimensione batch: 1000, Epoche totali: 25, Parametri: 1,84 M e Tipo di modello: Keras Mobilenet V1 (alpha 0,75).

ACCELERATORE	GPU (NVIDIA K80)	TPU
Precisione dell'allenamento (%)	96.5	94.1
Precisione di convalida (%)	65.1	68.6
Tempo per iterazione (ms)	69	173
Tempo per epoca (i)	69	173
Tempo totale (minuti)	30	72

• Iterazioni/epoca: 1000, Dimensione batch: 100, Epoche totali: 25, Parametri: 1,84 M e Tipo di modello: Keras Mobilenet V1 (alpha 0,75)

ACCELERATORE	GPU (NVIDIA K80)	TPU
Precisione dell'allenamento (%)	97.4	96.9
Precisione di convalida (%)	45.2	45.3
Tempo per iterazione (ms)	185	252
Tempo per epoca (i)	18	25
Tempo totale (minuti)	16	21

Con una dimensione del lotto più piccola, il TPU impiega molto più tempo per allenarsi, come si vede dal tempo di allenamento. Tuttavia, le prestazioni del TPU sono più vicine alla GPU con dimensioni batch aumentate.

Quindi nel realizzare un TPU vs. Confronto dell'allenamento della GPU, molto ha a che fare con epoche e dimensioni del batch.

TPU contro benchmark GPU

Con 0,5 watt/TOPS, un singolo Edge TPU può eseguire quattro trilioni di operazioni al secondo. Diverse variabili influenzano il modo in cui questo si traduce in prestazioni dell'app.

I modelli di rete neurale hanno requisiti distinti e l'output complessivo varia a seconda della velocità USB dell'host, della CPU e di altre risorse di sistema del dispositivo acceleratore USB.

Con questo in mente, il grafico sottostante mette in contrasto il tempo trascorso a fare inferenze singole su un TPU Edge con vari modelli standard. Ovviamente, tutti i modelli in esecuzione sono le versioni TensorFlow Lite per amor di confronto.

Si noti che i dati forniti sopra mostrano il tempo necessario per eseguire il modello. Tuttavia, esclude il tempo necessario per elaborare i dati di input, che varia in base all'applicazione e al sistema.

I risultati dei benchmark della GPU vengono confrontati con le impostazioni e la risoluzione della qualità di gioco desiderate dall'utente.

Basandosi sulla valutazione di oltre 70.000 test di riferimento, sono stati meticolosamente costruiti algoritmi sofisticati per generare stime affidabili del 90% delle prestazioni di gioco.

Sebbene le prestazioni delle schede grafiche varino ampiamente tra i giochi, questa immagine di confronto di seguito fornisce un ampio indice di valutazione per alcune schede grafiche.

TPU contro Prezzo della GPU

Hanno una differenza di prezzo significativa. Le TPU sono cinque volte più costose delle GPU. Ecco alcuni esempi:

• Una GPU Nvidia Tesla P100 costa $ 1,46 l'ora
• Google TPU v3 costa $ 8,00 all'ora
• TPUv2 con accesso on-demand GCP $ 4,50 l'ora

Se l'obiettivo è l'ottimizzazione dei costi, dovresti scegliere una TPU solo se allena un modello 5 volte la velocità di una GPU.

Qual è la differenza tra CPU vs. GPU vs. TPU?

La distinzione tra TPU, GPU e CPU è che la CPU è un processore non specifico che gestisce tutti i calcoli, la logica, l'input e l'output del computer.

D'altra parte, la GPU è un processore aggiuntivo utilizzato per migliorare l'interfaccia grafica (GI) e svolgere attività di fascia alta. I TPU sono potenti processori appositamente realizzati utilizzati per eseguire progetti sviluppati utilizzando un framework particolare, come TensorFlow.

Li classifichiamo come segue:

• Central Processing Unit (CPU): controlla tutti gli aspetti di un computer
• Graphics Processing Unit (GPU) – Migliora le prestazioni grafiche del computer
• Tensor Processing Unit (TPU) – ASIC progettato esplicitamente per i progetti TensorFlow

Nvidia produce TPU?

Molte persone si sono chieste come avrebbe reagito NVIDIA alla TPU di Google, ma ora abbiamo le risposte.

Piuttosto che essere preoccupata, NVIDIA ha deposizionato con successo il TPU come strumento che può utilizzare quando ha senso, ma mantenendo il suo software CUDA e le sue GPU in testa.

Mantiene un punto di controllo per l'adozione del machine learning IoT rendendo la tecnologia open source. Tuttavia, il pericolo di questo metodo è che potrebbe dare credito a un concetto che potrebbe diventare una sfida per le aspirazioni a lungo termine dei motori di inferenza dei data center per NVIDIA.

Meglio GPU o TPU?

In conclusione, dobbiamo dire che pur sviluppando gli algoritmi per consentire l'uso efficace di a Il TPU costa un po' di più, i costi di formazione ridotti generalmente superano la programmazione aggiuntiva spese.

Altri motivi per scegliere una TPU includono il fatto che la G di VRAM di v3-128 8 supera quella di GPU Nvidia, rendendo la v3-8 un'alternativa migliore per l'elaborazione di grandi set di dati associati alla NLU e PNL.

Velocità più elevate possono anche portare a un'iterazione più rapida durante i cicli di sviluppo, portando a innovazioni più rapide e frequenti, aumentando le probabilità di successo sul mercato.

Il TPU supera la GPU in termini di velocità di innovazione, facilità d'uso e convenienza; i consumatori e gli architetti del cloud dovrebbero prendere in considerazione il TPU nelle loro iniziative ML e AI.

La TPU di Google ha un'ampia capacità di elaborazione e l'utente deve coordinare l'immissione dei dati per assicurarsi che non vi siano sovraccarichi.

Ecco qua, un totale di TPU vs. Confronto GPU. Ci piacerebbe conoscere i tuoi pensieri e vedere se hai fatto dei test e quali risultati hai ricevuto su TPU e GPU.

Ricorda, puoi goderti un'esperienza PC immersiva utilizzando uno qualsiasi dei migliori schede grafiche per Windows 11.