TPU vs. GPU: Διαφορές απόδοσης και ταχύτητας πραγματικού κόσμου

Σε αυτό το άρθρο, θα κάνουμε ένα TPU vs. Σύγκριση GPU. Αλλά προτού εμβαθύνουμε σε αυτό, εδώ είναι τι πρέπει να γνωρίζετε.

Η μηχανική μάθηση και η τεχνολογία AI έχουν επιταχύνει την ανάπτυξη των έξυπνων εφαρμογών. Για το σκοπό αυτό, οι εταιρείες ημιαγωγών δημιουργούν συνεχώς επιταχυντές και επεξεργαστές, συμπεριλαμβανομένων των TPU και CPU, για να αντιμετωπίσουν πιο σύνθετες εφαρμογές.

Ορισμένοι χρήστες αντιμετώπισαν προβλήματα κατανόησης του πότε συνιστάται η χρήση μιας TPU και πότε η χρήση μιας GPU για τις εργασίες του υπολογιστή τους.

Μια GPU, γνωστή και ως Μονάδα Επεξεργασίας Γραφικών, είναι η κάρτα βίντεο του υπολογιστή σας για να σας προσφέρει μια οπτική και καθηλωτική εμπειρία υπολογιστή. Για παράδειγμα, θα μπορούσατε να ακολουθήσετε εύκολα βήματα εάν Ο υπολογιστής δεν εντοπίζει τη GPU.

Για να κατανοήσουμε καλύτερα αυτές τις συνθήκες, θα χρειαστεί επίσης να διευκρινίσουμε τι είναι ένα TPU και πώς συγκρίνεται με μια GPU.

Τι είναι ένα TPU;

Οι TPU ή οι μονάδες επεξεργασίας τανυστή είναι εξειδικευμένα ολοκληρωμένα κυκλώματα (IC) για συγκεκριμένες εφαρμογές, γνωστά και ως ASIC (ολοκληρωμένα κυκλώματα για συγκεκριμένες εφαρμογές). Η Google δημιούργησε TPU από την αρχή, ξεκινώντας να τα χρησιμοποιεί το 2015 και τα άνοιξε στο κοινό το 2018.

Οι TPU προσφέρονται ως δευτερεύουσες εκδόσεις chip ή cloud. Για να επιταχύνουν τη μηχανική εκμάθηση για ένα νευρωνικό δίκτυο χρησιμοποιώντας το λογισμικό TensorFlow, οι TPU cloud επιλύουν πολύπλοκες λειτουργίες μήτρας και διανύσματος με απίστευτες ταχύτητες.

Με το TensorFlow, η Google Brain Team ανέπτυξε μια πλατφόρμα μηχανικής εκμάθησης ανοιχτού κώδικα, οι ερευνητές, οι προγραμματιστές και οι επιχειρήσεις μπορούν να κατασκευάσουν και να λειτουργήσουν μοντέλα AI χρησιμοποιώντας υλικό Cloud TPU.

Όταν εκπαιδεύονται πολύπλοκα και ισχυρά μοντέλα νευρωνικών δικτύων, οι TPU μειώνουν την τιμή του χρόνου ως την ακρίβεια. Αυτό σημαίνει ότι τα μοντέλα βαθιάς εκμάθησης που μπορεί να χρειάστηκαν εβδομάδες για να εκπαιδευτούν χρησιμοποιώντας GPU χρειάζονται λιγότερο από ένα κλάσμα αυτού του χρόνου.

Είναι το TPU το ίδιο με το GPU;

Είναι αρχιτεκτονικά ιδιαίτερα διακριτά. Μια Μονάδα Γραφικής Επεξεργασίας είναι ένας επεξεργαστής από μόνος του, αν και διοχετεύεται σε διανυσματικό αριθμητικό προγραμματισμό. Οι GPU είναι, στην πραγματικότητα, η επόμενη γενιά των υπερυπολογιστών Cray.

Οι TPU είναι συνεπεξεργαστές που δεν εκτελούν εντολές από μόνες τους. ο κώδικας εκτελείται σε CPU, η οποία τροφοδοτεί την TPU μια ροή μικρών λειτουργιών.

Πότε πρέπει να χρησιμοποιήσω το TPU;

Οι TPU στο cloud είναι προσαρμοσμένες σε συγκεκριμένες εφαρμογές. Ίσως προτιμάτε να εκτελείτε τις εργασίες μηχανικής εκμάθησης χρησιμοποιώντας GPU ή CPU σε ορισμένες περιπτώσεις. Γενικά, οι ακόλουθες αρχές μπορεί να σας βοηθήσουν να αξιολογήσετε εάν το TPU είναι η καλύτερη επιλογή για τον φόρτο εργασίας σας:

• Οι υπολογισμοί μήτρας είναι κυρίαρχοι στα μοντέλα
• Μέσα στον κύριο βρόχο εκπαίδευσης του μοντέλου, δεν υπάρχουν προσαρμοσμένες λειτουργίες TensorFlow
• Είναι μοντέλα που περνούν εβδομάδες ή μήνες εκπαίδευσης
• Είναι τεράστια μοντέλα που έχουν εκτεταμένα, αποτελεσματικά μεγέθη παρτίδων.

Τώρα ας μεταβούμε σε κάποια άμεση TPU vs. Σύγκριση GPU.

Ποιες είναι οι διαφορές μεταξύ GPU και TPU;

TPU vs. Αρχιτεκτονική GPU

Το TPU δεν είναι πολύ περίπλοκο υλικό και μοιάζει με μηχανή επεξεργασίας σήματος για εφαρμογές ραντάρ και όχι με την παραδοσιακή αρχιτεκτονική που προέρχεται από το X86.

Παρόλο που έχει πολλές διαιρέσεις πολλαπλασιασμού μήτρας, είναι λιγότερο GPU και περισσότερο συμεπεξεργαστής. εκτελεί απλώς τις εντολές που λαμβάνονται από έναν κεντρικό υπολογιστή.

Επειδή υπάρχουν τόσα πολλά βάρη για εισαγωγή στη συνιστώσα πολλαπλασιασμού μήτρας, η μνήμη DRAM της TPU λειτουργεί ως ενιαία μονάδα παράλληλα.

Επιπλέον, επειδή οι TPU μπορούν να διεξάγουν μόνο λειτουργίες matrix, οι πλακέτες TPU συνδέονται με συστήματα κεντρικού υπολογιστή που βασίζονται σε CPU για να ολοκληρώσουν εργασίες που οι TPU δεν μπορούν να χειριστούν.

Οι κεντρικοί υπολογιστές είναι υπεύθυνοι για την παράδοση δεδομένων στο TPU, την προεπεξεργασία και τη λήψη λεπτομερειών από το Cloud Storage.

Οι GPU ασχολούνται περισσότερο με την εφαρμογή διαθέσιμων πυρήνων στην εργασία παρά με την πρόσβαση στη μνήμη cache χαμηλής καθυστέρησης.

Πολλοί υπολογιστές (Cluster Processor) με πολλαπλά SM (Streaming Multiprocessors) γίνονται ένα ενιαίο gadget GPU, με στρώματα κρυφής μνήμης εντολών στρώματος 1 και συνοδευτικούς πυρήνες που φιλοξενούνται σε κάθε SM.

Πριν από την εξαγωγή δεδομένων από την παγκόσμια μνήμη GDDR-5, ένας SM χρησιμοποιεί συνήθως ένα κοινό επίπεδο δύο κρυφών μνήμων και ένα αποκλειστικό επίπεδο μιας κρυφής μνήμης. Η αρχιτεκτονική GPU είναι ανεκτική σε καθυστέρηση μνήμης.

Μια GPU λειτουργεί με ελάχιστο αριθμό επιπέδων κρυφής μνήμης. Ωστόσο, επειδή μια GPU διαθέτει περισσότερα τρανζίστορ αφιερωμένα στην επεξεργασία, ασχολείται λιγότερο με τον χρόνο πρόσβασης στα δεδομένα στη μνήμη.

Η πιθανή καθυστέρηση πρόσβασης στη μνήμη είναι κρυμμένη καθώς η GPU παραμένει απασχολημένη με επαρκείς υπολογισμούς.

TPU vs. Ταχύτητα GPU

Αυτό το πρωτότυπο στοχευμένο συμπέρασμα γενιάς TPU, το οποίο χρησιμοποιεί ένα μαθημένο μοντέλο και όχι ένα εκπαιδευμένο.

Η TPU είναι 15 έως 30 φορές ταχύτερη από τις τρέχουσες GPU και CPU σε εμπορικές εφαρμογές τεχνητής νοημοσύνης που χρησιμοποιούν συμπέρασμα νευρωνικών δικτύων.

Επιπλέον, η TPU είναι σημαντικά ενεργειακά αποδοτική, με 30 έως 80 φορές αύξηση στην τιμή TOPS/Watt.

Ως εκ τούτου, κατά τη δημιουργία ενός TPU vs. Σύγκριση ταχύτητας GPU, οι πιθανότητες είναι λοξές προς τη μονάδα επεξεργασίας τανυστή.

TPU vs. Απόδοση GPU

Το TPU είναι μια μηχανή επεξεργασίας τανυστών που δημιουργήθηκε για να επιταχύνει τους υπολογισμούς γραφημάτων Tensorflow.

Σε μία μόνο πλακέτα, κάθε TPU μπορεί να παρέχει έως και 64 GB μνήμης υψηλού εύρους ζώνης και 180 teraflops απόδοσης κινητής υποδιαστολής.

Μια σύγκριση μεταξύ των Nvidia GPU και των TPU φαίνεται παρακάτω. Ο άξονας Υ απεικονίζει τον αριθμό των φωτογραφιών ανά δευτερόλεπτο, ενώ ο άξονας Χ αντιπροσωπεύει τα διάφορα μοντέλα.

TPU vs. Μηχανική εκμάθηση GPU

Ακολουθούν οι χρόνοι εκπαίδευσης για CPU και GPU που χρησιμοποιούν διαφορετικά μεγέθη παρτίδας και επαναλήψεις ανά Εποχή:

• Επαναλήψεις/εποχή: 100, Μέγεθος παρτίδας: 1000, Συνολικές εποχές: 25, Παράμετροι: 1,84 M και Τύπος μοντέλου: Keras Mobilenet V1 (άλφα 0,75).

ΕΠΙΤΑΧΥΝΤΗΣ	GPU (NVIDIA K80)	TPU
Ακρίβεια εκπαίδευσης (%)	96.5	94.1
Ακρίβεια επικύρωσης (%)	65.1	68.6
Χρόνος ανά επανάληψη (ms)	69	173
Χρόνος ανά εποχή (ες)	69	173
Συνολικός χρόνος (λεπτά)	30	72

• Επαναλήψεις/εποχή: 1000, Μέγεθος παρτίδας: 100, Συνολικές εποχές: 25, Παράμετροι: 1,84 M και τύπος μοντέλου: Keras Mobilenet V1 (άλφα 0,75)

ΕΠΙΤΑΧΥΝΤΗΣ	GPU (NVIDIA K80)	TPU
Ακρίβεια εκπαίδευσης (%)	97.4	96.9
Ακρίβεια επικύρωσης (%)	45.2	45.3
Χρόνος ανά επανάληψη (ms)	185	252
Χρόνος ανά εποχή (ες)	18	25
Συνολικός χρόνος (λεπτά)	16	21

Με μικρότερο μέγεθος παρτίδας, το TPU χρειάζεται πολύ περισσότερο χρόνο για να εκπαιδευτεί, όπως φαίνεται από τον χρόνο εκπαίδευσης. Ωστόσο, η απόδοση της TPU είναι πιο κοντά στην GPU με αυξημένο μέγεθος παρτίδας.

Ως εκ τούτου, κατά τη δημιουργία ενός TPU vs. Σύγκριση εκπαίδευσης GPU, πολλά έχουν να κάνουν με τις εποχές και το μέγεθος παρτίδας.

TPU vs. Σημείο αναφοράς GPU

Με 0,5 watt/TOPS, ένα μόνο Edge TPU μπορεί να εκτελέσει τέσσερα τρισεκατομμύρια λειτουργίες/ανά δευτερόλεπτο. Πολλές μεταβλητές επηρεάζουν το πόσο καλά μεταφράζεται αυτό στην απόδοση της εφαρμογής.

Τα μοντέλα νευρωνικών δικτύων έχουν ξεχωριστές απαιτήσεις και η συνολική απόδοση ποικίλλει ανάλογα με την ταχύτητα USB του κεντρικού υπολογιστή, την CPU και άλλους πόρους συστήματος της συσκευής επιτάχυνσης USB.

Έχοντας αυτό κατά νου, το παρακάτω γραφικό έρχεται σε αντίθεση με τον χρόνο που αφιερώνεται στην παραγωγή μεμονωμένων συμπερασμάτων σε ένα Edge TPU με διάφορα τυπικά μοντέλα. Φυσικά, όλα τα μοντέλα που εκτελούνται είναι οι εκδόσεις TensorFlow Lite για λόγους σύγκρισης.

Λάβετε υπόψη ότι τα παραπάνω δεδομένα δείχνουν τον χρόνο που χρειάζεται για την εκτέλεση του μοντέλου. Ωστόσο, αποκλείει τον χρόνο που απαιτείται για την επεξεργασία των δεδομένων εισόδου, ο οποίος διαφέρει ανάλογα με την εφαρμογή και το σύστημα.

Τα αποτελέσματα των σημείων αναφοράς GPU συγκρίνονται με τις επιθυμητές ρυθμίσεις ποιότητας παιχνιδιού και ανάλυσης του χρήστη.

Με βάση την αξιολόγηση άνω των 70.000 δοκιμών αναφοράς, έχουν κατασκευαστεί σχολαστικά εξελιγμένοι αλγόριθμοι για να παράγουν 90 τοις εκατό αξιόπιστες εκτιμήσεις της απόδοσης του παιχνιδιού.

Αν και η απόδοση των καρτών γραφικών διαφέρει πολύ μεταξύ των παιχνιδιών, αυτή η παρακάτω εικόνα σύγκρισης δίνει έναν ευρύ δείκτη αξιολόγησης για ορισμένες κάρτες γραφικών.

TPU vs. Τιμή GPU

Έχουν σημαντική διαφορά τιμής. Οι TPU είναι πέντε φορές πιο δαπανηρές από τις GPU. Ορίστε μερικά παραδείγματα:

• Μια GPU Nvidia Tesla P100 κοστίζει 1,46 $ την ώρα
• Το Google TPU v3 κοστίζει 8,00 $ ανά ώρα
• TPUv2 με πρόσβαση κατά παραγγελία GCP 4,50 $ ανά ώρα

Εάν ο στόχος είναι η βελτιστοποίηση για το κόστος, θα πρέπει να επιλέξετε ένα TPU μόνο εάν εκπαιδεύει ένα μοντέλο 5 φορές την ταχύτητα μιας GPU.

Ποια είναι η διαφορά μεταξύ CPU και CPU. GPU vs. TPU;

Η διάκριση μεταξύ της TPU, της GPU και της CPU είναι ότι η CPU είναι ένας μη συγκεκριμένος επεξεργαστής που χειρίζεται όλους τους υπολογισμούς, τη λογική, την είσοδο και την έξοδο του υπολογιστή.

Από την άλλη πλευρά, η GPU είναι ένας επιπλέον επεξεργαστής που χρησιμοποιείται για τη βελτίωση της γραφικής διεπαφής (GI) και την εκτέλεση δραστηριοτήτων υψηλής τεχνολογίας. Οι TPU είναι ισχυροί, ειδικά κατασκευασμένοι επεξεργαστές που χρησιμοποιούνται για την εκτέλεση έργων που έχουν αναπτυχθεί χρησιμοποιώντας ένα συγκεκριμένο πλαίσιο, όπως το TensorFlow.

Τα κατηγοριοποιούμε ως εξής:

• Κεντρική Μονάδα Επεξεργασίας (CPU) – Έλεγχος όλων των πτυχών ενός υπολογιστή
• Μονάδα Επεξεργασίας Γραφικών (GPU) – Βελτιώστε την απόδοση γραφικών του υπολογιστή
• Tensor Processing Unit (TPU) – ASIC ρητά σχεδιασμένο για έργα TensorFlow

Η Nvidia κάνει TPU;

Πολλοί άνθρωποι έχουν αναρωτηθεί πώς θα αντιδρούσε η NVIDIA στο TPU της Google, αλλά τώρα έχουμε απαντήσεις.

Αντί να ανησυχεί, η NVIDIA έχει αποκαταστήσει με επιτυχία την TPU ως ένα εργαλείο που μπορεί να χρησιμοποιήσει όταν είναι λογικό, αλλά εξακολουθεί να διατηρεί το λογισμικό CUDA και τις GPU της στην ηγεσία.

Διατηρεί ένα σημείο ελέγχου για την υιοθέτηση της μηχανικής μάθησης IoT καθιστώντας την τεχνολογία ανοιχτού κώδικα. Ωστόσο, ο κίνδυνος με αυτήν τη μέθοδο είναι ότι μπορεί να παρέχει αξιοπιστία σε μια ιδέα που μπορεί να γίνει πρόκληση για τις μακροπρόθεσμες φιλοδοξίες των μηχανών συμπερασμάτων κέντρων δεδομένων για τη NVIDIA.

Είναι καλύτερο το GPU ή το TPU;

Συμπερασματικά, πρέπει να πούμε ότι παρόλο που αναπτύσσονται οι αλγόριθμοι που επιτρέπουν την αποτελεσματική χρήση του α Το TPU κοστίζει λίγο επιπλέον, το μειωμένο κόστος εκπαίδευσης γενικά υπερβαίνει τον πρόσθετο προγραμματισμό έξοδα.

Άλλοι λόγοι για να επιλέξετε ένα TPU περιλαμβάνουν το γεγονός ότι το G της VRAM του v3-128 8 ξεπερνά αυτό του Nvidia GPU, καθιστώντας το v3-8 καλύτερη εναλλακτική για την επεξεργασία μεγάλων συνόλων δεδομένων που σχετίζονται με NLU και NLP.

Οι υψηλότερες ταχύτητες μπορεί επίσης να οδηγήσουν σε ταχύτερη Επανάληψη κατά τη διάρκεια των κύκλων προγραμματισμού, οδηγώντας σε ταχύτερη και συχνότερη καινοτομία, αυξάνοντας την πιθανότητα επιτυχίας στην αγορά.

Η TPU υπερέχει της GPU όσον αφορά την ταχύτητα καινοτομίας, την ευκολία στη χρήση και την οικονομική προσιτότητα. Οι καταναλωτές και οι αρχιτέκτονες cloud θα πρέπει να λαμβάνουν υπόψη το TPU στις πρωτοβουλίες ML και AI.

Το TPU από την Google έχει αρκετή ικανότητα επεξεργασίας και ο χρήστης πρέπει να συντονίσει την εισαγωγή δεδομένων για να βεβαιωθεί ότι δεν υπάρχει υπερφόρτωση.

Ορίστε το, συνολική TPU vs. Σύγκριση GPU. Θα θέλαμε να μάθουμε τις σκέψεις σας και να δούμε αν έχετε κάνει δοκιμές και ποια αποτελέσματα λάβατε σε TPU και GPU.

Θυμηθείτε, μπορείτε να απολαύσετε μια καθηλωτική εμπειρία υπολογιστή χρησιμοποιώντας οποιοδήποτε από τα καλύτερες κάρτες γραφικών για τα Windows 11.