TPU vs. GPU: Performa & Perbedaan Kecepatan Dunia Nyata

Pada artikel ini, kita akan membuat TPU vs. perbandingan GPU. Tapi sebelum kita membahasnya, inilah yang harus Anda ketahui.

Pembelajaran Mesin dan teknologi AI telah mempercepat pertumbuhan aplikasi cerdas. Untuk tujuan ini, perusahaan semikonduktor terus menciptakan akselerator dan prosesor, termasuk TPU dan CPU, untuk menangani aplikasi yang lebih kompleks.

Beberapa pengguna memiliki masalah dalam memahami kapan disarankan untuk menggunakan TPU dan kapan harus menggunakan GPU untuk tugas komputer mereka.

GPU, juga dikenal sebagai Unit Pemrosesan Grafis, adalah kartu video PC Anda untuk menawarkan pengalaman PC visual dan imersif. Misalnya, Anda dapat mengikuti langkah-langkah mudah jika: PC tidak mendeteksi GPU.

Untuk lebih memahami keadaan ini, kami juga perlu mengklarifikasi apa itu TPU dan bagaimana perbandingannya dengan GPU.

Apa itu TPU?

TPU atau Unit Pemrosesan Tensor adalah sirkuit terintegrasi (IC) khusus untuk aplikasi tertentu, juga dikenal sebagai ASIC (sirkuit terintegrasi khusus aplikasi). Google membuat TPU dari awal, mulai menggunakannya pada tahun 2015, dan membukanya untuk umum pada tahun 2018.

TPU ditawarkan sebagai chip kecil atau versi cloud. Untuk mempercepat pembelajaran mesin untuk jaringan saraf menggunakan perangkat lunak TensorFlow, TPU cloud menyelesaikan operasi matriks dan vektor yang rumit dengan kecepatan luar biasa.

Dengan TensorFlow, Tim Google Brain mengembangkan platform pembelajaran mesin sumber terbuka, peneliti, pengembang, dan perusahaan dapat membuat dan mengoperasikan model AI menggunakan perangkat keras Cloud TPU.

Saat melatih model jaringan saraf yang kompleks dan kuat, TPU mengurangi waktu ke nilai akurasi. Ini berarti bahwa model pembelajaran mendalam yang mungkin memerlukan waktu berminggu-minggu untuk dilatih menggunakan GPU membutuhkan waktu kurang dari sepersekian waktu tersebut.

Apakah TPU sama dengan GPU?

Mereka secara arsitektur sangat berbeda. Unit Pemrosesan Grafis adalah prosesor itu sendiri, meskipun yang disalurkan ke pemrograman numerik vektor. GPU, pada dasarnya, adalah generasi berikutnya dari superkomputer Cray.

TPU adalah koprosesor yang tidak menjalankan instruksi sendiri; kode dieksekusi pada CPU, yang memberi TPU aliran operasi kecil.

Kapan saya harus menggunakan TPU?

TPU di cloud disesuaikan untuk aplikasi tertentu. Anda mungkin lebih suka menjalankan tugas pembelajaran mesin menggunakan GPU atau CPU dalam beberapa kasus. Secara umum, prinsip-prinsip berikut dapat membantu Anda mengevaluasi apakah TPU adalah pilihan terbaik untuk beban kerja Anda:

• Perhitungan matriks dominan dalam model
• Dalam loop pelatihan utama model, tidak ada operasi TensorFlow khusus
• Mereka adalah model yang menjalani pelatihan selama berminggu-minggu atau berbulan-bulan
• Mereka adalah model besar yang memiliki ukuran batch yang luas dan efektif.

Sekarang mari kita beralih ke beberapa TPU langsung vs. perbandingan GPU.

Apa perbedaan antara GPU dan TPU?

TPU vs. arsitektur GPU

TPU bukanlah perangkat keras yang sangat kompleks dan terasa seperti mesin pemrosesan sinyal untuk aplikasi radar dan bukan arsitektur turunan X86 tradisional.

Meskipun memiliki banyak divisi perkalian matriks, ini kurang dari GPU dan lebih dari coprocessor; itu hanya menjalankan perintah yang diterima yang diberikan oleh host.

Karena banyaknya bobot yang harus dimasukkan ke komponen perkalian matriks, DRAM TPU dioperasikan sebagai satu unit secara paralel.

Selain itu, karena TPU hanya dapat melakukan operasi matriks, papan TPU ditautkan ke sistem host berbasis CPU untuk menyelesaikan tugas yang tidak dapat ditangani oleh TPU.

Komputer host bertanggung jawab untuk mengirimkan data ke TPU, melakukan prapemrosesan, dan mengambil detail dari Cloud Storage.

GPU lebih mementingkan penerapan inti yang tersedia untuk bekerja daripada mengakses cache latensi rendah.

Banyak PC (Processor Clusters) dengan beberapa SM (Streaming Multiprocessors) menjadi gadget GPU tunggal, dengan lapisan cache instruksi satu lapisan dan inti yang menyertainya ditempatkan di setiap SM.

Sebelum ekstraksi data dari memori GDDR-5 global, satu SM biasanya menggunakan lapisan bersama dua cache dan lapisan khusus satu cache. Arsitektur GPU toleran terhadap latensi memori.

GPU beroperasi dengan jumlah level cache memori yang minimal. Namun, karena GPU memiliki lebih banyak transistor yang dikhususkan untuk pemrosesan, GPU tidak terlalu memperhatikan waktunya untuk mengakses data di memori.

Kemungkinan penundaan akses memori disembunyikan karena GPU tetap sibuk dengan perhitungan yang memadai.

TPU vs. kecepatan GPU

Inferensi target generasi TPU asli ini, yang menggunakan model yang dipelajari daripada model yang terlatih.

TPU 15 hingga 30 kali lebih cepat daripada GPU dan CPU saat ini pada aplikasi AI komersial yang menggunakan inferensi jaringan saraf.

Selain itu, TPU sangat hemat energi, dengan peningkatan nilai TOPS/Watt antara 30 hingga 80 kali lipat.

Oleh karena itu dalam membuat TPU vs. Perbandingan kecepatan GPU, kemungkinan condong ke Unit Pemrosesan Tensor.

TPU vs. kinerja GPU

TPU adalah mesin pemrosesan tensor yang dibuat untuk mempercepat komputasi grafik Tensorflow.

Pada satu papan, setiap TPU dapat menyediakan memori bandwidth tinggi sebanyak 64 GB dan kinerja floating-point 180 teraflop.

Perbandingan antara GPU Nvidia dan TPU ditunjukkan di bawah ini. Sumbu Y menggambarkan jumlah foto per detik, sedangkan sumbu X mewakili berbagai model.

TPU vs. Pembelajaran mesin GPU

Di bawah ini adalah waktu pelatihan untuk CPU dan GPU menggunakan ukuran batch dan iterasi yang berbeda per Epoch:

• Iterasi/epoch: 100, Ukuran batch: 1000, Total epoch: 25, Parameter: 1,84 M, dan Tipe model: Keras Mobilenet V1 (alpha 0,75).

AKSELERATOR	GPU (NVIDIA K80)	TPU
Akurasi Pelatihan (%)	96.5	94.1
Akurasi Validasi (%)	65.1	68.6
Waktu Per Iterasi (md)	69	173
Waktu Per Zaman	69	173
Total Waktu (menit)	30	72

• Iterasi/Epoch: 1000, Ukuran Batch: 100, Total epoch: 25, Parameter: 1,84 M, dan Tipe model: Keras Mobilenet V1 (alpha 0,75)

AKSELERATOR	GPU (NVIDIA K80)	TPU
Akurasi Pelatihan (%)	97.4	96.9
Akurasi Validasi (%)	45.2	45.3
Waktu Per Iterasi (md)	185	252
Waktu Per Zaman	18	25
Total Waktu (menit)	16	21

Dengan ukuran batch yang lebih kecil, TPU membutuhkan waktu lebih lama untuk dilatih, terlihat dari waktu pelatihan. Namun, kinerja TPU lebih mendekati GPU dengan peningkatan ukuran batch.

Oleh karena itu dalam membuat TPU vs. Perbandingan pelatihan GPU, banyak yang harus dilakukan dengan zaman dan ukuran batch.

TPU vs. tolok ukur GPU

Dengan 0,5 watt/TOPS, satu Edge TPU dapat menjalankan empat triliun operasi/per detik. Beberapa variabel memengaruhi seberapa baik hal ini diterjemahkan ke kinerja aplikasi.

Model jaringan saraf memiliki persyaratan yang berbeda, dan output keseluruhan bervariasi tergantung pada kecepatan USB host, CPU, dan sumber daya sistem lainnya dari perangkat akselerator USB.

Dengan mengingat hal itu, grafik di bawah ini membandingkan waktu yang dihabiskan untuk membuat kesimpulan tunggal pada Edge TPU dengan berbagai model standar. Tentu saja, semua model yang berjalan adalah versi TensorFlow Lite sebagai perbandingan.

Harap dicatat bahwa data yang diberikan di atas menunjukkan waktu yang diperlukan untuk menjalankan model. Namun, ini tidak termasuk waktu yang diperlukan untuk memproses data input, yang bervariasi menurut aplikasi dan sistem.

Hasil benchmark GPU dibandingkan dengan pengaturan kualitas dan resolusi gameplay yang diinginkan pengguna.

Berdasarkan evaluasi lebih dari 70.000 tes benchmark, algoritme canggih telah dibuat dengan cermat untuk menghasilkan 90 persen estimasi kinerja game yang andal.

Meskipun kinerja kartu grafis sangat bervariasi di seluruh permainan, gambar perbandingan di bawah ini memberikan indeks peringkat yang luas untuk beberapa kartu grafis.

TPU vs. harga GPU

Mereka memiliki perbedaan harga yang signifikan. TPU lima kali lebih mahal daripada GPU. Berikut beberapa contohnya:

• GPU Nvidia Tesla P100 berharga $1,46 per jam
• Google TPU v3 berharga $8,00 per jam
• TPUv2 dengan akses sesuai permintaan GCP $4,50 per jam

Jika mengoptimalkan biaya adalah tujuannya, Anda harus menggunakan TPU hanya jika itu melatih model 5X kecepatan GPU.

Apa perbedaan antara CPU vs. GPU vs. TPU?

Perbedaan antara TPU, GPU, dan CPU adalah bahwa CPU adalah prosesor non-spesifik yang menangani semua komputasi, logika, input, dan output komputer.

Di sisi lain, GPU adalah prosesor tambahan yang digunakan untuk meningkatkan Graphical Interface (GI) dan melakukan aktivitas kelas atas. TPU kuat, prosesor yang dibuat khusus yang digunakan untuk menjalankan proyek yang dikembangkan menggunakan kerangka kerja tertentu, seperti TensorFlow.

Kami mengkategorikannya sebagai berikut:

• Central Processing Unit (CPU) – Mengontrol semua aspek komputer
• Unit Pemrosesan Grafis (GPU) – Meningkatkan kinerja grafis komputer
• Unit Pemrosesan Tensor (TPU) – ASIC yang dirancang secara eksplisit untuk proyek TensorFlow

Apakah Nvidia membuat TPU?

Banyak orang bertanya-tanya bagaimana NVIDIA akan bereaksi terhadap TPU Google, tetapi kami sekarang memiliki jawabannya.

Alih-alih khawatir, NVIDIA telah berhasil mendeposisikan TPU sebagai alat yang dapat digunakan saat masuk akal tetapi tetap mempertahankan perangkat lunak CUDA dan GPU sebagai yang terdepan.

Itu membuat titik kontrol untuk adopsi pembelajaran mesin IoT dengan menjadikan teknologi open source. Namun, bahaya dengan metode ini adalah dapat memberikan kepercayaan pada konsep yang mungkin menjadi tantangan bagi aspirasi jangka panjang mesin inferensi pusat data untuk NVIDIA.

Apakah GPU atau TPU lebih baik?

Sebagai kesimpulan, kita harus mengatakan bahwa meskipun mengembangkan algoritma untuk memungkinkan penggunaan yang efektif dari a Biaya TPU sedikit ekstra, pengurangan biaya pelatihan umumnya lebih besar daripada pemrograman tambahan pengeluaran.

Alasan lain untuk memilih TPU termasuk fakta bahwa G VRAM v3-128 8 melampaui G dari GPU Nvidia, menjadikan v3-8 sebagai alternatif yang lebih baik untuk memproses kumpulan data besar yang terkait dengan NLU dan NLP.

Kecepatan yang lebih tinggi juga dapat menyebabkan Iterasi yang lebih cepat selama siklus pengembangan, yang mengarah ke inovasi yang lebih cepat dan lebih sering, meningkatkan kemungkinan keberhasilan di pasar.

TPU mengungguli GPU dalam hal kecepatan inovasi, kemudahan penggunaan, dan keterjangkauan; konsumen dan arsitek cloud harus mempertimbangkan TPU dalam inisiatif ML dan AI mereka.

TPU dari Google memiliki banyak kapasitas pemrosesan, dan pengguna harus mengoordinasikan input data untuk memastikan tidak ada kelebihan beban.

Itu dia, total TPU vs. perbandingan GPU. Kami ingin mengetahui pendapat Anda dan melihat apakah Anda telah melakukan tes dan hasil apa yang Anda terima pada TPU dan GPU.

Ingat, Anda dapat menikmati pengalaman PC yang imersif menggunakan salah satu dari kartu grafis terbaik untuk Windows 11.