TPU เทียบกับ GPU: ความแตกต่างด้านประสิทธิภาพและความเร็วในโลกแห่งความเป็นจริง

ในบทความนี้ เราจะสร้าง TPU เทียบกับ การเปรียบเทียบ GPU แต่ก่อนที่เราจะเจาะลึกเรื่องนี้ นี่คือสิ่งที่คุณต้องรู้

การเรียนรู้ของเครื่องและเทคโนโลยี AI ได้เร่งการเติบโตของแอปอัจฉริยะ ด้วยเหตุนี้ บริษัทเซมิคอนดักเตอร์จึงสร้างตัวเร่งความเร็วและโปรเซสเซอร์อย่างต่อเนื่อง ซึ่งรวมถึง TPU และ CPU เพื่อจัดการกับแอปที่ซับซ้อนมากขึ้น

ผู้ใช้บางคนมีปัญหาในการทำความเข้าใจเมื่อแนะนำให้ใช้ TPU และเมื่อใดควรใช้ GPU สำหรับงานคอมพิวเตอร์

GPU หรือที่เรียกว่า หน่วยประมวลผลกราฟิก คือการ์ดวิดีโอของพีซีของคุณเพื่อมอบประสบการณ์พีซีที่สมจริงและสมจริง ตัวอย่างเช่น คุณสามารถทำตามขั้นตอนง่าย ๆ หากคุณ PC ตรวจไม่พบ GPU.

เพื่อให้เข้าใจสถานการณ์เหล่านี้มากขึ้น เราจะต้องชี้แจงว่า TPU คืออะไรและเปรียบเทียบกับ GPU ได้อย่างไร

TPU คืออะไร?

TPU หรือหน่วยประมวลผลเทนเซอร์เป็นวงจรรวมเฉพาะ (IC) สำหรับการใช้งานเฉพาะหรือที่เรียกว่า ASIC (วงจรรวมเฉพาะแอปพลิเคชัน) Google ได้สร้าง TPU ตั้งแต่เริ่มต้น โดยเริ่มใช้งานในปี 2015 และเปิดให้สาธารณชนเข้าชมในปี 2018

TPU มีให้ในรูปแบบชิปรองหรือรุ่นคลาวด์ เพื่อเพิ่มความเร็วให้แมชชีนเลิร์นนิงสำหรับเครือข่ายประสาทเทียมโดยใช้ซอฟต์แวร์ TensorFlow นั้น Cloud TPU จะแก้ปัญหาเมทริกซ์ที่ซับซ้อนและการทำงานของเวกเตอร์ด้วยความเร็วที่เหลือเชื่อ

ด้วย TensorFlow ทีมงาน Google Brain ได้พัฒนาแพลตฟอร์มการเรียนรู้ของเครื่องแบบโอเพนซอร์ส นักวิจัย นักพัฒนา และองค์กรต่างๆ สามารถสร้างและดำเนินการโมเดล AI โดยใช้ฮาร์ดแวร์ Cloud TPU

เมื่อฝึกโมเดลโครงข่ายประสาทเทียมที่ซับซ้อนและแข็งแกร่ง TPU จะลดเวลาไปสู่ค่าความแม่นยำ ซึ่งหมายความว่าโมเดลการเรียนรู้เชิงลึกที่อาจต้องใช้เวลาหลายสัปดาห์ในการฝึกโดยใช้ GPU ใช้เวลาน้อยกว่าเสี้ยวหนึ่งของเวลานั้น

TPU เหมือนกับ GPU หรือไม่

มีความโดดเด่นทางสถาปัตยกรรมอย่างมาก หน่วยประมวลผลกราฟิกเป็นตัวประมวลผลในตัวของมันเอง แม้ว่าจะถูกส่งไปยังโปรแกรมเชิงตัวเลขแบบเวกเตอร์ก็ตาม GPUs เป็นซูเปอร์คอมพิวเตอร์รุ่นต่อไปของ Cray

TPU เป็นโปรเซสเซอร์ร่วมที่ไม่ได้ดำเนินการตามคำสั่งด้วยตนเอง โค้ดถูกรันบน CPU ซึ่งป้อน TPU ให้เป็นโฟลว์ของการดำเนินการขนาดเล็ก

ฉันควรใช้ TPU เมื่อใด

TPU ในระบบคลาวด์ได้รับการปรับแต่งให้เหมาะกับแอปพลิเคชันเฉพาะ คุณอาจต้องการดำเนินงานการเรียนรู้ของเครื่องโดยใช้ GPU หรือ CPU ในบางกรณี โดยทั่วไป หลักการต่อไปนี้อาจช่วยคุณประเมินว่า TPU เป็นตัวเลือกที่ดีที่สุดสำหรับภาระงานของคุณหรือไม่:

• การคำนวณเมทริกซ์มีความโดดเด่นในโมเดล
• ภายในลูปการฝึกหลักของโมเดล ไม่มีการดำเนินการ TensorFlow แบบกำหนดเอง
• เป็นนางแบบที่ต้องผ่านการฝึกฝนเป็นสัปดาห์หรือเป็นเดือน
• เป็นโมเดลขนาดใหญ่ที่มีขนาดแบทช์ที่กว้างขวางและมีประสิทธิภาพ

ทีนี้มาดูที่ TPU โดยตรงกับ TPU กัน การเปรียบเทียบ GPU

GPU และ TPU แตกต่างกันอย่างไร?

TPU เทียบกับ สถาปัตยกรรม GPU

TPU ไม่ใช่ฮาร์ดแวร์ที่ซับซ้อนมากและให้ความรู้สึกเหมือนเป็นเครื่องมือประมวลผลสัญญาณสำหรับแอปพลิเคชันเรดาร์และไม่ใช่สถาปัตยกรรมที่ได้รับมาจาก X86 แบบดั้งเดิม

แม้ว่าจะมีการหารการคูณเมทริกซ์จำนวนมาก แต่ก็มี GPU น้อยกว่าและมีตัวประมวลผลร่วมมากกว่า มันเพียงรันคำสั่งที่ได้รับจากโฮสต์

เนื่องจากมีการใส่น้ำหนักจำนวนมากลงในองค์ประกอบการคูณเมทริกซ์ DRAM ของ TPU จึงทำงานเป็นหน่วยเดียวแบบขนาน

นอกจากนี้ เนื่องจาก TPU สามารถดำเนินการได้เฉพาะเมทริกซ์ บอร์ด TPU จึงเชื่อมโยงกับระบบโฮสต์ที่ใช้ CPU เพื่อทำงานที่ TPU จัดการไม่ได้

คอมพิวเตอร์โฮสต์มีหน้าที่ส่งข้อมูลไปยัง TPU การประมวลผลล่วงหน้า และการดึงรายละเอียดจาก Cloud Storage

GPU มีความกังวลเกี่ยวกับการใช้แกนที่มีอยู่เพื่อทำงานมากกว่าการเข้าถึงแคชที่มีเวลาแฝงต่ำ

พีซีจำนวนมาก (คลัสเตอร์โปรเซสเซอร์) ที่มี SM หลายตัว (Streaming Multiprocessors) กลายเป็นอุปกรณ์ GPU เดียว โดยมีเลเยอร์แคชคำสั่งชั้นหนึ่งและแกนที่มาประกอบกันอยู่ใน SM ทุกเครื่อง

ก่อนการแยกข้อมูลจากหน่วยความจำ GDDR-5 ทั่วโลก โดยปกติแล้ว SM หนึ่งตัวจะใช้เลเยอร์ที่ใช้ร่วมกันของแคชสองตัวและเลเยอร์เฉพาะของแคชหนึ่งตัว สถาปัตยกรรม GPU รองรับหน่วยความจำแฝง

GPU ทำงานโดยมีระดับแคชหน่วยความจำน้อยที่สุด อย่างไรก็ตาม เนื่องจาก GPU มีทรานซิสเตอร์สำหรับการประมวลผลมากกว่า จึงไม่ต้องกังวลกับเวลาในการเข้าถึงข้อมูลในหน่วยความจำ

ความล่าช้าในการเข้าถึงหน่วยความจำที่เป็นไปได้ถูกซ่อนไว้เนื่องจาก GPU ถูกครอบครองโดยการคำนวณที่เพียงพอ

TPU เทียบกับ ความเร็ว GPU

การสร้าง TPU ดั้งเดิมนี้กำหนดเป้าหมายการอนุมาน ซึ่งใช้โมเดลที่เรียนรู้มากกว่าโมเดลที่ผ่านการฝึกอบรม

TPU เร็วกว่า GPU และ CPU ปัจจุบัน 15 ถึง 30 เท่าในแอปพลิเคชัน AI เชิงพาณิชย์ที่ใช้การอนุมานเครือข่ายประสาทเทียม

นอกจากนี้ TPU ยังประหยัดพลังงานอย่างเห็นได้ชัด โดยมีค่า TOPS/วัตต์ เพิ่มขึ้นระหว่าง 30 ถึง 80 เท่า

ดังนั้นในการทำ TPU กับ การเปรียบเทียบความเร็ว GPU อัตราต่อรองที่เบ้ไปทางหน่วยประมวลผลเทนเซอร์

TPU เทียบกับ ประสิทธิภาพของ GPU

TPU คือเครื่องประมวลผลเทนเซอร์ที่สร้างขึ้นเพื่อเพิ่มความเร็วในการคำนวณกราฟเทนเซอร์โฟลว์

บนกระดานเดียว TPU แต่ละตัวอาจมีหน่วยความจำแบนด์วิดท์สูงมากถึง 64 GB และประสิทธิภาพจุดลอยตัว 180 เทราฟลอป

การเปรียบเทียบระหว่าง GPU ของ Nvidia และ TPU แสดงอยู่ด้านล่าง แกน Y แสดงจำนวนภาพถ่ายต่อวินาที ในขณะที่แกน X แสดงถึงรุ่นต่างๆ

TPU เทียบกับ การเรียนรู้ของเครื่อง GPU

ด้านล่างนี้คือเวลาการฝึกอบรมสำหรับ CPU และ GPU ที่ใช้ขนาดแบทช์และการทำซ้ำที่แตกต่างกันในแต่ละยุค:

• การทำซ้ำ/ยุค: 100, ขนาดแบทช์: 1000, ยุคทั้งหมด: 25, พารามิเตอร์: 1.84 M และประเภทรุ่น: Keras Mobilenet V1 (อัลฟา 0.75)

คันเร่ง	จีพียู (NVIDIA K80)	TPU
ความแม่นยำในการฝึก (%)	96.5	94.1
ความถูกต้องของการตรวจสอบ (%)	65.1	68.6
เวลาต่อการวนซ้ำ (มิลลิวินาที)	69	173
เวลาต่อยุค	69	173
เวลาทั้งหมด (นาที)	30	72

• การวนซ้ำ/ยุค: 1000 ขนาดแบทช์: 100 ยุคทั้งหมด: 25 พารามิเตอร์: 1.84 M และประเภทรุ่น: Keras Mobilenet V1 (อัลฟา 0.75)

คันเร่ง	จีพียู (NVIDIA K80)	TPU
ความแม่นยำในการฝึก (%)	97.4	96.9
ความถูกต้องของการตรวจสอบ (%)	45.2	45.3
เวลาต่อการวนซ้ำ (มิลลิวินาที)	185	252
เวลาต่อยุค	18	25
เวลาทั้งหมด (นาที)	16	21

ด้วยขนาดแบทช์ที่เล็กลง TPU ใช้เวลาในการฝึกนานขึ้นมาก ดังที่เห็นจากเวลาฝึก อย่างไรก็ตาม ประสิทธิภาพ TPU นั้นใกล้เคียงกับ GPU มากขึ้นด้วยขนาดแบทช์ที่เพิ่มขึ้น

ดังนั้นในการทำ TPU กับ การเปรียบเทียบการฝึกอบรม GPU มักเกี่ยวข้องกับยุคและขนาดแบทช์

TPU เทียบกับ มาตรฐาน GPU

ด้วย 0.5 วัตต์/ท็อปส์ซู Edge TPU ตัวเดียวสามารถดำเนินการได้สี่ล้านล้านรายการ/ต่อวินาที ตัวแปรหลายตัวมีอิทธิพลต่อความสามารถในการแปลประสิทธิภาพของแอปได้ดีเพียงใด

โมเดลโครงข่ายประสาทเทียมมีข้อกำหนดที่แตกต่างกัน และเอาต์พุตโดยรวมจะแตกต่างกันไปตามความเร็ว USB ของโฮสต์, CPU และทรัพยากรระบบอื่นๆ ของอุปกรณ์เร่งความเร็ว USB

ด้วยเหตุนี้ กราฟิกด้านล่างจึงตัดกันเวลาที่ใช้ในการอนุมานเดี่ยวบน Edge TPU กับรุ่นมาตรฐานต่างๆ แน่นอนว่าทุกรุ่นที่วิ่งนั้นเป็นรุ่น TensorFlow Lite เพื่อประโยชน์ในการเปรียบเทียบ

โปรดทราบว่าข้อมูลที่ระบุด้านบนแสดงเวลาที่ใช้ในการเรียกใช้โมเดล อย่างไรก็ตาม ไม่รวมเวลาที่ใช้ในการประมวลผลข้อมูลที่ป้อนเข้า ซึ่งแตกต่างกันไปตามแอปพลิเคชันและระบบ

ผลลัพธ์ของการวัดประสิทธิภาพ GPU จะถูกนำไปเปรียบเทียบกับการตั้งค่าคุณภาพการเล่นเกมและความละเอียดที่ผู้ใช้ต้องการ

จากการประเมินการทดสอบเบนช์มาร์กมากกว่า 70,000 รายการ อัลกอริธึมที่ซับซ้อนได้รับการสร้างขึ้นอย่างพิถีพิถันเพื่อสร้างการประมาณประสิทธิภาพการเล่นเกมที่เชื่อถือได้ 90 เปอร์เซ็นต์

แม้ว่าประสิทธิภาพของกราฟิกการ์ดจะแตกต่างกันไปในแต่ละเกม แต่ภาพเปรียบเทียบด้านล่างนี้จะให้ดัชนีการให้คะแนนแบบกว้างสำหรับการ์ดกราฟิกบางตัว

TPU เทียบกับ ราคา GPU

พวกเขามีความแตกต่างของราคาอย่างมีนัยสำคัญ TPU มีราคาแพงกว่า GPU ถึง 5 เท่า นี่คือตัวอย่างบางส่วน:

• Nvidia Tesla P100 GPU ราคา 1.46 เหรียญต่อชั่วโมง
• Google TPU v3 ราคา $8.00 ต่อชั่วโมง
• TPUv2 พร้อมการเข้าถึง GCP ตามความต้องการ $4.50 ต่อชั่วโมง

หากการเพิ่มประสิทธิภาพด้านราคาเป็นเป้าหมาย คุณควรเลือกใช้ TPU เฉพาะในกรณีที่ฝึกโมเดลความเร็ว 5 เท่าของ GPU เท่านั้น

CPU vs. CPU ต่างกันอย่างไร GPU เทียบกับ ทีพียู?

ความแตกต่างระหว่าง TPU, GPU และ CPU คือ CPU เป็นตัวประมวลผลที่ไม่เฉพาะเจาะจงซึ่งจัดการการคำนวณ ตรรกะ อินพุต และเอาต์พุตทั้งหมดของคอมพิวเตอร์

ในทางกลับกัน GPU เป็นโปรเซสเซอร์พิเศษที่ใช้ปรับปรุง Graphical Interface (GI) และทำกิจกรรมระดับไฮเอนด์ TPU เป็นโปรเซสเซอร์ที่แข็งแกร่งและผลิตขึ้นเป็นพิเศษเพื่อใช้ในการดำเนินการโปรเจ็กต์ที่พัฒนาโดยใช้เฟรมเวิร์กเฉพาะ เช่น TensorFlow

เราจัดหมวดหมู่ได้ดังนี้:

• หน่วยประมวลผลกลาง (CPU) – ควบคุมทุกด้านของคอมพิวเตอร์
• หน่วยประมวลผลกราฟิก (GPU) – ปรับปรุงประสิทธิภาพกราฟิกของคอมพิวเตอร์
• หน่วยประมวลผลเทนเซอร์ (TPU) – ASIC ออกแบบมาอย่างชัดเจนสำหรับโครงการ TensorFlow

Nvidia ทำ TPU หรือไม่?

หลายคนสงสัยว่า NVIDIA จะตอบสนองต่อ TPU ของ Google อย่างไร แต่ตอนนี้เรามีคำตอบแล้ว

แทนที่จะต้องกังวล NVIDIA ประสบความสำเร็จในการวางตำแหน่ง TPU ให้เป็นเครื่องมือที่สามารถใช้งานได้เมื่อมีเหตุผล แต่ยังคงรักษาซอฟต์แวร์ CUDA และ GPU ไว้เป็นผู้นำ

ช่วยรักษาจุดควบคุมสำหรับการนำการเรียนรู้ของเครื่อง IoT มาใช้โดยการสร้างโอเพ่นซอร์สด้านเทคนิค อย่างไรก็ตาม อันตรายของวิธีนี้คืออาจสร้างความเชื่อมั่นให้กับแนวคิดที่อาจกลายเป็นความท้าทายสำหรับแรงบันดาลใจระยะยาวของเอ็นจิ้นการอนุมานดาต้าเซ็นเตอร์สำหรับ NVIDIA

GPU หรือ TPU ดีกว่ากัน?

โดยสรุป เราต้องบอกว่าแม้ว่าการพัฒนาอัลกอริธึมเพื่อให้ใช้งานa. ได้อย่างมีประสิทธิภาพ TPU มีค่าใช้จ่ายเพิ่มเติมเล็กน้อย ค่าใช้จ่ายในการฝึกอบรมที่ลดลงโดยทั่วไปมีค่ามากกว่าการเขียนโปรแกรมเพิ่มเติม ค่าใช้จ่าย.

เหตุผลอื่นๆ ในการเลือก TPU รวมถึงข้อเท็จจริงที่ว่า G ของ VRAM ของ v3-128 8 นั้นเหนือกว่า Nvidia GPUs ทำให้ v3-8 เป็นทางเลือกที่ดีกว่าสำหรับการประมวลผลชุดข้อมูลขนาดใหญ่ที่เกี่ยวข้องกับ NLU และ สนช.

ความเร็วที่สูงขึ้นอาจนำไปสู่การทำซ้ำได้เร็วขึ้นในระหว่างรอบการพัฒนา ซึ่งนำไปสู่นวัตกรรมที่เร็วขึ้นและบ่อยครั้งขึ้น ซึ่งเพิ่มโอกาสในการประสบความสำเร็จในตลาด

TPU มีประสิทธิภาพเหนือกว่า GPU ในแง่ของความเร็วของนวัตกรรม ความง่ายในการใช้งาน และความสามารถในการจ่าย ผู้บริโภคและสถาปนิกระบบคลาวด์ควรพิจารณา TPU ในการริเริ่ม ML และ AI

TPU จาก Google มีความสามารถในการประมวลผลมากมาย และผู้ใช้ต้องประสานการป้อนข้อมูลเพื่อให้แน่ใจว่าไม่มีการโอเวอร์โหลด

ที่นั่นคุณมีแล้ว เทียบกับ TPU ทั้งหมด การเปรียบเทียบ GPU เราชอบที่จะทราบความคิดของคุณและดูว่าคุณได้ทำการทดสอบใด ๆ และผลลัพธ์ที่คุณได้รับจาก TPU และ GPU เป็นอย่างไร

จำไว้ว่า คุณสามารถเพลิดเพลินกับประสบการณ์พีซีที่ดื่มด่ำได้โดยใช้ การ์ดกราฟิกที่ดีที่สุดสำหรับ Windows 11.