โมเดลภาษาที่ทรงพลังที่สุดที่ได้รับการฝึกฝนโดย Microsoft และ NVIDIA

Microsoft และ NVIDIA ได้ประกาศในวันนี้ว่าพวกเขาได้ประสบความสำเร็จในการฝึกอบรมภาษาที่ทรงพลังที่สุดในปัจจุบัน Megatron-Turing Natural Language Generation (MT-NLP) มีจุดมุ่งหมายเพื่อเป็นตัวต่อจากรุ่น Turing NLG 17B และ Megatron-LM ของบริษัท

MT-NLP มีพารามิเตอร์ 530 พันล้านตัวพร้อมความสามารถของงานภาษาธรรมชาติที่หลากหลาย ตามที่ทั้งสองบริษัทกล่าว ทั้งสองบริษัทยังมีความเข้าใจ การให้เหตุผล และความสามารถทางภาษาที่เป็นธรรมชาติ

ความก้าวหน้าครั้งแรก

ทั้งสองบริษัทได้ทำงานเกี่ยวกับนวัตกรรมหลายอย่างในอดีต แต่ถือว่ามีประสิทธิภาพมากที่สุด

คุณภาพที่ได้รับเป็นก้าวสำคัญสู่การเดินทางเพื่อปลดล็อก AI ในภาษาธรรมชาติ นวัตกรรมทั้งสองอย่าง DeepSpeed ​​​​และ Megatron-LM จะเป็นผู้รับประโยชน์หลักของการพัฒนาแบบจำลอง AI และเปิดเส้นทางสำหรับโมเดล AI ขนาดใหญ่ที่มีราคาไม่แพงและฝึกอบรมได้เร็วขึ้น

Microsoft ฝึกโมเดลภาษาสไตล์ GPT3 พารามิเตอร์ 530 พันล้านพารามิเตอร์ นี่คือ LM ที่ใหญ่ที่สุดที่มีอยู่ (นอกจากนี้ยังมีโมเดล MOE หลายโมดอล 1.5 ล้านล้าน+ 'อู่ Dao' MOE ลึกลับ แต่ไม่ค่อยมีใครรู้จัก) Microsoft ฝึกชุดข้อมูล 'The Pile'

instagram story viewer

https://t.co/md03QzqlxA

— แจ็คคลาร์ก (@jackclarkSF) 11 ตุลาคม 2564

การฝึกอบรม

การฝึกอบรมเกิดขึ้นทั่ว 560 เซิร์ฟเวอร์ Nvidia DGX A100ด้วย GPU Nvidia A100 80GB อย่างละ 8 ตัว

แม้ว่า MT-NLP จะมีความสามารถในการอนุมานการดำเนินการทางคณิตศาสตร์พื้นฐาน แต่ก็ไม่ถูกต้องทั้งหมด อย่างไรก็ตาม มันเกินการท่องจำและสามารถทำงานให้เสร็จได้

โมเดลดังกล่าวมีความสำคัญอย่างยิ่งในการขยายอคติที่มีอยู่ในข้อมูลที่ได้รับการฝึกอบรม

แม้ว่า Microsoft จะรับทราบว่ามีความท้าทาย แต่พวกเขามุ่งมั่นที่จะจัดการกับปัญหาเหล่านี้ด้วยการทำเหตุการณ์สำคัญอย่างต่อเนื่องผ่านการวิจัยอย่างต่อเนื่องในขณะที่ลดอันตรายที่อาจเกิดขึ้นกับผู้ใช้ให้เหลือน้อยที่สุด

สำหรับตอนนี้ ผู้ใช้สามารถเพลิดเพลินกับเหตุการณ์สำคัญต่างๆ ที่เกิดขึ้นในขณะที่เรารอดูว่าจะมีอะไรเกิดขึ้นต่อไปในร้านค้า

คุณคิดอย่างไรกับการทำงานร่วมกันระหว่าง Microsoft และ NVIDIA? คุณมีความคาดหวังหรือไม่? แจ้งให้เราทราบในส่วนความคิดเห็นด้านล่าง