LLM การเข้ารหัสใหม่ของ Microsoft จะมาหลังจาก GPT 4

phi-1 เป็นรูปแบบภาษาใหม่ของ Microsoft สำหรับการเข้ารหัส

Microsoft กำลังก้าวไปสู่การพัฒนา AI ครั้งใหญ่ เมื่อเดือนที่แล้ว AI อยู่ในระดับแนวหน้าของการประชุม Microsoft Build และเทคโนโลยีที่ใช้ Redmond ถึงกับประกาศว่า Copilot กำลังจะมาถึง Windows 11. ในฐานะที่เป็นแอปในตัวสำหรับทุกสิ่งที่คุณต้องการ

AI กำลังจะมาถึง Microsoft Teams เช่นกัน ในเครื่องมือ Recap Ai. และเครื่องมืออื่นๆ มากมายจาก Microsoft จะใช้ AI รวมถึง Microsoft Fabric

แต่ดูเหมือนว่า Microsoft จะให้ทุนวิจัย AI ด้วยเช่นกัน เมื่อไม่นานมานี้ ยักษ์ใหญ่ด้านเทคโนโลยีได้ประกาศ Orca 13B จะเป็นโอเพ่นซอร์ส. และ LongMem เป็นอีกหนึ่งข้อดีในการวิจัย AI: เป็นคำตอบสำหรับความยาวบริบทไม่จำกัด

และตอนนี้มีเวลาสำหรับความก้าวหน้าครั้งใหญ่อีกครั้งในการวิจัย AI ซึ่งมาจาก Microsoft แน่นอน แบบจำลองพารามิเตอร์ 1.3B ใหม่ซึ่งเข้ารหัส LLM เรียกว่า phi-1 มีรายงานว่ามีประสิทธิภาพดีกว่า GPT 3.5 ในการฝึกอบรมเพียง 4 วัน

phi-1 คืออะไร และมีประสิทธิภาพเหนือกว่า GPT อยู่แล้วอย่างไร

พี-1 เป็นรูปแบบภาษาพารามิเตอร์ 1.3B ใหม่สำหรับโค้ดด้วยขนาดที่เล็กกว่ารุ่นคู่แข่งอย่างมาก โมเดลภาษาได้รับการฝึกฝนเป็นเวลา 4 วัน โทเค็นมากกว่า 7B (เห็นโทเค็นทั้งหมดมากกว่า 50B เล็กน้อย) ตามด้วยการปรับแต่งโทเค็นน้อยกว่า 200M

แม้จะมีขนาดเล็กกว่ารุ่นคู่แข่งมาก แต่ phi-1 ก็บรรลุถึง 50.6% [ป้องกันอีเมล] ความแม่นยำของ HumanEval และ 55.5% [ป้องกันอีเมล] ความแม่นยำบน MBPP (โปรแกรม Python พื้นฐานส่วนใหญ่) ซึ่งเป็นหนึ่งในหมายเลขที่รายงานด้วยตนเองที่ดีที่สุดโดยใช้การสร้าง LLM เพียงรุ่นเดียว

ยิ่งไปกว่านั้น แม้ว่าจะได้รับการฝึกอบรมเกี่ยวกับโทเค็นที่น้อยกว่ามากเมื่อเทียบกับรุ่นที่มีอยู่แล้ว แต่ phi-1 ก็ยังมีศักยภาพมากมาย

การปรับปรุงใน HumanEval เป็นความสำเร็จที่ยิ่งใหญ่ที่สุดของ phi-1 เป็นรูปแบบภาษา หลังจากปรับแต่งแล้ว phi-1 สามารถดำเนินการงานที่ไม่มีอยู่ในชุดข้อมูลการปรับแต่ง ซึ่งหมายถึงโมเดลที่ดัดแปลงและปรับปรุงกระบวนการปรับแต่งอย่างละเอียด

และสิ่งที่น่าทึ่งที่สุดคือ phi-1 จัดระเบียบใหม่และรวบรวมความรู้ที่ได้รับระหว่างการฝึกสอน แม้ว่าความรู้จะไม่ได้ปรากฏอย่างชัดเจนตั้งแต่แรกก็ตาม

พูดสั้นๆ ได้ว่า phi-1 ไม่เพียงแต่เรียนรู้ระหว่างการฝึกอบรมเท่านั้น แต่ยังขยายความรู้ด้วยตัวมันเองอีกด้วย มันมีประสิทธิภาพเหนือกว่า GPT 3.5 ในทุกระดับ และใช้เวลาไม่นานกว่าที่โมเดลขนาดเล็กจะเข้าแทนที่โมเดลใหญ่อย่าง GPT 4

คุณคิดอย่างไรเกี่ยวกับโมเดล AI ใหม่นี้ คุณคิดว่าการวิจัย AI กำลังมุ่งหน้าไปทางไหน? อย่าลืมแจ้งให้เราทราบความคิดเห็นของคุณในส่วนความคิดเห็นด้านล่าง