LongMem คือคำตอบของ Microsoft สำหรับความยาวบริบทไม่จำกัด

กรอบงานใหม่จะปฏิวัติโมเดล AI

Microsoft อยู่ในระดับแนวหน้าของการศึกษา AI และเครื่องมือ AI โดยทั่วไป Copilot กำลังจะมาถึง Windows 11 เร็วๆ นี้ซึ่งเป็นส่วนหนึ่งของการอัปเดต Windows AI กำลังเข้าสู่ Microsoft Teams ด้วย การสรุปอัจฉริยะช่วยให้ผู้คนทำงานได้ง่ายขึ้น.

Bing ยังเป็นหนึ่งในเครื่องมือ AI ที่น่าตื่นเต้นที่สุดอีกด้วยและคุณลักษณะต่างๆ ของโปรแกรมช่วยให้คุณเพิ่มประสิทธิภาพทั้งงานและวิธีนำทางอินเทอร์เน็ตได้

แต่เมื่อต้นสัปดาห์นี้ Microsoft ก็เปิดตัวเช่นกัน Orca 13B จะกลายเป็นโอเพ่นซอร์สในไม่ช้า. Orca 13B เป็นรุ่น AI ขนาดเล็กที่ทำงานด้วยคุณภาพและความเร็วเดียวกันกับรุ่น AI อื่นๆ เช่น ChatGPT

ตอนนี้ในการต่อสู้ของ AI และการวิจัย AI นั้น Microsoft กำลังดำเนินการอยู่ LongMem กรอบสมมุติและโมเดลภาษา AI.

ตามหัวข้อ Reddit นี้, LongMem อนุญาตความยาวบริบทไม่จำกัดที่ GPU ที่ลดลง และการใช้หน่วยความจำ CPU ทั้งหมดนี้ทำด้วยความเร็วที่เร็วขึ้น

Microsoft Research เสนอเฟรมเวิร์กใหม่ LongMem ซึ่งช่วยให้บริบทมีความยาวไม่จำกัดพร้อมกับการใช้หน่วยความจำ GPU ที่ลดลงและความเร็วในการอนุมานที่เร็วขึ้น รหัสจะเป็นโอเพ่นซอร์ส
โดย คุณ/ลามะชิลล์ ใน LocalLLaMA

LongMem เป็นคำตอบของ Microsoft สำหรับความยาวบริบทไม่จำกัดหรือไม่

เพื่อให้เข้าใจว่าการมีความยาวบริบทไม่จำกัดหมายความว่าอย่างไร เราต้องเข้าใจก่อนว่าความยาวบริบทหมายถึงอะไร

ความยาวบริบทหมายถึงจำนวนโทเค็น (คำ เครื่องหมาย ฯลฯ) ที่โมเดลอนุญาต อินพุตและเอาต์พุต และของคุณด้วย

ตัวอย่างเช่น ChatGPT มีโทเค็นจำนวนจำกัด ซึ่งหมายความว่าความยาวของบริบทก็ถูกจำกัดเช่นกัน ทันทีที่ ChatGPT ผ่านขีดจำกัดนั้น การโต้ตอบอย่างต่อเนื่องทั้งหมดที่คุณมีจนถึงจุดนั้นจะหมดความหมายไปทั้งหมด หรือพูดดีกว่า มันจะรีเซ็ต

ดังนั้น หากคุณกำลังเริ่มการสนทนากับ ChatGPT ในหัวข้อ Windows และการสนทนานั้นกินเวลาเกินกว่าบริบทที่จำกัด จากนั้นเครื่องมือ AI จะสูญเสียบริบท และอาจเริ่มเบี่ยงเบนจากหัวเรื่อง หรือการสนทนาทั้งหมดจะ รีเซ็ต

บริบทที่มีความยาวไม่จำกัดจะทำให้แน่ใจว่าจะไม่เกิดขึ้น และโมเดล AI จะยังคงตอบคุณในเรื่องนั้นๆ ต่อไป ในขณะเดียวกันก็เรียนรู้และปรับข้อมูลในขณะที่คุณพูดคุยกับมันเกี่ยวกับ Windows

ซึ่งหมายความว่าโมเดล AI จะปรับแต่งการสนทนาให้เหมาะกับคุณตามที่คุณป้อน ดังนั้นบริบทจึงจำเป็นต้องมีความยาวไม่จำกัด

LongMem ทำงานอย่างไร?

Microsoft สัญญาด้วยการวิจัยใหม่เกี่ยวกับเฟรมเวิร์ก LongMem LongMem จะเปิดใช้งานโมเดลภาษาขนาดใหญ่เพื่อจดจำบริบทระยะยาวและใช้หน่วยความจำระยะยาวด้วยพลังงาน CPU ที่ลดลง

เฟรมเวิร์กประกอบด้วยโมเดลภาษาขนาดใหญ่ที่ถูกแช่แข็งเป็นตัวเข้ารหัสหน่วยความจำ ซึ่งเป็นเครือข่ายด้านที่เหลือ เป็นตัวดึงหน่วยความจำและตัวอ่าน และธนาคารหน่วยความจำแคชที่เก็บคู่คีย์-ค่าจากอดีต บริบท

ในการวิจัยที่ดำเนินการโดย Microsoft การทดลองแสดงให้เห็นว่า LongMem มีประสิทธิภาพดีกว่าพื้นฐานในการสร้างแบบจำลองภาษาข้อความยาว การทำความเข้าใจบริบทแบบยาว และงานการเรียนรู้ในบริบทที่เพิ่มหน่วยความจำ นอกจากนี้ หน่วยความจำระยะยาวช่วยให้สามารถใช้ตัวอย่างการสาธิตได้มากขึ้นเพื่อการเรียนรู้ที่ดีขึ้น

และข่าวดีก็คือ LongMem จะเป็นโอเพ่นซอร์ส ดังนั้นคุณจะสามารถศึกษาและเรียนรู้วิธีนำเฟรมเวิร์กไปใช้ในโมเดล AI ของคุณเองได้ คุณสามารถตรวจสอบ โปรไฟล์ GitHub ที่นี่.

และหากคุณสนใจที่จะอ่านเอกสารการวิจัยทั้งหมดเกี่ยวกับกรอบ ตรงไปที่นี่และตรวจสอบออก.

คุณคิดอย่างไรเกี่ยวกับความก้าวหน้าทางเทคโนโลยีใหม่นี้ จะปฏิวัติวิธีการทำงานของโมเดล AI หรือไม่ โปรดแจ้งให้เราทราบความคิดและความคิดเห็นของคุณด้านล่าง