กรอบงานใหม่จะปฏิวัติโมเดล AI
- กรอบทำให้สามารถมีความยาวบริบทได้ไม่จำกัด
- ความยาวบริบทที่ไม่จำกัดหมายถึงการสนทนาที่เป็นส่วนตัวมากขึ้นกับโมเดล AI
- โดยพื้นฐานแล้วเป็นขั้นตอนต่อไปสำหรับ AI ในการเข้าใกล้มนุษย์อย่างเต็มที่
Microsoft อยู่ในระดับแนวหน้าของการศึกษา AI และเครื่องมือ AI โดยทั่วไป Copilot กำลังจะมาถึง Windows 11 เร็วๆ นี้ซึ่งเป็นส่วนหนึ่งของการอัปเดต Windows AI กำลังเข้าสู่ Microsoft Teams ด้วย การสรุปอัจฉริยะช่วยให้ผู้คนทำงานได้ง่ายขึ้น.
Bing ยังเป็นหนึ่งในเครื่องมือ AI ที่น่าตื่นเต้นที่สุดอีกด้วยและคุณลักษณะต่างๆ ของโปรแกรมช่วยให้คุณเพิ่มประสิทธิภาพทั้งงานและวิธีนำทางอินเทอร์เน็ตได้
แต่เมื่อต้นสัปดาห์นี้ Microsoft ก็เปิดตัวเช่นกัน Orca 13B จะกลายเป็นโอเพ่นซอร์สในไม่ช้า. Orca 13B เป็นรุ่น AI ขนาดเล็กที่ทำงานด้วยคุณภาพและความเร็วเดียวกันกับรุ่น AI อื่นๆ เช่น ChatGPT
ตอนนี้ในการต่อสู้ของ AI และการวิจัย AI นั้น Microsoft กำลังดำเนินการอยู่ LongMem กรอบสมมุติและโมเดลภาษา AI.
ตามหัวข้อ Reddit นี้, LongMem อนุญาตความยาวบริบทไม่จำกัดที่ GPU ที่ลดลง และการใช้หน่วยความจำ CPU ทั้งหมดนี้ทำด้วยความเร็วที่เร็วขึ้น
Microsoft Research เสนอเฟรมเวิร์กใหม่ LongMem ซึ่งช่วยให้บริบทมีความยาวไม่จำกัดพร้อมกับการใช้หน่วยความจำ GPU ที่ลดลงและความเร็วในการอนุมานที่เร็วขึ้น รหัสจะเป็นโอเพ่นซอร์ส
โดย คุณ/ลามะชิลล์ ใน LocalLLaMA
LongMem เป็นคำตอบของ Microsoft สำหรับความยาวบริบทไม่จำกัดหรือไม่
เพื่อให้เข้าใจว่าการมีความยาวบริบทไม่จำกัดหมายความว่าอย่างไร เราต้องเข้าใจก่อนว่าความยาวบริบทหมายถึงอะไร
ความยาวบริบทหมายถึงจำนวนโทเค็น (คำ เครื่องหมาย ฯลฯ) ที่โมเดลอนุญาต อินพุตและเอาต์พุต และของคุณด้วย
ตัวอย่างเช่น ChatGPT มีโทเค็นจำนวนจำกัด ซึ่งหมายความว่าความยาวของบริบทก็ถูกจำกัดเช่นกัน ทันทีที่ ChatGPT ผ่านขีดจำกัดนั้น การโต้ตอบอย่างต่อเนื่องทั้งหมดที่คุณมีจนถึงจุดนั้นจะหมดความหมายไปทั้งหมด หรือพูดดีกว่า มันจะรีเซ็ต
ดังนั้น หากคุณกำลังเริ่มการสนทนากับ ChatGPT ในหัวข้อ Windows และการสนทนานั้นกินเวลาเกินกว่าบริบทที่จำกัด จากนั้นเครื่องมือ AI จะสูญเสียบริบท และอาจเริ่มเบี่ยงเบนจากหัวเรื่อง หรือการสนทนาทั้งหมดจะ รีเซ็ต
บริบทที่มีความยาวไม่จำกัดจะทำให้แน่ใจว่าจะไม่เกิดขึ้น และโมเดล AI จะยังคงตอบคุณในเรื่องนั้นๆ ต่อไป ในขณะเดียวกันก็เรียนรู้และปรับข้อมูลในขณะที่คุณพูดคุยกับมันเกี่ยวกับ Windows
ซึ่งหมายความว่าโมเดล AI จะปรับแต่งการสนทนาให้เหมาะกับคุณตามที่คุณป้อน ดังนั้นบริบทจึงจำเป็นต้องมีความยาวไม่จำกัด
LongMem ทำงานอย่างไร?
Microsoft สัญญาด้วยการวิจัยใหม่เกี่ยวกับเฟรมเวิร์ก LongMem LongMem จะเปิดใช้งานโมเดลภาษาขนาดใหญ่เพื่อจดจำบริบทระยะยาวและใช้หน่วยความจำระยะยาวด้วยพลังงาน CPU ที่ลดลง
เฟรมเวิร์กประกอบด้วยโมเดลภาษาขนาดใหญ่ที่ถูกแช่แข็งเป็นตัวเข้ารหัสหน่วยความจำ ซึ่งเป็นเครือข่ายด้านที่เหลือ เป็นตัวดึงหน่วยความจำและตัวอ่าน และธนาคารหน่วยความจำแคชที่เก็บคู่คีย์-ค่าจากอดีต บริบท
ในการวิจัยที่ดำเนินการโดย Microsoft การทดลองแสดงให้เห็นว่า LongMem มีประสิทธิภาพดีกว่าพื้นฐานในการสร้างแบบจำลองภาษาข้อความยาว การทำความเข้าใจบริบทแบบยาว และงานการเรียนรู้ในบริบทที่เพิ่มหน่วยความจำ นอกจากนี้ หน่วยความจำระยะยาวช่วยให้สามารถใช้ตัวอย่างการสาธิตได้มากขึ้นเพื่อการเรียนรู้ที่ดีขึ้น
และข่าวดีก็คือ LongMem จะเป็นโอเพ่นซอร์ส ดังนั้นคุณจะสามารถศึกษาและเรียนรู้วิธีนำเฟรมเวิร์กไปใช้ในโมเดล AI ของคุณเองได้ คุณสามารถตรวจสอบ โปรไฟล์ GitHub ที่นี่.
และหากคุณสนใจที่จะอ่านเอกสารการวิจัยทั้งหมดเกี่ยวกับกรอบ ตรงไปที่นี่และตรวจสอบออก.
คุณคิดอย่างไรเกี่ยวกับความก้าวหน้าทางเทคโนโลยีใหม่นี้ จะปฏิวัติวิธีการทำงานของโมเดล AI หรือไม่ โปรดแจ้งให้เราทราบความคิดและความคิดเห็นของคุณด้านล่าง
