ახალი ჩარჩო რევოლუციას მოახდენს ხელოვნური ინტელექტის მოდელებში.
- ჩარჩო შესაძლებელს ხდის კონტექსტის შეუზღუდავი სიგრძის არსებობას.
- კონტექსტის შეუზღუდავი სიგრძე ნიშნავს უფრო პერსონალიზებულ საუბარს AI მოდელებთან.
- ეს, ძირითადად, შემდეგი ნაბიჯია ხელოვნური ინტელექტისთვის, რათა სრულად მიუახლოვდეს ადამიანს.
Microsoft იყო AI განათლებისა და ზოგადად AI ინსტრუმენტების წინა პლანზე. Copilot მალე მოვა Windows 11-ზე, როგორც Windows განახლებების ნაწილი. ხელოვნური ინტელექტი Microsoft-ის გუნდებში ხვდება ინტელექტუალური მიმოხილვა, რომელიც ეხმარება ადამიანებს უფრო ადვილად იმუშაონ.
Bing ასევე არის ერთ-ერთი ყველაზე საინტერესო AI ინსტრუმენტიდა მისი ფუნქციები საშუალებას გაძლევთ ოპტიმიზაცია მოახდინოთ როგორც სამუშაოზე, ასევე ინტერნეტში ნავიგაციის გზაზე.
მაგრამ ამ კვირის დასაწყისში მაიკროსოფტმაც გამოაქვეყნა ეს Orca 13B მალე გახდება ღია წყარო. Orca 13B არის პატარა AI მოდელი, რომელიც მუშაობს იმავე ხარისხითა და სიჩქარით, როგორც სხვა AI მოდელები, როგორიცაა ChatGPT.
ახლა, ხელოვნური ინტელექტისა და ხელოვნური ინტელექტის კვლევის ბრძოლაში, მაიკროსოფტი გამოდის LongMem, ჰიპოთეტური ჩარჩო და AI ენის მოდელი.
ამ Reddit თემის მიხედვით, LongMem საშუალებას იძლევა შეუზღუდავი კონტექსტის სიგრძე შემცირებული GPU და CPU მეხსიერების გამოყენება. ეს ყველაფერი კეთდება უფრო სწრაფი სიჩქარით.
Microsoft Research გვთავაზობს ახალ ჩარჩოს, LongMem, რომელიც საშუალებას აძლევს შეუზღუდავი კონტექსტის სიგრძეს, GPU მეხსიერების შემცირებულ გამოყენებას და დასკვნის უფრო სწრაფ სიჩქარეს. კოდი იქნება ღია წყარო
მიერ უ/ლამაშილი in LocalLLaMA
არის თუ არა LongMem Microsoft-ის პასუხი შეუზღუდავი კონტექსტის სიგრძეზე?
კარგად, რომ გავიგოთ რას ნიშნავს კონტექსტის შეუზღუდავი სიგრძე, ჯერ უნდა გავიგოთ რას ნიშნავს კონტექსტის სიგრძე?
კონტექსტის სიგრძე მიუთითებს მოდელის მიერ დაშვებული ნიშნების (სიტყვები, ნიშნები და ა.შ.) რაოდენობაზე, მის შეყვანასა და გამომავალზე და ასევე თქვენს მიერ.
მაგალითად, ChatGPT-ს აქვს ტოკენების შეზღუდული რაოდენობა, რაც ნიშნავს, რომ მისი კონტექსტის სიგრძეც შეზღუდულია. როგორც კი ChatGPT გადალახავს ამ ზღვარს, მაშინ ყველა უწყვეტი ურთიერთქმედება, რაც თქვენ გქონდათ მასთან ამ მომენტამდე, დაკარგავს ყოველგვარ მნიშვნელობას. ან უკეთ რომ ვთქვათ, გადაიტვირთება.
ასე რომ, თუ თქვენ იწყებთ საუბარს ChatGPT-თან Windows-ის თემაზე და ეს საუბარი შეზღუდული კონტექსტზე მეტად გრძელდება სიგრძე, მაშინ ხელოვნური ინტელექტის ინსტრუმენტი დაკარგავს კონტექსტს და ან დაიწყებს გადახვევას თემიდან, ან მთელი საუბარი გადატვირთვა.
შეუზღუდავი კონტექსტის სიგრძე დარწმუნდება, რომ ეს არ მოხდება, და AI მოდელი გააგრძელებს თქვენ პასუხს ამ თემაზე, ასევე ისწავლის და ადაპტირებს ინფორმაციას Windows-ის შესახებ საუბრისას.
ეს ნიშნავს, რომ ხელოვნური ინტელექტის მოდელი ასევე მოახდენს საუბრის პერსონალიზაციას თქვენი შეყვანის მიხედვით, შესაბამისად, საჭიროა კონტექსტს ჰქონდეს შეუზღუდავი სიგრძე.
როგორ მუშაობს LongMem?
Microsoft გვპირდება სწორედ ამას მათი ახალი კვლევის ფარგლებში, LongMem-ზე. LongMem საშუალებას მისცემს დიდ ენობრივ მოდელებს დაიმახსოვრონ გრძელვადიანი კონტექსტი და გამოიყენონ გრძელვადიანი მეხსიერება CPU-ს შემცირებული სიმძლავრით.
ჩარჩო შედგება გაყინული დიდი ენის მოდელისგან, როგორც მეხსიერების შიფრატორი, ნარჩენი გვერდითი ქსელი როგორც მეხსიერების რეტრივერი და მკითხველი, და ქეშირებული მეხსიერების ბანკი, რომელიც ინახავს წარსულის გასაღები-მნიშვნელობის წყვილებს კონტექსტებს.
Microsoft-ის მიერ ჩატარებულ კვლევაში, ექსპერიმენტებმა აჩვენა, რომ LongMem აჯობებს საბაზისო ხაზებს გრძელი ტექსტის ენის მოდელირებაზე, გრძელ კონტექსტის გაგებაზე და მეხსიერების გაძლიერებულ კონტექსტში სწავლის ამოცანებზე. გარდა ამისა, გრძელვადიანი მეხსიერება საშუალებას აძლევს მას გამოიყენოს მეტი საჩვენებელი მაგალითები უკეთესი სწავლისთვის.
და კარგი ამბავი ის არის, რომ LongMem იქნება ღია წყარო. ასე რომ, თქვენ შეძლებთ მის შესწავლას და ისწავლით როგორ განახორციელოთ ფრეიმიკა საკუთარ AI მოდელში. Შეგიძლია შეამოწმო მისი GitHub პროფილი აქ.
და თუ გაინტერესებთ წაიკითხეთ მთელი კვლევის ნაშრომი ჩარჩოზე, გადადით აქ და შეამოწმეთ.
რას ფიქრობთ ამ ახალ ტექნოლოგიურ მიღწევაზე? მოახდენს თუ არა ის რევოლუციას AI მოდელების მუშაობაში? აუცილებლად გაგვაგებინე შენი აზრები და მოსაზრებები ქვემოთ.
