Нова структура зробить революцію в моделях ШІ.
- Фреймворк дає змогу мати необмежену довжину контексту.
- Необмежена довжина контексту означає більш персоналізовану розмову з моделями ШІ.
- По суті, це наступний крок для штучного інтелекту на шляху повного наближення до людини.
Корпорація Майкрософт була в авангарді освіти ШІ та інструментів ШІ загалом. Незабаром Copilot з’явиться у Windows 11, як частину оновлень Windows. AI прокладає собі дорогу в Microsoft Teams із інтелектуальне резюме, яке допомагає людям працювати легше.
Bing також є одним із найцікавіших інструментів ШІ, а його функції дозволяють оптимізувати як вашу роботу, так і спосіб навігації в Інтернеті.
Але раніше цього тижня Microsoft також представила це Незабаром Orca 13B стане відкритим кодом. Orca 13B — це невелика модель штучного інтелекту, яка працює з такою ж якістю та швидкістю, що й інші моделі штучного інтелекту, наприклад ChatGPT.
Тепер, у боротьбі ШІ та досліджень штучного інтелекту, Microsoft придумує LongMem, гіпотетична структура та мовна модель ШІ.
Відповідно до цієї теми Reddit, LongMem дозволяє необмежену довжину контексту при зменшеному використанні GPU та пам’яті CPU. Усе це виконується на вищій швидкості.
Microsoft Research пропонує новий фреймворк LongMem, який забезпечує необмежену довжину контексту разом зі зменшеним використанням пам’яті GPU та вищою швидкістю висновку. Код буде відкритим
за u/llamaShill в LocalLLaMA
Чи є LongMem відповіддю Microsoft на необмежену довжину контексту?
Ну, щоб зрозуміти, що означає мати необмежену довжину контексту, нам спочатку потрібно зрозуміти, що означає довжина контексту?
Довжина контексту стосується кількості токенів (слів, знаків тощо), дозволених моделлю, її входом і виходом, а також вашим.
Наприклад, ChatGPT має обмежену кількість токенів, що означає, що довжина його контексту також обмежена. Щойно ChatGPT переступить це обмеження, усі безперервні взаємодії, які ви мали з ним до того моменту, втратять будь-яке значення. Або, краще кажучи, скинеться.
Отже, якщо ви починаєте розмову з ChatGPT на тему Windows, і ця розмова триває більше, ніж обмежений контекст тривалість, тоді інструмент ШІ втратить контекст і або почне відхилятися від теми, або вся розмова скинути.
Необмежена довжина контексту гарантує, що цього не станеться, і модель штучного інтелекту продовжуватиме відповідати вам на тему, а також вивчатиме та адаптувати інформацію, коли ви говорите з нею про Windows.
Це означає, що модель штучного інтелекту також персоналізує розмову відповідно до ваших введень, отже необмежену довжину контексту.
Як працює LongMem?
Microsoft обіцяє саме це завдяки своєму новому дослідженню фреймворку LongMem. LongMem дозволить великим мовним моделям запам’ятовувати довгострокові контексти та використовувати довгострокову пам’ять за зниженої потужності ЦП.
Фреймворк складається із замороженої великої мовної моделі як кодера пам’яті та залишкової бічної мережі як засіб отримання та читання пам’яті, а також банк кешованої пам’яті, який зберігає пари ключ-значення з минулого контексти.
У дослідженні, проведеному корпорацією Майкрософт, експерименти показують, що LongMem перевершує базові показники щодо моделювання мови довгого тексту, розуміння тривалого контексту та завдань контекстного навчання з розширеною пам’яттю. Крім того, довготривала пам’ять дозволяє використовувати більше демонстраційних прикладів для кращого навчання.
І хороша новина полягає в тому, що LongMem буде відкритим кодом. Тож ви зможете вивчити його та навчитися впроваджувати фреймворк у власну модель ШІ. Ви можете перевірити свій профіль GitHub тут.
І якщо вам цікаво прочитати всю наукову статтю про структуру, зайдіть сюди та перевірте це.
Що ви думаєте про цей новий технологічний прорив? Чи змінить це спосіб роботи моделей ШІ? Не забудьте повідомити нам свої думки та думки нижче.
