LongMem — ответ Microsoft на неограниченную длину контекста

Новая структура совершит революцию в моделях ИИ.

Microsoft была в авангарде обучения ИИ и инструментов ИИ в целом. Copilot появится в Windows 11 очень скоро, как часть обновлений Windows. ИИ проникает в Microsoft Teams с интеллектуальное резюме, помогающее людям работать легче.

Bing также является одним из самых интересных инструментов искусственного интеллекта., а его функции позволяют оптимизировать как вашу работу, так и вашу навигацию в Интернете.

Но ранее на этой неделе Microsoft также представила, что Orca 13B скоро станет открытым исходным кодом. Orca 13B — это небольшая модель ИИ, которая работает с тем же качеством и скоростью, что и другие модели ИИ, такие как ChatGPT.

Теперь, в битве ИИ и исследований ИИ, Microsoft предлагает LongMem, гипотетическая структура и языковая модель ИИ.

Согласно этой ветке Reddit, LongMem допускает неограниченную длину контекста при уменьшенном использовании памяти GPU и CPU. Все это делается на более высокой скорости.

Microsoft Research предлагает новую структуру LongMem, позволяющую использовать неограниченную длину контекста, а также уменьшать использование памяти графического процессора и повышать скорость логического вывода. Код будет открытым
к ты/ламаШилл в МестнаяLLaMA

Является ли LongMem ответом Microsoft для неограниченной длины контекста?

Итак, чтобы понять, что значит иметь неограниченную длину контекста, нам сначала нужно понять, что означает длина контекста?

Длина контекста относится к количеству токенов (слов, знаков и т. д.), разрешенных моделью, ее вводом и выводом, а также вашим.

Например, ChatGPT имеет ограниченное количество токенов, что означает, что длина его контекста также ограничена. Как только ChatGPT преодолеет этот предел, все непрерывное взаимодействие, которое у вас было с ним до этого момента, потеряет всякое значение. Или, лучше сказать, он будет сброшен.

Так что, если вы начинаете разговор с ChatGPT на тему Windows, и этот разговор длится дольше, чем ограниченный контекст длины, то инструмент ИИ потеряет контекст и либо начнет отклоняться от темы, либо весь разговор перезагрузить.

Неограниченная длина контекста гарантирует, что этого не произойдет, а модель ИИ будет продолжать отвечать вам по теме, а также изучать и адаптировать информацию, когда вы говорите ей о Windows.

Это означает, что модель ИИ также будет персонализировать разговор в соответствии с вашим вводом, поэтому контекст должен иметь неограниченную длину.

Как работает LongMem?

Microsoft обещает именно это своим новым исследованием фреймворка LongMem. LongMem позволит большим языковым моделям запоминать долгосрочные контексты и использовать долговременную память при сниженной мощности процессора.

Фреймворк состоит из замороженной большой языковой модели в качестве кодировщика памяти, остаточной боковой сети. как средство извлечения и чтения памяти, а также кэшированный банк памяти, в котором хранятся пары ключ-значение из прошлых контексты.

В исследовании, проведенном Microsoft, эксперименты показывают, что LongMem превосходит базовые показатели в моделировании длинного текста, понимании длинного контекста и задачах обучения в контексте с дополненной памятью. Кроме того, долговременная память позволяет использовать больше демонстрационных примеров для лучшего обучения.

И хорошая новость заключается в том, что LongMem будет с открытым исходным кодом. Таким образом, вы сможете изучить его и узнать, как внедрить фреймворк в свою собственную модель ИИ. Вы можете проверить его профиль GitHub здесь.

И если вам интересно прочитать всю исследовательскую работу по фреймворку, зайди сюда и посмотри.

Что вы думаете об этом новом технологическом прорыве? Изменит ли это то, как работают модели ИИ? Не забудьте сообщить нам свои мысли и мнения ниже.