LongMem е отговорът на Microsoft за неограничена дължина на контекста

Новата рамка ще революционизира AI моделите.

  • Рамката позволява да имате неограничена дължина на контекста.
  • Неограничената дължина на контекста означава по-персонализиран разговор с AI модели.
  • По същество това е следващата стъпка за ИИ в пълното доближаване до човека.
microsoft longmem

Microsoft е в челните редици на образованието за ИИ и инструментите за ИИ като цяло. Copilot идва в Windows 11 много скоро, като част от актуализациите на Windows. AI си проправя път в Microsoft Teams с интелигентно обобщение, което помага на хората да работят по-лесно.

Bing също е един от най-вълнуващите инструменти за изкуствен интелект, а неговите функции ви позволяват да оптимизирате както работата си, така и начина, по който навигирате в интернет.

Но по-рано тази седмица Microsoft също разкри това Orca 13B скоро ще стане с отворен код. Orca 13B е малък AI модел, който работи със същото качество и скорост като другите модели AI, като ChatGPT.

Сега, в битката на AI и изследванията на AI, Microsoft излиза с LongMem, хипотетична рамка и езиков модел на AI.

Според тази тема на Reddit, LongMem позволява неограничена дължина на контекста при намалено използване на паметта на GPU и CPU. Всичко това се извършва с по-висока скорост.

Microsoft Research предлага нова рамка, LongMem, позволяваща неограничена дължина на контекста заедно с намалено използване на GPU памет и по-бърза скорост на извод. Кодът ще бъде с отворен код
от u/llamaShill в LocalLLaMA

Дали LongMem е отговорът на Microsoft за неограничена дължина на контекста?

Е, за да разберем какво означава да имаме неограничена дължина на контекста, първо трябва да разберем какво означава дължина на контекста?

Дължината на контекста се отнася до броя на токените (думи, знаци и т.н.), разрешени от даден модел, неговия вход и изход, както и вашия.microsoft longmem

Например, ChatGPT има ограничен брой токени, което означава, че неговата дължина на контекста също е ограничена. Веднага щом ChatGPT премине това ограничение, цялото непрекъснато взаимодействие, което сте имали с него до този момент, ще загуби всякакво значение. Или по-добре казано, ще се нулира.

Така че, ако започвате разговор с ChatGPT на тема Windows и този разговор продължава повече от ограничения контекст дължина, тогава AI инструментът ще загуби контекста и или ще започне да се отклонява от темата, или целият разговор ще нулиране.

Неограничената дължина на контекста ще гарантира, че това няма да се случи, а AI моделът ще продължи да ви отговаря по темата, като същевременно научава и адаптира информация, докато говорите с него за Windows.

Това означава, че AI моделът също така ще персонализира разговора според вашето въвеждане, следователно е необходимо контекстът да има неограничена дължина.

Как работи LongMem?

Microsoft обещава точно това с новото си изследване на рамката, LongMem. LongMem би позволил на големите езикови модели да запомнят дългосрочни контексти и да използват дългосрочна памет при намалена мощност на процесора.

Рамката се състои от замразен голям езиков модел като енкодер на паметта, остатъчна странична мрежа като устройство за извличане и четене на паметта и банка с кеширана памет, която съхранява двойки ключ-стойност от миналото контексти.

В изследването, направено от Microsoft, експериментите показват, че LongMem превъзхожда базовите линии за моделиране на език на дълъг текст, разбиране на дълъг контекст и задачи за учене в контекст с разширена памет. Освен това дългосрочната памет му позволява да използва повече демонстрационни примери за по-добро учене.

И добрата новина е, че LongMem ще бъде с отворен код. Така че ще можете да го изучавате и да научите как да внедрите рамката във вашия собствен AI модел. Можете да проверите неговия профил в GitHub тук.

И ако проявявате интерес да прочетете цялата изследователска статия за рамката, отидете тук и вижте.

Какво мислите за този нов технологичен пробив? Ще революционизира ли начина, по който работят AI моделите? Не забравяйте да ни кажете вашите мисли и мнения по-долу.

Новият шаблон на Teams за външни гости ви предлага повече контрол върху срещите

Новият шаблон на Teams за външни гости ви предлага повече контрол върху срещитеMicrosoftекипи на Microsoft

Функцията ще бъде достъпна за всички потребители на Premium Teams.Функцията е планирана да бъде пусната през октомври 2023 г.Microsoft наскоро обяви друга подобна функция, подходяща за външни участ...

Прочетете още
Microsoft Surface Event 2023: Най-големите функции

Microsoft Surface Event 2023: Най-големите функцииMicrosoft

Събитието показа ясно, че Microsoft е изцяло за AI. И сега 26 септември не може да дойде достатъчно скоро.Windows 23H2 и Copilot ще бъдат пуснати на 26 септември. Surface Studio 2, Surface Laptop G...

Прочетете още
Пълните спецификации на Surface Studio 2 са разкрити и това е звяр

Пълните спецификации на Surface Studio 2 са разкрити и това е звярMicrosoftПовърхностен лаптоп

Въпреки че устройството е доста скъпо, си заслужава.Surface Studio 2 може да бъде лаптоп, таблет или платно. Устройството е подходящо за креативни професионалисти, но и обикновените геймъри могат д...

Прочетете още