LongMem to odpowiedź Microsoftu na nieograniczoną długość kontekstu

Nowe ramy zrewolucjonizują modele sztucznej inteligencji.

Firma Microsoft przoduje w edukacji w zakresie sztucznej inteligencji i ogólnie w narzędziach sztucznej inteligencji. Copilot wkrótce pojawi się w systemie Windows 11, jako część aktualizacji systemu Windows. AI wkracza do Microsoft Teams, z inteligentne podsumowanie ułatwiające ludziom pracę.

Bing jest również jednym z najbardziej ekscytujących narzędzi sztucznej inteligencji, a jego funkcje pozwalają zoptymalizować zarówno pracę, jak i sposób poruszania się po Internecie.

Ale na początku tego tygodnia Microsoft również to ujawnił Orca 13B wkrótce stanie się open source. Orca 13B to mały model AI, który działa z taką samą jakością i szybkością jak inne modele AI, takie jak ChatGPT.

Teraz, w bitwie o sztuczną inteligencję i badania nad sztuczną inteligencją, Microsoft wymyśla

LongMem, hipotetyczny framework i model języka AI.

Według tego wątku Reddit, LongMem pozwala na nieograniczoną długość kontekstu przy zmniejszonym zużyciu procesora graficznego i procesora. Wszystko to odbywa się z większą prędkością.

Microsoft Research proponuje nową platformę, LongMem, pozwalającą na nieograniczoną długość kontekstu wraz ze zmniejszonym wykorzystaniem pamięci GPU i większą szybkością wnioskowania. Kod będzie otwarty
przez u/llamaShill W LocalLLaMA

Czy LongMem jest odpowiedzią firmy Microsoft na nieograniczoną długość kontekstu?

Cóż, aby zrozumieć, co to znaczy mieć nieograniczoną długość kontekstu, musimy najpierw zrozumieć, co oznacza długość kontekstu?

Długość kontekstu odnosi się do liczby tokenów (słów, znaków itp.) dozwolonych przez model, jego dane wejściowe i wyjściowe, a także twoje.

Na przykład ChatGPT ma ograniczoną liczbę tokenów, co oznacza, że ​​długość kontekstu jest również ograniczona. Gdy tylko ChatGPT przekroczy ten limit, cała ciągła interakcja, jaką miałeś z nim do tego momentu, straci wszelkie znaczenie. Lub lepiej powiedzieć, zresetuje się.

Więc jeśli zaczynasz rozmowę z ChatGPT na temat systemu Windows, a ta rozmowa trwa dłużej niż ograniczony kontekst długość, narzędzie AI straci kontekst i albo zacznie odchodzić od tematu, albo cała rozmowa Resetowanie.

Nieograniczona długość kontekstu sprawi, że tak się nie stanie, a model sztucznej inteligencji będzie nadal odpowiadał na ten temat, jednocześnie ucząc się i dostosowując informacje o systemie Windows, gdy z nim rozmawiasz.

Oznacza to, że model AI spersonalizuje rozmowę zgodnie z Twoimi danymi wejściowymi, stąd potrzeba, aby kontekst miał nieograniczoną długość.

Jak działa LongMem?

Microsoft obiecuje właśnie to dzięki swoim nowym badaniom nad frameworkiem LongMem. LongMem umożliwiłby dużym modelom językowym zapamiętywanie długoterminowych kontekstów i wykorzystywanie pamięci długoterminowej przy zmniejszonej mocy procesora.

Ramy składają się z zamrożonego dużego modelu językowego jako kodera pamięci, pozostałej sieci bocznej jako moduł pobierania i czytnik pamięci oraz bank pamięci w pamięci podręcznej, w którym przechowywane są pary klucz-wartość z przeszłości konteksty.

W badaniach przeprowadzonych przez firmę Microsoft eksperymenty pokazują, że LongMem przewyższa wyniki bazowe w modelowaniu języka długiego tekstu, zrozumieniu długiego kontekstu i zadaniach uczenia się kontekstowego z pamięcią rozszerzoną. Ponadto pamięć długotrwała pozwala na wykorzystanie większej liczby przykładów demonstracyjnych w celu lepszego uczenia się.

Dobrą wiadomością jest to, że LongMem będzie open-source. Dzięki temu będziesz mógł go przestudiować i dowiedzieć się, jak zaimplementować framework we własnym modelu AI. Możesz sprawdzić jego profil GitHub tutaj.

A jeśli jesteś zainteresowany przeczytaniem całego artykułu badawczego na temat frameworka, wejdź tutaj i sprawdź.

Co sądzisz o tym nowym przełomie technologicznym? Czy zrewolucjonizuje sposób działania modeli AI? Nie zapomnij podzielić się z nami swoimi przemyśleniami i opiniami poniżej.