Nový rámec způsobí revoluci v modelech umělé inteligence.
- Rámec umožňuje neomezenou délku kontextu.
- Neomezená délka kontextu znamená více přizpůsobenou konverzaci s modely AI.
- Je to v podstatě další krok pro umělou inteligenci, jak se plně přiblížit člověku.
Microsoft byl v popředí vzdělávání AI a nástrojů AI obecně. Copilot přijde na Windows 11 velmi brzy, jako součást aktualizací systému Windows. Umělá inteligence si razí cestu do Microsoft Teams s inteligentní rekapitulace, která lidem pomáhá snáze pracovat.
Bing je také jedním z nejzajímavějších nástrojů umělé inteligencea jeho funkce vám umožňují optimalizovat jak vaši práci, tak způsob, jakým se pohybujete na internetu.
Na začátku tohoto týdne to ale odhalil i Microsoft Orca 13B se brzy stane open source. Orca 13B je malý model umělé inteligence, který funguje ve stejné kvalitě a rychlosti jako ostatní modely umělé inteligence, jako je ChatGPT.
Nyní v bitvě AI a výzkumu AI přichází Microsoft LongMem, hypotetický rámec a jazykový model AI.
Podle tohoto vlákna na ReddituLongMem umožňuje neomezenou délku kontextu při sníženém využití GPU a CPU. To vše se provádí při vyšší rychlosti.
Microsoft Research navrhuje nový rámec LongMem, který umožňuje neomezenou délku kontextu spolu se sníženým využitím paměti GPU a vyšší rychlostí odvození. Kód bude open source
podle u/lamaShill v LocalLLaMA
Je LongMem odpovědí Microsoftu na neomezenou délku kontextu?
Abychom pochopili, co to znamená mít neomezenou délku kontextu, musíme nejprve pochopit, co znamená délka kontextu?
Délka kontextu se týká počtu tokenů (slov, znaků atd.) povolených modelem, jeho vstupem a výstupem a také vaším.
Například ChatGPT má omezený počet tokenů, což znamená, že jeho délka kontextu je také omezena. Jakmile ChatGPT překročí tento limit, pak veškerá nepřetržitá interakce, kterou jste s ním do té doby měli, ztratí veškerý význam. Nebo lépe řečeno, resetuje se.
Pokud tedy začínáte konverzaci s ChatGPT na téma Windows a tato konverzace trvá déle než omezený kontext délce, pak nástroj AI ztratí kontext a buď se začne odklánět od tématu, nebo se celá konverzace resetovat.
Neomezená délka kontextu zajistí, že se to nestane, a model umělé inteligence vám bude nadále odpovídat na toto téma a zároveň se bude učit a přizpůsobovat informace, když s ním budete mluvit o Windows.
To znamená, že model AI také přizpůsobí konverzaci podle vašeho vstupu, a proto je potřeba, aby měl kontext neomezenou délku.
Jak LongMem funguje?
Microsoft to slibuje svým novým výzkumem rámce LongMem. LongMem by umožnil velkým jazykovým modelům zapamatovat si dlouhodobé souvislosti a využít dlouhodobou paměť při sníženém výkonu CPU.
Rámec se skládá ze zmrazeného velkého jazykového modelu jako paměťového kodéru, zbytkové postranní sítě jako paměťový retriever a čtečka a paměťová banka uložená v mezipaměti, která ukládá páry klíč-hodnota z minulosti kontexty.
Ve výzkumu provedeném společností Microsoft experimenty ukazují, že LongMem překonává základní linie modelování jazyka s dlouhým textem, porozumění dlouhému kontextu a kontextových výukových úloh s rozšířenou pamětí. Navíc dlouhodobá paměť umožňuje využít více demonstračních příkladů pro lepší učení.
A dobrou zprávou je, že LongMem bude open-source. Budete si jej tedy moci prostudovat a naučit se implementovat framework do vlastního modelu AI. Můžeš zkontrolovat jeho profil GitHub zde.
A pokud máte zájem přečíst si celý výzkumný dokument o frameworku, zamiřte sem a zkontrolujte to.
Co si myslíte o tomto novém technologickém průlomu? Změní způsob, jakým fungují modely umělé inteligence? Nezapomeňte nám níže sdělit své myšlenky a názory.
