Nový rámec spôsobí revolúciu v modeloch AI.
- Rámec umožňuje neobmedzenú dĺžku kontextu.
- Neobmedzená dĺžka kontextu znamená prispôsobenejšiu konverzáciu s modelmi AI.
- Je to v podstate ďalší krok pre AI, aby sa úplne priblížila človeku.
Spoločnosť Microsoft bola v popredí vzdelávania AI a nástrojov AI vo všeobecnosti. Copilot príde na Windows 11 veľmi skoro, ako súčasť aktualizácií systému Windows. Umelá inteligencia si razí cestu do Microsoft Teams s inteligentná rekapitulácia, ktorá pomáha ľuďom ľahšie pracovať.
Bing je tiež jedným z najzaujímavejších nástrojov AIa jeho funkcie vám umožňujú optimalizovať prácu aj spôsob navigácie na internete.
Začiatkom tohto týždňa to však odhalil aj Microsoft Orca 13B sa čoskoro stane open source. Orca 13B je malý model AI, ktorý má rovnakú kvalitu a rýchlosť ako ostatné modely AI, napríklad ChatGPT.
Teraz v súboji AI a výskumu AI prichádza Microsoft s LongMem, hypotetický rámec a jazykový model AI.
Podľa tohto vlákna RedditLongMem umožňuje neobmedzenú dĺžku kontextu pri zníženom využití GPU a CPU. To všetko sa vykonáva pri vyššej rýchlosti.
Microsoft Research navrhuje nový rámec LongMem, ktorý umožňuje neobmedzenú dĺžku kontextu spolu so zníženým využitím pamäte GPU a vyššou rýchlosťou odvodzovania. Kód bude otvorený
podľa u/lamaShill v LocalLLaMA
Je LongMem odpoveďou spoločnosti Microsoft na neobmedzenú dĺžku kontextu?
Aby sme pochopili, čo znamená mať neobmedzenú dĺžku kontextu, musíme najprv pochopiť, čo znamená dĺžka kontextu?
Dĺžka kontextu sa vzťahuje na počet tokenov (slov, znakov atď.), ktoré povoľuje model, jeho vstup a výstup a tiež váš.
Napríklad ChatGPT má obmedzený počet tokenov, čo znamená, že aj dĺžka jeho kontextu je obmedzená. Akonáhle ChatGPT prekročí tento limit, potom všetka nepretržitá interakcia, ktorú ste s ním dovtedy mali, stratí akýkoľvek význam. Alebo lepšie povedané, zresetuje sa.
Ak teda začínate konverzáciu s ChatGPT na tému Windows a táto konverzácia trvá viac ako obmedzený kontext dĺžky, potom nástroj AI stratí kontext a buď sa začne odchyľovať od témy, alebo sa celá konverzácia resetovať.
Neobmedzená dĺžka kontextu zaistí, že sa to nestane, a model AI vám bude naďalej odpovedať na túto tému a zároveň sa učiť a prispôsobovať informácie, keď s ním budete hovoriť o systéme Windows.
To znamená, že model AI tiež prispôsobí konverzáciu podľa vášho vstupu, a preto je potrebné, aby mal kontext neobmedzenú dĺžku.
Akým spôsobom liek LongMem účinkuje?
Microsoft to sľubuje s novým výskumom rámca LongMem. LongMem by umožnil veľkým jazykovým modelom zapamätať si dlhodobé súvislosti a využívať dlhodobú pamäť pri zníženom výkone CPU.
Rámec pozostáva zo zmrazeného veľkého jazykového modelu ako pamäťového kodéra, zvyškovej bočnej siete ako pamäťový retriever a čítačka a vyrovnávacia pamäťová banka, ktorá ukladá páry kľúč-hodnota z minulosti kontextoch.
Vo výskume vykonanom spoločnosťou Microsoft experimenty ukazujú, že LongMem prekonáva základné línie modelovania jazyka dlhého textu, porozumenia v dlhom kontexte a úloh kontextového učenia s rozšírenou pamäťou. Navyše, dlhodobá pamäť mu umožňuje využívať viac demonštračných príkladov pre lepšie učenie.
A dobrou správou je, že LongMem bude open-source. Takže si ho budete môcť preštudovať a naučiť sa implementovať rámec vo svojom vlastnom modeli AI. Môžete skontrolovať jeho profil GitHub tu.
A ak máte záujem prečítať si celý výskumný dokument o rámci, choďte sem a skontrolujte to.
Čo si myslíte o tomto novom technologickom objave? Spôsobí to revolúciu v spôsobe fungovania modelov AI? Určite nám nižšie dajte vedieť svoje myšlienky a názory.
