Az új keretrendszer forradalmasítja az AI modelleket.
- A keretrendszer korlátlan kontextushosszúságot tesz lehetővé.
- A korlátlan kontextushossz személyre szabottabb beszélgetést jelent az AI modellekkel.
- Alapvetően ez a következő lépés a mesterséges intelligencia számára, hogy teljesen emberközelivé váljon.
A Microsoft a mesterséges intelligencia oktatásának és általában az AI-eszközöknek az élvonalába tartozik. A Copilot hamarosan megjelenik a Windows 11-ben, a Windows frissítések részeként. Az AI bejut a Microsoft Teamsbe, egy intelligens összefoglaló, amely megkönnyíti az emberek munkáját.
A Bing emellett az egyik legizgalmasabb AI-eszköz, és funkciói lehetővé teszik mind a munka, mind az interneten való navigálás optimalizálását.
A hét elején azonban a Microsoft ezt is bemutatta Az Orca 13B hamarosan nyílt forráskódúvá válik. Az Orca 13B egy kicsi mesterséges intelligencia modell, amely ugyanolyan minőségben és sebességgel működik, mint a többi mesterséges intelligencia modell, például a ChatGPT.
Most, a mesterséges intelligencia és az AI-kutatás csatájában a Microsoft előrukkol LongMem, egy hipotetikus keretrendszer és AI nyelvi modell.
A Reddit szál szerint, A LongMem korlátlan kontextushosszt tesz lehetővé csökkentett GPU- és CPU-memóriahasználat mellett. Mindez nagyobb sebességgel történik.
A Microsoft Research új keretrendszert, a LongMem-et javasolja, amely korlátlan kontextushosszt tesz lehetővé, csökkentett GPU-memóriahasználattal és gyorsabb következtetési sebességgel. A kód nyílt forráskódú lesz
által u/llamaShill ban ben HelyiLLaMA
A LongMem a Microsoft válasza a korlátlan kontextushosszra?
Nos, hogy megértsük, mit jelent a korlátlan kontextushossz, először meg kell értenünk, mit jelent a kontextushossz?
A kontextus hossza a modell által engedélyezett tokenek (szavak, jelek stb.) számát jelenti, a bemeneti és kimeneti, valamint az Öné.
Például a ChatGPT korlátozott számú tokennel rendelkezik, ami azt jelenti, hogy a kontextushossza is korlátozott. Amint a ChatGPT túllépi ezt a korlátot, az addig a pontig vele folytatott folyamatos interakció elveszti jelentőségét. Jobban mondva, visszaáll.
Tehát ha beszélgetést kezd a ChatGPT-vel a Windows témájában, és ez a beszélgetés tovább tart, mint a korlátozott kontextus hosszúságú, akkor az AI eszköz elveszti a kontextust, és vagy elkezd eltérni a tárgytól, vagy az egész beszélgetés Visszaállítás.
A korlátlan kontextushossz gondoskodik arról, hogy ez ne történjen meg, és az AI-modell továbbra is válaszolni fog a témára, miközben megtanulja és adaptálja az információkat, miközben beszél hozzá a Windowsról.
Ez azt jelenti, hogy az AI-modell személyre szabja a beszélgetést az Ön által megadott adatok alapján, ezért a kontextusnak korlátlan hosszúságúnak kell lennie.
Hogyan működik a LongMem?
A Microsoft éppen ezt ígéri a keretrendszerre vonatkozó új kutatásával, a LongMem-mel. A LongMem lehetővé tenné a nagy nyelvi modellek számára, hogy memorizálják a hosszú távú kontextusokat, és csökkentett CPU-teljesítmény mellett használják a hosszú távú memóriát.
A keretrendszer egy lefagyott nagy nyelvi modellből áll, mint memóriakódolóból, egy maradék oldali hálózatból mint a memória-visszakereső és -olvasó, valamint egy gyorsítótárazott memóriabank, amely a múltból származó kulcs-érték párokat tárolja összefüggésekben.
A Microsoft által végzett kutatásban a kísérletek azt mutatják, hogy a LongMem felülmúlja az alapértékeket a hosszú szöveges nyelvi modellezés, a hosszú kontextus megértése és a memóriával kiegészített szövegkörnyezeti tanulási feladatok terén. Ráadásul a hosszú távú memória lehetővé teszi, hogy több demonstrációs példát használjon fel a jobb tanulás érdekében.
És a jó hír az, hogy a LongMem nyílt forráskódú lesz. Így tanulmányozhatja, és megtanulhatja, hogyan implementálja a keretrendszert a saját AI-modelljében. Ellenőrizheted a GitHub-profil itt található.
És ha szeretné elolvasni a teljes kutatási cikket a keretrendszerről, gyere ide és nézd meg.
Mi a véleménye erről az új technológiai áttörésről? Forradalmasítja az AI modellek működését? Az alábbiakban feltétlenül ossza meg velünk gondolatait és véleményét.
