Novo ogrodje bo revolucioniralo modele AI.
- Ogrodje omogoča neomejeno dolžino konteksta.
- Neomejena dolžina konteksta pomeni bolj prilagojen pogovor z modeli AI.
- To je v bistvu naslednji korak za umetno inteligenco, da se popolnoma približa človeku.
Microsoft je bil v ospredju izobraževanja o AI in orodij AI na splošno. Copilot bo zelo kmalu prišel v Windows 11, kot del posodobitev sistema Windows. AI si utira pot v Microsoft Teams z inteligenten povzetek, ki ljudem pomaga pri lažjem delu.
Bing je tudi eno najbolj vznemirljivih orodij AI, in njegove funkcije vam omogočajo, da optimizirate svoje delo in način krmarjenja po internetu.
Toda v začetku tega tedna je Microsoft tudi to razkril Orca 13B bo kmalu postala odprtokodna. Orca 13B je majhen AI model, ki deluje z enako kakovostjo in hitrostjo kot drugi modeli AI, kot je ChatGPT.
Zdaj, v boju med AI in raziskavami AI, Microsoft prihaja z LongMem, hipotetični okvir in jezikovni model AI.
Glede na to temo Reddit, LongMem omogoča neomejeno dolžino konteksta pri zmanjšani uporabi pomnilnika GPE in CPE. Vse to se izvaja hitreje.
Microsoft Research predlaga novo ogrodje, LongMem, ki omogoča neomejeno dolžino konteksta skupaj z zmanjšano uporabo pomnilnika GPE in večjo hitrostjo sklepanja. Koda bo odprtokodna
avtor u/llamaShill v LokalnaLLaMA
Je LongMem Microsoftov odgovor za neomejeno dolžino konteksta?
Da bi razumeli, kaj pomeni imeti neomejeno dolžino konteksta, moramo najprej razumeti, kaj pomeni dolžina konteksta?
Dolžina konteksta se nanaša na število žetonov (besed, znakov itd.), ki jih dovoljuje model, njegov vhod in izhod, pa tudi vaš.
Na primer, ChatGPT ima omejeno število žetonov, kar pomeni, da je tudi njegova dolžina konteksta omejena. Takoj, ko ChatGPT preseže to mejo, bo vsa neprekinjena interakcija, ki ste jo imeli z njim do te točke, izgubila ves pomen. Ali bolje rečeno, ponastavil se bo.
Torej, če začnete pogovor s ChatGPT na temo sistema Windows in ta pogovor traja dlje od omejenega konteksta dolžine, bo orodje AI izgubilo kontekst in se bo začelo oddaljevati od teme ali pa bo celoten pogovor ponastaviti.
Neomejena dolžina konteksta bo poskrbela, da se to ne bo zgodilo, model AI pa vam bo še naprej odgovarjal na temo, hkrati pa se bo učil in prilagajal informacije, ko se boste z njim pogovarjali o sistemu Windows.
To pomeni, da bo model AI tudi prilagodil pogovor glede na vaš vnos, zato mora biti kontekst neomejeno dolg.
Kako deluje LongMem?
Microsoft obljublja prav to s svojo novo raziskavo ogrodja LongMem. LongMem bi velikim jezikovnim modelom omogočil pomnjenje dolgoročnih kontekstov in uporabo dolgoročnega pomnilnika pri zmanjšani moči procesorja.
Ogrodje je sestavljeno iz zamrznjenega velikega jezikovnega modela kot pomnilniškega kodirnika, preostalega stranskega omrežja kot prenosnik in bralnik pomnilnika ter predpomnjena pomnilniška banka, ki shranjuje pare ključ-vrednost iz preteklosti konteksti.
V raziskavi, ki jo je izvedel Microsoft, eksperimenti kažejo, da LongMem prekaša izhodiščna merila pri modeliranju jezika dolgega besedila, razumevanju dolgega konteksta in nalogah učenja v kontekstu, razširjenih s spominom. Poleg tega dolgoročni spomin omogoča uporabo več demonstracijskih primerov za boljše učenje.
In dobra novica je, da bo LongMem odprtokoden. Tako ga boste lahko preučili in se naučili implementirati ogrodje v svoj model AI. Lahko preverite svoj profil GitHub tukaj.
In če vas zanima branje celotne raziskovalne naloge o ogrodju, pojdi sem in preveri.
Kaj menite o tem novem tehnološkem preboju? Ali bo revolucioniral način delovanja modelov AI? Spodaj nam sporočite svoje misli in mnenja.
