Uus raamistik muudab AI mudelid revolutsiooniliseks.
- Raamistik võimaldab piiramatut konteksti pikkust.
- Piiramatu konteksti pikkus tähendab isikupärasemat vestlust AI mudelitega.
- Põhimõtteliselt on see AI järgmine samm inimese lähedaseks muutumisel.
Microsoft on olnud AI-hariduse ja üldiselt AI-tööriistade esirinnas. Copilot jõuab peagi Windows 11-sse, osana Windowsi värskendustest. AI on jõudmas Microsoft Teamsi koos intelligentne kokkuvõte, mis aitab inimestel lihtsamalt töötada.
Bing on ka üks põnevamaid tehisintellekti tööriistuja selle funktsioonid võimaldavad optimeerida nii oma tööd kui ka Internetis navigeerimist.
Kuid selle nädala alguses avalikustas ka Microsoft selle Orca 13B muutub peagi avatud lähtekoodiks. Orca 13B on väike tehisintellekti mudel, mis toimib sama kvaliteediga ja kiirusega kui teised AI mudelid, nagu ChatGPT.
Nüüd, tehisintellekti ja tehisintellekti uurimise võitluses, tuleb Microsoft välja LongMem, hüpoteetiline raamistik ja AI keelemudel.
Selle Redditi lõime järgi
, LongMem võimaldab piiramatut konteksti pikkust vähendatud GPU ja CPU mälukasutusega. Kõik need tehakse suurema kiirusega.Microsoft Research pakub välja uue raamistiku LongMem, mis võimaldab piiramatut konteksti pikkust koos väiksema GPU-mälu kasutamisega ja kiirema järelduste tegemise kiirusega. Kood on avatud lähtekoodiga
kõrval u/llamaShill sisse KohalikLLaMA
Kas LongMem on Microsofti vastus piiramatu konteksti pikkuse jaoks?
Noh, et mõista, mida tähendab piiramatu konteksti pikkus, peame kõigepealt mõistma, mida konteksti pikkus tähendab?
Konteksti pikkus viitab mudeli lubatud märkide (sõnade, märkide jne) arvule, selle sisendile ja väljundile ning ka teie omale.
Näiteks ChatGPT-l on piiratud arv märke, mis tähendab, et ka selle konteksti pikkus on piiratud. Niipea, kui ChatGPT ületab selle limiidi, kaotab kogu selle ajani sellega olnud pidev suhtlus oma tähtsuse. Või õigemini öeldes lähtestatakse.
Nii et kui alustate vestlust ChatGPT-ga Windowsi teemal ja see vestlus kestab kauem kui piiratud kontekst pikkus, siis kaotab AI tööriist konteksti ja hakkab kas teemast kõrvale kalduma või kogu vestlus lähtestada.
Piiramatu kontekstipikkus tagab, et seda ei juhtu ja AI-mudel vastab teile jätkuvalt sellel teemal, õppides ja kohandades samal ajal teavet, kui te sellega Windowsi kohta räägite.
See tähendab, et tehisintellekti mudel isikupärastab ka vestlust vastavalt teie sisendile, seega peab kontekst olema piiramatu pikkusega.
Kuidas LongMem töötab?
Microsoft lubab just seda oma uue raamistiku LongMem uuringuga. LongMem võimaldaks suurtel keelemudelitel jätta meelde pikaajalisi kontekste ja kasutada pikaajalist mälu vähendatud protsessori võimsusel.
Raamistik koosneb külmutatud suurest keelemudelist kui mälu kodeerijast, jääkvõrgust mälu retriiverina ja lugejana ning vahemällu salvestatud mälupangana, mis salvestab mineviku võtme-väärtuste paare kontekstides.
Microsofti tehtud uuringus näitavad katsed, et LongMem ületab pika teksti keele modelleerimise, pika konteksti mõistmise ja mäluga täiendatud kontekstisiseste õppeülesannete baastasemeid. Lisaks võimaldab pikaajaline mälu paremini õppimiseks kasutada rohkem näiteid.
Ja hea uudis on see, et LongMem on avatud lähtekoodiga. Nii saate seda uurida ja õppida, kuidas raamistikku oma tehisintellekti mudelis rakendada. Saate kontrollida selle GitHubi profiil siin.
Ja kui soovite lugeda kogu raamistikku käsitlevat uurimistööd, minge siia ja vaadake seda.
Mida arvate sellest uuest tehnoloogilisest läbimurdest? Kas see muudab AI mudelite töö revolutsiooniliseks? Andke meile kindlasti allpool oma mõtted ja arvamused teada.
