Jaunā sistēma radīs revolūciju AI modeļos.
- Ietvars nodrošina neierobežotu konteksta garumu.
- Neierobežots konteksta garums nozīmē personalizētāku sarunu ar AI modeļiem.
- Tas būtībā ir nākamais solis AI, lai pilnībā kļūtu tuvu cilvēkam.
Microsoft ir bijis AI izglītības un AI rīku priekšgalā kopumā. Ļoti drīz Copilot ieradīsies operētājsistēmā Windows 11, kā daļa no Windows atjauninājumiem. AI iekļūst Microsoft Teams ar inteliģents kopsavilkums, kas palīdz cilvēkiem strādāt vieglāk.
Bing ir arī viens no aizraujošākajiem AI rīkiem, un tā funkcijas ļauj optimizēt gan darbu, gan veidu, kā orientēties internetā.
Bet šīs nedēļas sākumā Microsoft arī to atklāja Orca 13B drīzumā kļūs par atvērtā koda avotu. Orca 13B ir mazs AI modelis, kas darbojas tādā pašā kvalitātē un ātrumā kā citi AI modeļi, piemēram, ChatGPT.
Tagad AI un AI izpētes cīņā Microsoft nāk klajā ar LongMem, hipotētisks ietvars un AI valodas modelis.
Saskaņā ar šo Reddit pavedienu, LongMem nodrošina neierobežotu konteksta garumu ar samazinātu GPU un CPU atmiņas lietojumu. Tas viss tiek darīts ar lielāku ātrumu.
Microsoft Research piedāvā jaunu sistēmu LongMem, kas nodrošina neierobežotu konteksta garumu, kā arī samazinātu GPU atmiņas lietojumu un ātrāku secinājumu veikšanas ātrumu. Kods būs atvērtā koda avots
autors u/llamaShill iekšā VietējāLLaMA
Vai LongMem ir Microsoft atbilde uz neierobežotu konteksta garumu?
Lai saprastu, ko nozīmē neierobežots konteksta garums, mums vispirms ir jāsaprot, ko nozīmē konteksta garums?
Konteksta garums attiecas uz marķieru (vārdu, zīmju utt.) skaitu, ko pieļauj modelis, tā ievadi un izvadi, kā arī jūsu.
Piemēram, ChatGPT ir ierobežots marķieru skaits, kas nozīmē, ka arī tā konteksta garums ir ierobežots. Tiklīdz ChatGPT pārsniegs šo ierobežojumu, visa nepārtrauktā mijiedarbība, kas ar to bija līdz šim brīdim, zaudēs savu nozīmi. Vai labāk sakot, tas tiks atiestatīts.
Tātad, ja sākat sarunu ar ChatGPT par Windows tēmu un šī saruna ilgst vairāk nekā ierobežotā kontekstā garumu, AI rīks zaudēs kontekstu un vai nu sāks novirzīties no tēmas, vai arī visa saruna atiestatīt.
Neierobežots konteksta garums nodrošinās, ka tas nenotiks, un AI modelis turpinās jums atbildēt par šo tēmu, vienlaikus apgūstot un pielāgojot informāciju, kad jūs runājat ar to par Windows.
Tas nozīmē, ka AI modelis arī personalizēs sarunu atbilstoši jūsu ievadei, tāpēc kontekstam ir jābūt neierobežotam.
Kā LongMem darbojas?
Microsoft sola tieši to ar savu jauno pētījumu par sistēmu LongMem. LongMem ļautu lieliem valodu modeļiem iegaumēt ilgtermiņa kontekstus un izmantot ilgtermiņa atmiņu ar samazinātu CPU jaudu.
Ietvars sastāv no iesaldēta lielas valodas modeļa kā atmiņas kodētāja, atlikušā sānu tīkla kā atmiņas retrīveris un lasītājs, kā arī kešatmiņā saglabāta atmiņas banka, kas saglabā pagātnes atslēgu un vērtību pārus kontekstos.
Microsoft veiktajā pētījumā eksperimenti liecina, ka LongMem pārspēj bāzes līnijas gara teksta valodas modelēšanā, garā konteksta izpratnē un ar atmiņu papildinātos konteksta mācību uzdevumos. Turklāt ilgtermiņa atmiņa ļauj tai izmantot vairāk demonstrācijas piemēru, lai labāk mācītos.
Un labā ziņa ir tā, ka LongMem būs atvērtā koda. Tātad jūs varēsiet to izpētīt un uzzināt, kā ieviest sistēmu savā AI modelī. Jūs varat pārbaudīt tā GitHub profils šeit.
Un, ja vēlaties izlasīt visu pētījumu par sistēmu, dodieties šeit un pārbaudiet to.
Ko jūs domājat par šo jauno tehnoloģiju izrāvienu? Vai tas mainīs AI modeļu darbību? Noteikti dariet mums zināmas savas domas un viedokļus tālāk.
