Uusi kehys mullistaa tekoälymallit.
- Kehys mahdollistaa rajoittamattoman kontekstin pituuden.
- Rajoittamaton kontekstin pituus tarkoittaa henkilökohtaisempaa keskustelua tekoälymallien kanssa.
- Se on pohjimmiltaan seuraava askel tekoälylle tullakseen täysin lähelle ihmistä.
Microsoft on ollut tekoälykoulutuksen ja yleensä tekoälytyökalujen eturintamassa. Copilot tulee pian Windows 11:een, osana Windows-päivityksiä. Tekoäly on tunkeutumassa Microsoft Teamsiin älykäs yhteenveto auttaa ihmisiä työskentelemään helpommin.
Bing on myös yksi jännittävimmistä tekoälytyökaluista, ja sen ominaisuuksien avulla voit optimoida sekä työsi että tapasi navigoida Internetissä.
Mutta aiemmin tällä viikolla Microsoft julkisti myös sen Orca 13B: stä tulee pian avoimen lähdekoodin lähde. Orca 13B on pieni tekoälymalli, joka toimii samalla laadulla ja nopeudella kuin muut tekoälymallit, kuten ChatGPT.
Nyt tekoälyn ja tekoälytutkimuksen taistelussa Microsoft on keksimässä LongMem, hypoteettinen kehys ja tekoälyn kielimalli.
Tämän Reddit-ketjun mukaan, LongMem mahdollistaa rajoittamattoman kontekstin pituuden pienemmällä GPU- ja CPU-muistin käytöllä. Kaikki nämä tehdään suuremmalla nopeudella.
Microsoft Research ehdottaa uutta LongMem-kehystä, joka mahdollistaa rajoittamattoman kontekstin pituuden sekä vähentää GPU-muistin käyttöä ja nopeampaa päättelynopeutta. Koodi tulee olemaan avoimen lähdekoodin
kirjoittaja u/llamaShill sisään PaikallinenLLaMA
Onko LongMem Microsoftin vastaus rajoittamattomaan kontekstin pituuteen?
No, ymmärtääksemme, mitä rajoittamattoman kontekstin pituuden omaaminen tarkoittaa, meidän on ensin ymmärrettävä, mitä kontekstin pituus tarkoittaa?
Kontekstin pituus tarkoittaa mallin sallimien merkkien (sanojen, merkkien jne.) määrää, sen syötteitä ja lähtöjä sekä sinun.
Esimerkiksi ChatGPT: llä on rajoitettu määrä tunnuksia, mikä tarkoittaa, että sen kontekstin pituus on myös rajoitettu. Heti kun ChatGPT ylittää tuon rajan, kaikki siihen asti ollut jatkuva vuorovaikutus sen kanssa menettää merkityksensä. Tai paremmin sanottuna, se nollautuu.
Joten jos aloitat keskustelun ChatGPT: n kanssa Windows-aiheesta ja keskustelu kestää kauemmin kuin rajoitetun kontekstin pituus, tekoälytyökalu menettää kontekstin ja joko alkaa poiketa aiheesta tai koko keskustelu nollaa.
Rajaton kontekstin pituus varmistaa, että näin ei tapahdu, ja tekoälymalli vastaa jatkossakin sinulle aiheesta, samalla kun se oppii ja mukauttaa tietoja, kun puhut sille Windowsista.
Tämä tarkoittaa, että tekoälymalli mukauttaa keskustelun myös syöttämäsi mukaan, joten kontekstin on oltava rajoittamaton.
Kuinka LongMem toimii?
Microsoft lupaa juuri sen uudessa puitetutkimuksessaan, LongMem. LongMem mahdollistaisi suurten kielimallien muistaa pitkän aikavälin kontekstit ja käyttää pitkäaikaista muistia pienemmällä prosessorin teholla.
Kehys koostuu jäädytetystä suuresta kielimallista muistikooderina, jäännössivuverkosta muistin noutajana ja lukijana sekä välimuistipankkina, joka tallentaa avainarvopareja menneisyydestä konteksteissa.
Microsoftin tekemässä tutkimuksessa kokeet osoittavat, että LongMem on parempi kuin lähtötasot pitkän tekstin kielen mallintamisessa, pitkän kontekstin ymmärtämisessä ja muistilla täydennetyissä kontekstin sisäisissä oppimistehtävissä. Lisäksi pitkäaikainen muisti mahdollistaa sen, että se voi käyttää enemmän esimerkkejä oppimisen parantamiseksi.
Ja hyvä uutinen on, että LongMem on avoimen lähdekoodin. Joten voit tutkia sitä ja oppia toteuttamaan viitekehyksen omassa tekoälymallissasi. Voit tarkistaa sen GitHub-profiili täällä.
Ja jos olet kiinnostunut lukemaan koko tutkimuspaperin viitekehyksestä, mene tänne ja tarkista se.
Mitä mieltä olet tästä uudesta teknologisesta läpimurrosta? Mullistaako se tekoälymallien toimintatavan? Muista kertoa meille ajatuksesi ja mielipiteesi alla.
