Microsoftin uusi koodaus LLM on tulossa GPT 4:n jälkeen

phi-1 on Microsoftin uusi kielimalli koodaukseen.

  • Microsoft rahoittaa paljon tekoälytutkimusta.
  • Ilmoitettuaan Orcan olevan avoimen lähdekoodin, phi-1 on myös täällä.
  • phi-1 pystyy lujittamaan tietoa itsenäisesti.
microsoft phi 1

Microsoft ottaa todella ison askeleen tekoälyn kehityksessä. Viime kuussa tekoäly oli Microsoft Build -konferenssin eturintamassa, ja Redmondissa toimiva tekniikka jopa ilmoitti, että Copilot on tulossa Windows 11:een. Sisäänrakennettuna sovelluksena kaikkeen mitä tarvitset,

Tekoäly on tulossa myös Microsoft Teamsiin, sen Recap Ai -työkalussa. Ja monet muut Microsoftin työkalut käyttävät tekoälyä, mukaan lukien Microsoft Fabric.

Mutta näyttää siltä, ​​​​että Microsoft rahoittaa myös tekoälytutkimusta. Äskettäin teknologiajätti ilmoitti Orca 13B on avoimen lähdekoodin. Ja LongMem on toinen hyvä kohta tekoälytutkimuksessa: se on vastaus rajoittamattomaan kontekstin pituuteen.

Ja nyt on aika tehdä toinen suuri läpimurto tekoälytutkimuksessa, luonnollisesti Microsoftilta. Uusi 1.3B-parametrinen malli, joka koodaa LLM: tä, nimeltään phi-1, ylittää GPT 3.5:n vain 4 päivän harjoittelussa.

Mikä on phi-1 ja kuinka se ylittää jo GPT: n?

Phi-1 on uusi 1.3B-parametrinen kielimalli koodille, joiden koko on huomattavasti pienempi kuin kilpailevat mallit. Kielimallia harjoitteltiin 4 päivää, yli 7 miljardia merkkiä (hieman yli 50 miljardia tokenia nähtiin), mitä seurasi hienosäätö alle 200 miljoonalla tokenilla.microsoft phi 1

Vaikka phi-1 oli paljon pienempi kuin kilpailevat mallit, se saavutti 50,6 % [sähköposti suojattu] tarkkuus HumanEvalissa ja 55,5 % [sähköposti suojattu] tarkkuus MBPP: ssä (Mostly Basic Python Programs), jotka ovat yksi parhaista itse ilmoittamista numeroista, jotka käyttävät vain yhtä LLM-sukupolvea.

Lisäksi huolimatta siitä, että phi-1 on koulutettu käyttämään paljon vähemmän tokeneita kuin olemassa olevissa malleissa, phi-1:llä on silti paljon potentiaalia.

HumanEvalin parannukset ovat phi-1:n suurimmat saavutukset kielimallina. Virityksen jälkeen phi-1 onnistui suorittamaan tehtäviä, joita ei ollut hienosäätötietojoukossa. Tämä tarkoittaa, että malli mukautti ja paransi hienosäätöprosessia.

Ja merkittävintä on se, että phi-1 organisoi ja lujitti esikoulutuksen aikana hankittua tietoa, vaikka tieto ei siellä alun perin ollutkaan eksplisiittisesti läsnä.

Lyhyesti sanottuna phi-1 ei vain opi koulutuksen aikana, vaan myös laajentaa tietoa itsekseen. Se onnistui ylittämään GPT 3.5:n kaikilla tasoilla, ja on vain ajan kysymys, milloin pieni malli ottaa vastaan ​​suuret mallit, kuten GPT 4.

Mitä mieltä olet tästä uudesta AI-mallista? Mihin tekoälytutkimus on mielestäsi menossa? Muista kertoa meille mielipiteesi alla olevassa kommenttiosassa.

Missä seurata suoraa Microsoftin Surface 2 -käynnistystapahtumaa [päivitetty]

Missä seurata suoraa Microsoftin Surface 2 -käynnistystapahtumaa [päivitetty]Microsoft

Apple ei ole vielä julkaissut iPad 5: tä ja seuraavan sukupolven iPad Mini 2: ta, joten Microsoftilla on hyvät mahdollisuudet ottaa markkinoiden myrsky, jos he onnistuvat julkaisemaan joitain houku...

Lue lisää
Microsoft maksoi Sinofskylle 14 miljoonaa dollaria työttömäksi vuodeksi

Microsoft maksoi Sinofskylle 14 miljoonaa dollaria työttömäksi vuodeksiMicrosoft

Jos olet seurannut Microsoft-uutisia viime aikoina, tiedät sen Steven Sinofsky erosi Microsoftilta marraskuussa 2012. Mutta emme nähneet herra Sinofskyn olevan palkattu mihinkään, eikö? Tiesimme, e...

Lue lisää
WinUI 3 Preview 1 tukee Win32-sovelluksia ja .NET 5 -rajapintoja

WinUI 3 Preview 1 tukee Win32-sovelluksia ja .NET 5 -rajapintojaMicrosoftMicrosoft Rakentaa 2020

WinUI 3 Preview 1 on jo toimitettu, ja se tarjoaa tuen Win32-sovelluksille ja muille alustoille.Esikatselu sisältää SwapChainPanel-ohjaimen parhaan grafiikan toimittamiseksi DirectX: llä.Vieraile W...

Lue lisää