phi-1 on Microsoftin uusi kielimalli koodaukseen.
- Microsoft rahoittaa paljon tekoälytutkimusta.
- Ilmoitettuaan Orcan olevan avoimen lähdekoodin, phi-1 on myös täällä.
- phi-1 pystyy lujittamaan tietoa itsenäisesti.
Microsoft ottaa todella ison askeleen tekoälyn kehityksessä. Viime kuussa tekoäly oli Microsoft Build -konferenssin eturintamassa, ja Redmondissa toimiva tekniikka jopa ilmoitti, että Copilot on tulossa Windows 11:een. Sisäänrakennettuna sovelluksena kaikkeen mitä tarvitset,
Tekoäly on tulossa myös Microsoft Teamsiin, sen Recap Ai -työkalussa. Ja monet muut Microsoftin työkalut käyttävät tekoälyä, mukaan lukien Microsoft Fabric.
Mutta näyttää siltä, että Microsoft rahoittaa myös tekoälytutkimusta. Äskettäin teknologiajätti ilmoitti Orca 13B on avoimen lähdekoodin. Ja LongMem on toinen hyvä kohta tekoälytutkimuksessa: se on vastaus rajoittamattomaan kontekstin pituuteen.
Ja nyt on aika tehdä toinen suuri läpimurto tekoälytutkimuksessa, luonnollisesti Microsoftilta. Uusi 1.3B-parametrinen malli, joka koodaa LLM: tä, nimeltään phi-1, ylittää GPT 3.5:n vain 4 päivän harjoittelussa.
Mikä on phi-1 ja kuinka se ylittää jo GPT: n?
Phi-1 on uusi 1.3B-parametrinen kielimalli koodille, joiden koko on huomattavasti pienempi kuin kilpailevat mallit. Kielimallia harjoitteltiin 4 päivää, yli 7 miljardia merkkiä (hieman yli 50 miljardia tokenia nähtiin), mitä seurasi hienosäätö alle 200 miljoonalla tokenilla.
Vaikka phi-1 oli paljon pienempi kuin kilpailevat mallit, se saavutti 50,6 % [sähköposti suojattu] tarkkuus HumanEvalissa ja 55,5 % [sähköposti suojattu] tarkkuus MBPP: ssä (Mostly Basic Python Programs), jotka ovat yksi parhaista itse ilmoittamista numeroista, jotka käyttävät vain yhtä LLM-sukupolvea.
Lisäksi huolimatta siitä, että phi-1 on koulutettu käyttämään paljon vähemmän tokeneita kuin olemassa olevissa malleissa, phi-1:llä on silti paljon potentiaalia.
HumanEvalin parannukset ovat phi-1:n suurimmat saavutukset kielimallina. Virityksen jälkeen phi-1 onnistui suorittamaan tehtäviä, joita ei ollut hienosäätötietojoukossa. Tämä tarkoittaa, että malli mukautti ja paransi hienosäätöprosessia.
Ja merkittävintä on se, että phi-1 organisoi ja lujitti esikoulutuksen aikana hankittua tietoa, vaikka tieto ei siellä alun perin ollutkaan eksplisiittisesti läsnä.
Lyhyesti sanottuna phi-1 ei vain opi koulutuksen aikana, vaan myös laajentaa tietoa itsekseen. Se onnistui ylittämään GPT 3.5:n kaikilla tasoilla, ja on vain ajan kysymys, milloin pieni malli ottaa vastaan suuret mallit, kuten GPT 4.
Mitä mieltä olet tästä uudesta AI-mallista? Mihin tekoälytutkimus on mielestäsi menossa? Muista kertoa meille mielipiteesi alla olevassa kommenttiosassa.
