phi-1 on Microsofti uus keelemudel kodeerimiseks.
- Microsoft rahastab palju AI-uuringuid.
- Pärast teatamist, et Orca on avatud lähtekoodiga, on ka phi-1 siin.
- phi-1 on võimeline iseseisvalt teadmisi koondama.
Microsoft astub tõesti suure sammu tehisintellekti arendamisel. Eelmisel kuul oli AI Microsoft Buildi konverentsi esirinnas ja Redmondis põhinev tehnoloogia teatas isegi, et Copilot tuleb Windows 11-sse. Natiivse sisseehitatud rakendusena kõige vajaliku jaoks
AI jõuab ka Microsoft Teamsi, selle Recap Ai tööriistas. Ja paljud teised Microsofti tööriistad kasutavad tehisintellekti, sealhulgas Microsoft Fabric.
Kuid tundub, et Microsoft rahastab ka AI-uuringuid. Just hiljuti teatas tehnoloogiahiiglane Orca 13B on avatud lähtekoodiga. Ja LongMem on teine hea punkt AI-uuringutes: see on vastus piiramatule konteksti pikkusele.
Ja nüüd on aeg teha veel üks suur läbimurre AI-uuringutes, mis tuleb loomulikult Microsoftilt. Uus 1.3B-parameetriline mudel, mis kodeerib LLM-i, nimega phi-1, ületab väidetavalt vaid 4-päevase koolituse jooksul GPT 3.5.
Mis on phi-1 ja kuidas see juba ületab GPT-d?
Phi-1 on uus 1.3B-parameetriline keelemudel koodi jaoks, oluliselt väiksema suurusega kui konkureerivad mudelid. Keelemudelit treeniti 4 päeva, üle 7 miljardi märgi (nähtud veidi üle 50 miljardi märgi kokku), millele järgnes peenhäälestus vähem kui 200 miljonil märgil.
Vaatamata sellele, et phi-1 on konkureerivatest mudelitest palju väiksem, saavutas see 50,6%. [e-postiga kaitstud] täpsus HumanEvalil ja 55,5% [e-postiga kaitstud] täpsus MBPP-s (enamasti põhilised Pythoni programmid), mis on üks parimaid iseteatatud numbreid, kasutades ainult ühte LLM-i põlvkonda.
Veelgi enam, hoolimata sellest, et phi-1 on olemasolevate mudelitega võrreldes palju vähemate žetoonidega koolitatud, on sellel siiski palju potentsiaali.
HumanEvali täiustused on phi-1 keelemudeli suurimad saavutused. Pärast häälestamist suutis phi-1 täita ülesandeid, mida peenhäälestusandmekogus ei olnud. See tähendab, et mudel kohandas ja täiustas peenhäälestusprotsessi.
Ja kõige tähelepanuväärsem on see, et phi-1 korrastas ja kinnistas eeltreeningul omandatud teadmised, kuigi need teadmised seal alguses selgesõnaliselt olemas ei olnud.
Lühemalt öeldes, phi-1 mitte ainult ei õpi koolituse käigus, vaid avardab teadmisi ka iseseisvalt. See suutis ületada GPT 3.5 igal tasemel ja on vaid aja küsimus, millal väike mudel võtab vastu suured mudelid, nagu GPT 4.
Mida arvate sellest uuest AI mudelist? Kuhu teie arvates AI-uuringud liiguvad? Andke meile kindlasti oma arvamus allpool olevas kommentaaride jaotises.
