Microsoftov novi LLM za kodiranje prihaja po GPT 4

phi-1 je Microsoftov nov jezikovni model za kodiranje.

Microsoft resnično dela velik korak v razvoju umetne inteligence. Prejšnji mesec je bila umetna inteligenca v ospredju konference Microsoft Build, tehnološka družba s sedežem v Redmondu pa je celo objavila, da Copilot prihaja v Windows 11. Kot domača vgrajena aplikacija za vse, kar potrebujete,

AI prihaja tudi v Microsoft Teams, v svojem orodju Recap Ai. In veliko drugih Microsoftovih orodij bo uporabljalo AI, vključno z Microsoft Fabric.

Vendar se zdi, da Microsoft financira tudi raziskave AI. Ravno pred kratkim je tehnološki velikan objavil Orca 13B bo odprtokodna. in LongMem je še ena dobra točka pri raziskavah AI: je odgovor za neomejeno dolžino konteksta.

In zdaj je čas za nov velik preboj v raziskavah umetne inteligence, seveda iz Microsofta. Novi model LLM s kodiranjem parametrov 1.3B, imenovan phi-1, naj bi bil boljši od GPT 3.5 v samo 4 dneh usposabljanja.

Kaj je phi-1 in kako že presega GPT?

Phi-1 je nov jezikovni model s parametri 1.3B za kodo, z bistveno manjšo velikostjo od konkurenčnih modelov. Jezikovni model se je usposabljal 4 dni, več kot 7B žetonov (nekaj več kot 50B skupnih videnih žetonov), čemur je sledilo natančno prilagajanje na manj kot 200M žetonov.

Kljub temu, da je precej manjši od konkurenčnih modelov, je phi-1 dosegel 50,6 % [e-pošta zaščitena] natančnost na HumanEval in 55,5 % [e-pošta zaščitena] natančnost na MBPP (večinoma osnovni programi Python), ki so ena najboljših številk, ki jih sami poročajo z uporabo samo ene generacije LLM.

Poleg tega ima phi-1 kljub temu, da je treniran na veliko manj žetonov v primerjavi z obstoječimi modeli, še vedno veliko potencialov.

Izboljšave na HumanEval so največji dosežki phi-1 kot jezikovnega modela. Po nastavitvi je phi-1 uspel izvesti naloge, ki niso bile predstavljene v naboru podatkov natančne nastavitve. To pomeni, da je model prilagodil in izboljšal postopek natančne nastavitve.

In najbolj presenetljivo je, da je phi-1 reorganiziral in utrdil znanje, pridobljeno med predusposabljanjem, čeprav znanje tam sploh ni bilo eksplicitno prisotno.

Na kratko povedano, phi-1 se med treningom ne le uči, temveč znanje širi sam. Uspelo mu je preseči GPT 3.5 na vseh ravneh in samo vprašanje časa je, kdaj bo mali model prevzel velike, kot je GPT 4.

Kaj menite o tem novem modelu AI? Kam mislite, da gredo raziskave AI? Sporočite nam svoje mnenje v spodnjem oddelku za komentarje.