phi-1 je Microsoftov novi jezični model za kodiranje.
- Microsoft financira mnoga istraživanja umjetne inteligencije.
- Nakon najave da će Orca biti open source, tu je i phi-1.
- phi-1 je sposoban sam konsolidirati znanje.
Microsoft stvarno poduzima veliki korak u razvoju umjetne inteligencije. Prošlog mjeseca AI je bio na čelu konferencije Microsoft Build, a tehnologija sa sjedištem u Redmondu čak je objavila da Copilot dolazi u Windows 11. Kao izvorna ugrađena aplikacija, za sve što trebate,
AI dolazi i u Microsoft Teams, u svom alatu Recap Ai. I mnogi drugi Microsoftovi alati koristit će AI, uključujući Microsoft Fabric.
Ali čini se da Microsoft također financira istraživanja umjetne inteligencije. Nedavno je tehnološki div najavio Orca 13B će biti open source. I LongMem je još jedna dobra točka u istraživanju umjetne inteligencije: to je odgovor za neograničenu duljinu konteksta.
A sada je vrijeme za još jedan veliki napredak u istraživanju umjetne inteligencije, naravno iz Microsofta. Novi 1.3B-parametarski model kodiranja LLM, nazvan phi-1, navodno nadmašuje GPT 3.5, u samo 4 dana obuke.
Što je phi-1 i kako već nadmašuje GPT?
Phi-1 je novi jezični model s 1.3B parametrima za kod, znatno manje veličine od konkurentskih modela. Jezični model treniran je 4 dana, preko 7B tokena (nešto više od 50B ukupno viđenih tokena) nakon čega je uslijedilo fino podešavanje na manje od 200M tokena.
Unatoč tome što je puno manji od konkurentskih modela, phi-1 je postigao 50,6% [e-mail zaštićen] točnost na HumanEval i 55,5% [e-mail zaštićen] točnost na MBPP-u (uglavnom osnovni programi na Pythonu), koji su jedan od najboljih brojeva prema samoprocjeni korištenjem samo jedne generacije LLM-a.
Štoviše, unatoč tome što je treniran na mnogo manje tokena u usporedbi s postojećim modelima, phi-1 još uvijek ima mnogo potencijala.
Poboljšanja na HumanEvalu su najveća dostignuća phi-1, kao jezičnog modela. Nakon podešavanja, phi-1 je uspio izvršiti zadatke koji nisu bili navedeni u skupu podataka finog podešavanja. To znači da je model prilagodio i poboljšao proces finog podešavanja.
A najzanimljivija stvar je da je phi-1 reorganizirao i konsolidirao znanje stečeno tijekom predtreninga, iako to znanje tamo nije bilo eksplicitno prisutno.
Ukratko, phi-1 ne samo da uči tijekom treninga, već i sam proširuje znanje. Uspio je nadmašiti GPT 3.5 na svim razinama i samo je pitanje vremena kada će mali model preuzeti velike, poput GPT 4.
Što mislite o ovom novom AI modelu? Što mislite kamo idu istraživanja umjetne inteligencije? Javite nam svoje mišljenje u odjeljku za komentare u nastavku.
