phi-1 ir Microsoft jaunais valodas modelis kodēšanai.
- Microsoft finansē daudz AI pētījumu.
- Pēc paziņojuma, ka Orca būs atvērtā koda versija, phi-1 ir arī šeit.
- phi-1 spēj patstāvīgi nostiprināt zināšanas.
Microsoft patiešām sper lielu soli AI attīstībā. Pagājušajā mēnesī AI bija Microsoft Build konferences priekšgalā, un Redmondā bāzētā tehnoloģija pat paziņoja, ka Copilot nāk operētājsistēmā Windows 11. Kā vietējā iebūvētā lietotne visam nepieciešamajam,
AI nāk arī uz Microsoft Teams, savā Recap Ai rīkā. Un daudzi citi Microsoft rīki izmantos AI, tostarp Microsoft Fabric.
Bet šķiet, ka Microsoft finansē arī AI izpēti. Nesen tehnoloģiju gigants paziņoja Orca 13B būs atvērtā koda versija. Un LongMem ir vēl viens labs punkts AI izpētē: tā ir atbilde uz neierobežotu konteksta garumu.
Un tagad ir laiks vēl vienam lielam izrāvienam AI izpētē, ko, protams, nāks no Microsoft. Tiek ziņots, ka jaunais 1.3B parametru modelis, kas kodē LLM, ko sauc par phi-1, pārspēj GPT 3.5 tikai 4 apmācību dienu laikā.
Kas ir phi-1 un kā tas jau pārspēj GPT?
Phi-1 ir jauns 1.3B parametru valodas modelis kodam, ar ievērojami mazāku izmēru nekā konkurējošiem modeļiem. Valodas modelis tika apmācīts 4 dienas, vairāk nekā 7 miljoni marķieru (nedaudz vairāk nekā 50 miljardi kopējie marķieri), kam sekoja precīza noregulēšana mazāk nekā 200 miljoniem marķieru.
Neskatoties uz to, ka phi-1 ir daudz mazāks nekā konkurējošie modeļi, tas sasniedza 50,6% [aizsargāts ar e-pastu] precizitāte uz HumanEval un 55,5% [aizsargāts ar e-pastu] precizitāte MBPP (galvenokārt pamata Python programmās), kas ir viens no labākajiem pašu ziņotajiem skaitļiem, izmantojot tikai vienu LLM paaudzi.
Turklāt, neskatoties uz to, ka salīdzinājumā ar esošajiem modeļiem ir apmācīts izmantot daudz mazāk žetonu, phi-1 joprojām ir daudz iespēju.
HumanEval uzlabojumi ir phi-1 lielākie sasniegumi kā valodas modelim. Pēc regulēšanas phi-1 izdevās izpildīt uzdevumus, kas nebija iekļauti precizēšanas datu kopā. Tas nozīmē, ka modelis pielāgoja un uzlaboja precizēšanas procesu.
Un pats ievērojamākais ir tas, ka phi-1 pārkārtoja un nostiprināja priekšapmācības laikā iegūtās zināšanas, lai gan tās sākotnēji nebija skaidri izteiktas.
Īsāk sakot, phi-1 ne tikai mācās apmācības laikā, bet arī paplašina zināšanas pats par sevi. Tam izdevās pārspēt GPT 3.5 visos līmeņos, un ir tikai laika jautājums, līdz mazais modelis pārņems lielos, piemēram, GPT 4.
Ko jūs domājat par šo jauno AI modeli? Kur, jūsuprāt, virzās AI pētniecība? Noteikti dariet mums zināmu savu viedokli komentāru sadaļā zemāk.
