Noul LLM de codare al Microsoft vine după GPT 4

phi-1 este noul model de limbă Microsoft pentru codare.

Microsoft face cu adevărat un pas mare în dezvoltarea AI. Luna trecută, AI a fost în fruntea conferinței Microsoft Build, iar tehnologia din Redmond a anunțat chiar că Copilot vine pe Windows 11. Ca aplicație nativă încorporată, pentru tot ce aveți nevoie,

AI vine și la Microsoft Teams, în instrumentul său Recap Ai. Și o mulțime de alte instrumente de la Microsoft vor folosi AI, inclusiv Microsoft Fabric.

Dar se pare că Microsoft finanțează și cercetarea AI. Recent, a anunțat gigantul tehnologic Orca 13B va fi open source. Și LongMem este un alt punct bun în cercetarea AI: este răspunsul pentru o lungime nelimitată a contextului.

Și acum este timp pentru un alt mare progres în cercetarea AI, venit de la Microsoft, desigur. Noul model de codificare LLM cu parametrii 1.3B, numit phi-1, depășește GPT 3.5, în doar 4 zile de antrenament.

Ce este phi-1 și cum depășește deja GPT?

Phi-1 este un nou model de limbaj cu parametri 1.3B pentru cod, cu o dimensiune semnificativ mai mică decât modelele concurente. Modelul de limbaj a fost antrenat timp de 4 zile, peste 7 miliarde de jetoane (puțin peste 50 de miliarde de jetoane totale văzute) urmate de reglaj fin pe mai puțin de 200 de milioane de jetoane.

În ciuda faptului că este mult mai mic decât modelele concurente, phi-1 a atins 50,6% [email protected] precizie pe HumanEval și 55,5% [email protected] acuratețe pe MBPP (Mostly Basic Python Programs), care sunt unul dintre cele mai bune numere auto-raportate folosind o singură generație LLM.

Mai mult, în ciuda faptului că a fost antrenat pe mult mai puține jetoane în comparație cu modelele existente, phi-1 are încă multe potențiale.

Îmbunătățirile aduse HumanEval sunt cele mai mari realizări ale phi-1, ca model de limbaj. După reglare, phi-1 a reușit să execute sarcini care nu erau prezentate în setul de date de reglare fină. Aceasta înseamnă că modelul a adaptat și a îmbunătățit procesul de reglare fină.

Și cel mai remarcabil lucru este că phi-1 a reorganizat și consolidat cunoștințele dobândite în timpul pregătirii preliminare, chiar dacă cunoștințele nu au fost prezente în mod explicit acolo în primul rând.

Cu cuvinte mai scurte, phi-1 nu numai că învață în timpul antrenamentului, ci și extinde cunoștințele de la sine. A reușit să depășească GPT 3.5 la fiecare nivel și este doar o chestiune de timp până când modelul mic le preia pe cele mari, cum ar fi GPT 4.

Ce părere aveți despre acest nou model AI? Încotro credeți că se îndreaptă cercetarea AI? Asigurați-vă că ne spuneți opiniile dvs. în secțiunea de comentarii de mai jos.