Microsofts nye koding LLM kommer etter GPT 4

phi-1 er Microsofts nye språkmodell for koding.

Microsoft tar virkelig et stort skritt inn i AI-utvikling. Forrige måned var AI i spissen for Microsoft Build-konferansen, og den Redmond-baserte teknologien kunngjorde til og med at Copilot kommer til Windows 11. Som en innebygd app, for alt du trenger,

AI kommer også til Microsoft Teams, i Recap Ai-verktøyet. Og mange andre verktøy fra Microsoft vil bruke AI, inkludert Microsoft Fabric.

Men det ser ut til at Microsoft også finansierer AI-forskning. Bare nylig annonserte teknologigiganten Orca 13B vil være åpen kildekode. Og LongMem er et annet godt poeng i AI-forskning: det er svaret for ubegrenset kontekstlengde.

Og nå er det tid for nok et stort gjennombrudd innen AI-forskning, som kommer fra Microsoft, selvfølgelig. Den nye 1.3B-parametermodellen koding LLM, kalt phi-1, er angivelig bedre enn GPT 3.5, på bare 4 dager med trening.

Hva er phi-1 og hvordan overgår den allerede GPT?

Phi-1 er en ny 1.3B-parameter språkmodell for kode, med en betydelig mindre størrelse enn konkurrerende modeller. Språkmodellen ble trent i 4 dager, over 7B tokens (litt over 50B totalt sett) etterfulgt av finjustering på mindre enn 200M tokens.

Til tross for at den er mye mindre enn de konkurrerende modellene, oppnådde phi-1 50,6 % [e-postbeskyttet] nøyaktighet på HumanEval og 55,5 % [e-postbeskyttet] nøyaktighet på MBPP (Mostly Basic Python-programmer), som er et av de beste selvrapporterte tallene som bruker bare én LLM-generasjon.

Dessuten, til tross for at den er trent på mye færre tokens sammenlignet med eksisterende modeller, har phi-1 fortsatt mange potensialer.

Forbedringene på HumanEval er de phi-1 største prestasjonene, som språkmodell. Etter justering klarte phi-1 å utføre oppgaver som ikke var omtalt i finjusteringsdatasettet. Dette betyr at modellen tilpasset og forbedret finjusteringsprosessen.

Og det mest bemerkelsesverdige er at phi-1 reorganiserte og konsoliderte kunnskapen som ble tilegnet under fortrening, selv om kunnskapen ikke eksplisitt var tilstede der i utgangspunktet.

Kort sagt, phi-1 lærer ikke bare under trening, men utvider også kunnskapen på egen hånd. Den klarte å overgå GPT 3.5 på alle nivåer, og det er bare et spørsmål om tid før den lille modellen tar på seg de store, som GPT 4.

Hva synes du om denne nye AI-modellen? Hvor tror du AI-forskningen er på vei? Sørg for å gi oss beskjed om dine meninger i kommentarfeltet nedenfor.