Microsofts nye kodende LLM kommer efter GPT 4

phi-1 er Microsofts nye sprogmodel til kodning.

Microsoft tager virkelig et stort skridt ind i AI-udvikling. I sidste måned var AI i spidsen for Microsoft Build-konferencen, og den Redmond-baserede teknologi annoncerede endda, at Copilot kommer til Windows 11. Som en indbygget app, til alt hvad du har brug for,

AI kommer også til Microsoft Teams, i sit Recap Ai-værktøj. Og en masse andre værktøjer fra Microsoft vil bruge AI, inklusive Microsoft Fabric.

Men det ser ud til, at Microsoft også finansierer AI-forskning. For nylig meddelte teknologigiganten Orca 13B vil være open source. Og LongMem er et andet godt punkt i AI-forskning: det er svaret for ubegrænset kontekstlængde.

Og nu er der tid til endnu et stort gennembrud inden for AI-forskning, som selvfølgelig kommer fra Microsoft. Den nye 1.3B-parameter model kodende LLM, kaldet phi-1, overgår angiveligt GPT 3.5 på kun 4 dages træning.

Hvad er phi-1, og hvordan overgår den allerede GPT?

Phi-1 er en ny 1.3B-parameter sprogmodel for kode, med en væsentlig mindre størrelse end konkurrerende modeller. Sprogmodellen blev trænet i 4 dage, over 7B tokens (lidt over 50B samlede tokens set) efterfulgt af finjustering på mindre end 200M tokens.

På trods af at den er meget mindre end de konkurrerende modeller, nåede phi-1 50,6 % [e-mail beskyttet] nøjagtighed på HumanEval og 55,5 % [e-mail beskyttet] nøjagtighed på MBPP (Mostly Basic Python-programmer), som er et af de bedste selvrapporterede tal, der kun bruger én LLM-generation.

På trods af, at den er trænet på meget færre tokens sammenlignet med eksisterende modeller, har phi-1 stadig en masse potentialer.

Forbedringerne på HumanEval er de phi-1 største præstationer, som sprogmodel. Efter tuning lykkedes det phi-1 at udføre opgaver, der ikke var med i finjusteringsdatasættet. Det betyder, at modellen tilpassede og forbedrede finjusteringsprocessen.

Og det mest bemærkelsesværdige er, at phi-1 reorganiserede og konsoliderede den viden, der blev erhvervet under fortræning, selvom viden ikke var eksplicit til stede der i første omgang.

Kort sagt, phi-1 lærer ikke kun under træning, men udvider også viden på egen hånd. Den formåede at overgå GPT 3.5 på alle niveauer, og det er kun et spørgsmål om tid, før den lille model tager fat på de store, som GPT 4.

Hvad synes du om denne nye AI-model? Hvor tror du, AI-forskningen er på vej hen? Sørg for at fortælle os dine meninger i kommentarfeltet nedenfor.