phi-1 är Microsofts nya språkmodell för kodning.
- Microsoft finansierar mycket AI-forskning.
- Efter att ha meddelat att Orca kommer att vara öppen källkod är phi-1 här också.
- phi-1 kan konsolidera kunskap på egen hand.
Microsoft tar verkligen ett stort steg in i AI-utveckling. Förra månaden var AI i framkant av Microsoft Build-konferensen, och den Redmond-baserade tekniken tillkännagav till och med att Copilot kommer till Windows 11. Som en inbyggd app, för allt du behöver,
AI kommer också till Microsoft Teams, i sitt Recap Ai-verktyg. Och många andra verktyg från Microsoft kommer att använda AI, inklusive Microsoft Fabric.
Men det verkar som att Microsoft också finansierar AI-forskning. Alldeles nyligen meddelade teknikjätten Orca 13B kommer att vara öppen källkod. Och LongMem är en annan bra punkt inom AI-forskning: det är svaret för obegränsad kontextlängd.
Och nu finns det dags för ännu ett stort genombrott inom AI-forskning, som kommer från Microsoft förstås. Den nya 1.3B-parametermodellen som kodar LLM, kallad phi-1, har enligt uppgift överträffat GPT 3.5 på bara 4 dagars träning.
Vad är phi-1 och hur överträffar den redan GPT?
Phi-1 är en ny 1.3B-parameter språkmodell för kod, med en betydligt mindre storlek än konkurrerande modeller. Språkmodellen tränades i 4 dagar, över 7B tokens (något över 50B totalt sett) följt av finjustering på mindre än 200M tokens.
Trots att den var mycket mindre än de konkurrerande modellerna, nådde phi-1 50,6 % [e-postskyddad] noggrannhet på HumanEval och 55,5 % [e-postskyddad] noggrannhet på MBPP (Mostly Basic Python Programs), som är ett av de bästa självrapporterade siffrorna med endast en LLM-generation.
Dessutom, trots att den tränas på mycket färre tokens jämfört med befintliga modeller, har phi-1 fortfarande många potentialer.
Förbättringarna på HumanEval är de phi-1 största prestationerna, som språkmodell. Efter justering lyckades phi-1 utföra uppgifter som inte fanns med i finjusteringsdatauppsättningen. Detta innebär att modellen anpassade och förbättrade finjusteringsprocessen.
Och det mest anmärkningsvärda är att phi-1 omorganiserade och konsoliderade den kunskap som förvärvats under förträningen, även om kunskapen inte var explicit närvarande där i första hand.
Kort sagt, phi-1 lär sig inte bara under träningen utan utökar också kunskapen på egen hand. Den lyckades överträffa GPT 3.5 på alla nivåer, och det är bara en tidsfråga tills den lilla modellen tar sig an de stora, som GPT 4.
Vad tycker du om den här nya AI-modellen? Vart tror du AI-forskningen är på väg? Var noga med att låta oss veta dina åsikter i kommentarsfältet nedan.
