Новият LLM за кодиране на Microsoft идва след GPT 4

phi-1 е новият езиков модел на Microsoft за кодиране.

Microsoft наистина прави голяма крачка в развитието на AI. Миналия месец AI беше в челните редици на конференцията Microsoft Build и базираната в Редмънд технология дори обяви, че Copilot идва в Windows 11. Като родно вградено приложение, за всичко, от което се нуждаете,

AI идва и в Microsoft Teams, в неговия инструмент Recap Ai. И много други инструменти от Microsoft ще използват AI, включително Microsoft Fabric.

Но изглежда, че Microsoft също финансира AI изследвания. Съвсем наскоро технологичният гигант обяви Orca 13B ще бъде с отворен код. И LongMem е друга добра точка в изследванията на AI: това е отговорът за неограничена дължина на контекста.

И сега има време за друг голям пробив в изследванията на AI, идващ от Microsoft, разбира се. Съобщава се, че новият 1.3B-параметър кодиращ модел LLM, наречен phi-1, превъзхожда GPT 3.5 само за 4 дни обучение.

Какво е phi-1 и как вече превъзхожда GPT?

Фи-1 е нов 1.3B-параметър езиков модел за код, със значително по-малък размер от конкурентните модели. Езиковият модел беше обучен в продължение на 4 дни, над 7B токени (малко над 50B общо видяни токени), последвано от фина настройка на по-малко от 200M токени.

Въпреки че е много по-малък от конкурентните модели, phi-1 постигна 50,6% [имейл защитен] точност на HumanEval и 55,5% [имейл защитен] точност на MBPP (предимно основни програми на Python), които са едни от най-добрите самоотчитани числа, използващи само едно поколение LLM.

Освен това, въпреки че е обучен на много по-малко токени в сравнение със съществуващите модели, phi-1 все още има много потенциал.

Подобренията на HumanEval са най-големите постижения на phi-1 като езиков модел. След настройката phi-1 успя да изпълни задачи, които не бяха включени в набора от данни за фина настройка. Това означава, че моделът адаптира и подобри процеса на фина настройка.

И най-забележителното е, че phi-1 реорганизира и консолидира знанията, придобити по време на предварителната подготовка, въпреки че знанията не присъстват изрично там на първо място.

С по-кратки думи, phi-1 не само учи по време на обучение, но и разширява знанията сам. Той успя да надмине GPT 3.5 на всяко ниво и е само въпрос на време малкият модел да се изправи срещу големите, като GPT 4.

Какво мислите за този нов AI модел? Накъде мислите, че се насочват изследванията на ИИ? Не забравяйте да ни кажете вашите мнения в секцията за коментари по-долу.