Мицрософтов нови ЛЛМ за кодирање долази након ГПТ 4

пхи-1 је Мицрософтов нови језички модел за кодирање.

Мицрософт заиста прави велики корак у развоју вештачке интелигенције. Прошлог месеца, вештачка интелигенција је била на челу конференције Мицрософт Буилд, а технологија са седиштем у Редмонду је чак објавила да Цопилот долази у Виндовс 11. Као изворна уграђена апликација, за све што вам треба,

АИ такође долази у Мицрософт тимове, у свом алату Рецап Аи. И многи други алати из Мицрософта ће користити АИ, укључујући Мицрософт Фабриц.

Али чини се да Мицрософт такође финансира истраживање вештачке интелигенције. Недавно је технолошки гигант најавио Орца 13Б ће бити отвореног кода. И ЛонгМем је још једна добра тачка у истраживању вештачке интелигенције: то је одговор за неограничену дужину контекста.

А сада је дошло време за још један велики напредак у истраживању вештачке интелигенције, који долази од Мицрософта, наравно. Нови 1.3Б-параметарски модел кодирања ЛЛМ, назван пхи-1, наводно је бољи од ГПТ 3.5, за само 4 дана обуке.

Шта је пхи-1 и како већ надмашује ГПТ?

Пхи-1 је нови језички модел са 1.3Б параметара за код, са знатно мањом величином од конкурентских модела. Језички модел је обучен 4 дана, преко 7Б токена (виђено је нешто више од 50Б токена) након чега је уследило фино подешавање на мање од 200М токена.

Иако је много мањи од конкурентских модела, пхи-1 је достигао 50,6% [заштићено имејлом] тачност на ХуманЕвал-у и 55,5% [заштићено имејлом] прецизност на МБПП (Углавном основни Питхон програми), који су један од најбољих бројева за које се самопријављују користећи само једну ЛЛМ генерацију.

Штавише, упркос томе што је обучен на много мањем броју токена у поређењу са постојећим моделима, пхи-1 и даље има много потенцијала.

Побољшања ХуманЕвал-а су пхи-1 највећа достигнућа, као језички модел. Након подешавања, пхи-1 је успео да изврши задатке који нису били представљени у скупу података за фино подешавање. То значи да је модел прилагођен и побољшао процес финог подешавања.

А оно што је најзанимљивије је то што је пхи-1 реорганизовао и консолидовао знање стечено током предобуке, иако то знање тамо није било експлицитно присутно.

Укратко, пхи-1 не само да учи током тренинга већ и сам проширује знање. Успео је да надмаши ГПТ 3.5 на сваком нивоу, и само је питање времена када ће мали модел преузети велике, као што је ГПТ 4.

Шта мислите о овом новом АИ моделу? Шта мислите куда иде истраживање вештачке интелигенције? Обавезно нам јавите своја мишљења у одељку за коментаре испод.