phi-1 je nový jazykový model spoločnosti Microsoft pre kódovanie.
- Microsoft financuje veľa výskumu AI.
- Po oznámení, že Orca bude open source, je tu aj phi-1.
- phi-1 je schopný upevniť vedomosti sám o sebe.
Microsoft skutočne robí veľký krok vo vývoji AI. Minulý mesiac bola AI v popredí konferencie Microsoft Build a technológia so sídlom v Redmonde dokonca oznámila, že Copilot prichádza na Windows 11. Ako natívna vstavaná aplikácia pre všetko, čo potrebujete,
AI prichádza aj do Microsoft Teams, vo svojom nástroji Recap Ai. A mnoho ďalších nástrojov od Microsoftu bude využívať AI, vrátane Microsoft Fabric.
Zdá sa však, že Microsoft financuje aj výskum AI. Len nedávno to oznámil technologický gigant Orca 13B bude open source. A LongMem je ďalším dobrým bodom vo výskume AI: je to odpoveď na neobmedzenú dĺžku kontextu.
A teraz je čas na ďalší veľký prielom vo výskume AI, ktorý samozrejme prichádza od spoločnosti Microsoft. Nový model LLM s parametrom 1,3B, nazývaný phi-1, údajne prekonáva GPT 3.5 len za 4 dni školenia.
Čo je phi-1 a ako už prekonáva GPT?
Phi-1 je nový jazykový model s parametrami 1,3B pre kód, s výrazne menšou veľkosťou ako konkurenčné modely. Jazykový model bol trénovaný počas 4 dní, viac ako 7B tokenov (celkom bolo videných mierne viac ako 50B tokenov), po ktorých nasledovalo doladenie na menej ako 200 miliónov tokenov.
Napriek tomu, že je oveľa menší ako konkurenčné modely, phi-1 dosiahol 50,6 % [e-mail chránený] presnosť na HumanEval a 55,5 % [e-mail chránený] presnosť na MBPP (väčšinou základné Python programy), ktoré sú jedným z najlepších čísiel, ktoré sa sami hlásia pomocou iba jednej generácie LLM.
Navyše, napriek tomu, že je phi-1 vyškolený na oveľa menšom počte tokenov v porovnaní s existujúcimi modelmi, má stále veľa potenciálov.
Vylepšenia HumanEval sú najväčšími úspechmi phi-1 ako jazykového modelu. Po vyladení sa phi-1 podarilo vykonať úlohy, ktoré neboli uvedené v súbore údajov jemného doladenia. To znamená, že model prispôsobil a zlepšil proces jemného ladenia.
A najpozoruhodnejšie je, že phi-1 zreorganizoval a upevnil vedomosti získané počas predtréningu, aj keď tam tie vedomosti v prvom rade vyslovene neboli.
Stručne povedané, phi-1 sa nielen učí počas tréningu, ale aj sám rozširuje vedomosti. Podarilo sa mu prekonať GPT 3.5 na každej úrovni a je len otázkou času, kým malý model prevezme tie veľké, ako je GPT 4.
Čo si myslíte o tomto novom modeli AI? Kam podľa vás smeruje výskum AI? Nezabudnite nám dať vedieť o svojich názoroch v sekcii komentárov nižšie.
