phi-1 je nový jazykový model společnosti Microsoft pro kódování.
- Microsoft financuje hodně výzkumu AI.
- Po oznámení, že Orca bude open source, je tu také phi-1.
- phi-1 je schopen upevnit znalosti sám o sobě.
Microsoft skutečně dělá velký krok ve vývoji AI. Minulý měsíc byla AI v popředí konference Microsoft Build a technologie z Redmondu dokonce oznámila, že Copilot přichází na Windows 11. Jako nativní vestavěná aplikace pro vše, co potřebujete,
AI přichází také do Microsoft Teams, ve svém nástroji Recap Ai. A spousta dalších nástrojů od Microsoftu bude využívat AI, včetně Microsoft Fabric.
Zdá se však, že Microsoft také financuje výzkum AI. Nedávno to technologický gigant oznámil Orca 13B bude open source. A LongMem je dalším dobrým bodem ve výzkumu AI: je to odpověď na neomezenou délku kontextu.
A nyní je čas na další velký průlom ve výzkumu AI, který samozřejmě přichází od společnosti Microsoft. Nový model LLM s parametrem 1,3B, nazvaný phi-1, údajně překonává GPT 3.5 za pouhé 4 dny školení.
Co je phi-1 a jak již předčí GPT?
Phi-1 je nový jazykový model s parametrem 1,3B pro kód, s výrazně menší velikostí než u konkurenčních modelů. Jazykový model byl trénován 4 dny, přes 7B tokenů (celkem mírně přes 50B viděných tokenů) s následným doladěním na méně než 200 milionech tokenů.
Přestože je phi-1 mnohem menší než konkurenční modely, dosáhl 50,6 % [e-mail chráněný] přesnost na HumanEval a 55,5 % [e-mail chráněný] přesnost na MBPP (většinou základní Python programy), což jsou jedny z nejlépe hlášených čísel využívajících pouze jednu generaci LLM.
Navíc, přestože je phi-1 trénován na mnohem menším počtu tokenů ve srovnání se stávajícími modely, má stále mnoho potenciálů.
Vylepšení HumanEval jsou největší úspěchy phi-1 jako jazykového modelu. Po vyladění se phi-1 podařilo provést úlohy, které nebyly uvedeny v datové sadě jemného ladění. To znamená, že se model přizpůsobil a zlepšil proces jemného ladění.
A nejpozoruhodnější je, že phi-1 reorganizoval a upevnil znalosti nabyté během předtréninku, i když ty znalosti tam původně vysloveně nebyly.
Stručně řečeno, phi-1 se nejen učí během tréninku, ale také si sám rozšiřuje znalosti. Podařilo se mu překonat GPT 3.5 na každé úrovni a je jen otázkou času, kdy malý model převezme ty velké, jako je GPT 4.
Co si myslíte o tomto novém modelu AI? Kam podle vás směřuje výzkum AI? Nezapomeňte nám dát vědět své názory v sekci komentářů níže.
