phi-1 to nowy model językowy firmy Microsoft do kodowania.
- Microsoft finansuje wiele badań nad sztuczną inteligencją.
- Po ogłoszeniu, że Orca będzie open source, phi-1 też tu jest.
- phi-1 jest w stanie samodzielnie konsolidować wiedzę.
Microsoft naprawdę robi duży krok w rozwoju sztucznej inteligencji. W zeszłym miesiącu AI była na czele konferencji Microsoft Build, a technologia z Redmond nawet to ogłosiła Copilot trafi do Windows 11. Jako natywna wbudowana aplikacja do wszystkiego, czego potrzebujesz,
Sztuczna inteligencja pojawi się również w Microsoft Teams, w narzędziu Recap Ai. Wiele innych narzędzi firmy Microsoft będzie wykorzystywać sztuczną inteligencję, w tym Microsoft Fabric.
Wygląda jednak na to, że Microsoft finansuje również badania nad sztuczną inteligencją. Niedawno ogłosił gigant technologiczny Orca 13B będzie open source. I LongMem to kolejny dobry punkt w badaniach AI: jest to odpowiedź na nieograniczoną długość kontekstu.
A teraz nadszedł czas na kolejny wielki przełom w badaniach nad sztuczną inteligencją, oczywiście pochodzący od Microsoftu. Nowy model kodowania parametrów 1.3B LLM, nazwany phi-1, podobno przewyższa GPT 3.5, po zaledwie 4 dniach szkolenia.
Co to jest phi-1 i jak już przewyższa GPT?
Phi-1 to nowy model języka parametrów 1.3B dla kodu, o znacznie mniejszych rozmiarach niż konkurencyjne modele. Model językowy był trenowany przez 4 dni, ponad 7B tokenów (łącznie zaobserwowano nieco ponad 50B tokenów), a następnie dopracowano mniej niż 200M tokenów.
Pomimo tego, że jest znacznie mniejszy niż konkurencyjne modele, phi-1 osiągnął 50,6% [e-mail chroniony] dokładność na HumanEval i 55,5% [e-mail chroniony] dokładności w MBPP (w większości podstawowych programach w języku Python), które są jednymi z najlepiej zgłaszanych przez siebie liczb przy użyciu tylko jednej generacji LLM.
Co więcej, pomimo przeszkolenia na znacznie mniejszej liczbie tokenów w porównaniu z istniejącymi modelami, phi-1 wciąż ma duży potencjał.
Ulepszenia HumanEval to największe osiągnięcia phi-1 jako modelu językowego. Po dostrojeniu phi-1 udało się wykonać zadania, które nie zostały uwzględnione w zbiorze danych dostrajających. Oznacza to, że model dostosował i udoskonalił proces dostrajania.
A najbardziej niezwykłe jest to, że phi-1 zreorganizował i utrwalił wiedzę zdobytą podczas szkolenia wstępnego, mimo że wiedza ta nie była tam wyraźnie obecna.
Krótko mówiąc, phi-1 nie tylko uczy się podczas szkoleń, ale także samodzielnie poszerza wiedzę. Udało mu się przewyższyć GPT 3.5 na każdym poziomie i to tylko kwestia czasu, zanim mały model przejmie duże, takie jak GPT 4.
Co sądzisz o tym nowym modelu AI? Jak myślisz, dokąd zmierzają badania nad sztuczną inteligencją? Daj nam znać swoje opinie w sekcji komentarzy poniżej.
