Das neue Coding-LLM von Microsoft kommt nach GPT 4

phi-1 ist Microsofts neues Sprachmodell für die Codierung.

Microsoft macht wirklich einen großen Schritt in der KI-Entwicklung. Letzten Monat stand KI im Mittelpunkt der Microsoft Build-Konferenz, und das gab der in Redmond ansässige Technologiekonzern sogar bekannt Copilot kommt für Windows 11. Als native integrierte App für alles, was Sie brauchen,

KI hält auch Einzug in Microsoft Teams, in seinem Recap Ai-Tool. Und viele andere Tools von Microsoft werden KI nutzen, darunter auch Microsoft Fabric.

Aber es scheint, dass Microsoft auch die KI-Forschung finanziert. Erst kürzlich gab der Tech-Riese bekannt Orca 13B wird Open Source sein. Und LongMem ist ein weiterer guter Punkt in der KI-Forschung: Es ist die Antwort für unbegrenzte Kontextlänge.

Und jetzt ist Zeit für einen weiteren großen Durchbruch in der KI-Forschung, natürlich von Microsoft. Das neue 1,3B-Parameter-Modell, das LLM codiert und Phi-1 genannt wird, übertrifft Berichten zufolge GPT 3,5 in nur 4 Trainingstagen.

Was ist Phi-1 und wie übertrifft es GPT bereits?

Phi-1 ist ein neues 1.3B-Parameter-Sprachmodell für Code, mit einer deutlich kleineren Größe als Konkurrenzmodelle. Das Sprachmodell wurde 4 Tage lang mit über 7 Milliarden Token trainiert (insgesamt wurden etwas mehr als 50 Milliarden Token gesehen), gefolgt von einer Feinabstimmung mit weniger als 200 Millionen Token.

Obwohl phi-1 viel kleiner als die Konkurrenzmodelle ist, erreichte es 50,6 % [email protected] Genauigkeit bei HumanEval und 55,5 % [email protected] Genauigkeit bei MBPP (Mostly Basic Python Programs), einer der besten selbst gemeldeten Zahlen unter Verwendung nur einer LLM-Generation.

Darüber hinaus bietet Phi-1, obwohl es im Vergleich zu bestehenden Modellen mit viel weniger Token trainiert wird, immer noch viel Potenzial.

Die Verbesserungen an HumanEval sind die größten Errungenschaften von Phi-1 als Sprachmodell. Nach der Optimierung gelang es phi-1, Aufgaben auszuführen, die nicht im Feinabstimmungsdatensatz enthalten waren. Dies bedeutet, dass das Modell den Feinabstimmungsprozess angepasst und verbessert hat.

Und das Bemerkenswerteste ist, dass phi-1 das im Vortraining erworbene Wissen neu organisiert und gefestigt hat, obwohl das Wissen dort überhaupt nicht explizit vorhanden war.

Kurz gesagt: phi-1 lernt nicht nur während des Trainings, sondern erweitert das Wissen auch selbstständig. Es hat es geschafft, GPT 3.5 auf allen Ebenen zu übertreffen, und es ist nur eine Frage der Zeit, bis das kleine Modell es mit den großen Modellen wie GPT 4 aufnehmen wird.

Was halten Sie von diesem neuen KI-Modell? Wohin geht Ihrer Meinung nach die KI-Forschung? Teilen Sie uns Ihre Meinung unbedingt im Kommentarbereich unten mit.