Das neue Coding-LLM von Microsoft kommt nach GPT 4

phi-1 ist Microsofts neues Sprachmodell für die Codierung.

  • Microsoft finanziert viel KI-Forschung.
  • Nach der Ankündigung, dass Orca Open Source sein wird, ist auch phi-1 hier.
  • phi-1 ist in der Lage, selbstständig Wissen zu festigen.
Microsoft Phi 1

Microsoft macht wirklich einen großen Schritt in der KI-Entwicklung. Letzten Monat stand KI im Mittelpunkt der Microsoft Build-Konferenz, und das gab der in Redmond ansässige Technologiekonzern sogar bekannt Copilot kommt für Windows 11. Als native integrierte App für alles, was Sie brauchen,

KI hält auch Einzug in Microsoft Teams, in seinem Recap Ai-Tool. Und viele andere Tools von Microsoft werden KI nutzen, darunter auch Microsoft Fabric.

Aber es scheint, dass Microsoft auch die KI-Forschung finanziert. Erst kürzlich gab der Tech-Riese bekannt Orca 13B wird Open Source sein. Und LongMem ist ein weiterer guter Punkt in der KI-Forschung: Es ist die Antwort für unbegrenzte Kontextlänge.

Und jetzt ist Zeit für einen weiteren großen Durchbruch in der KI-Forschung, natürlich von Microsoft. Das neue 1,3B-Parameter-Modell, das LLM codiert und Phi-1 genannt wird, übertrifft Berichten zufolge GPT 3,5 in nur 4 Trainingstagen.

Was ist Phi-1 und wie übertrifft es GPT bereits?

Phi-1 ist ein neues 1.3B-Parameter-Sprachmodell für Code, mit einer deutlich kleineren Größe als Konkurrenzmodelle. Das Sprachmodell wurde 4 Tage lang mit über 7 Milliarden Token trainiert (insgesamt wurden etwas mehr als 50 Milliarden Token gesehen), gefolgt von einer Feinabstimmung mit weniger als 200 Millionen Token.Microsoft Phi 1

Obwohl phi-1 viel kleiner als die Konkurrenzmodelle ist, erreichte es 50,6 % [email protected] Genauigkeit bei HumanEval und 55,5 % [email protected] Genauigkeit bei MBPP (Mostly Basic Python Programs), einer der besten selbst gemeldeten Zahlen unter Verwendung nur einer LLM-Generation.

Darüber hinaus bietet Phi-1, obwohl es im Vergleich zu bestehenden Modellen mit viel weniger Token trainiert wird, immer noch viel Potenzial.

Die Verbesserungen an HumanEval sind die größten Errungenschaften von Phi-1 als Sprachmodell. Nach der Optimierung gelang es phi-1, Aufgaben auszuführen, die nicht im Feinabstimmungsdatensatz enthalten waren. Dies bedeutet, dass das Modell den Feinabstimmungsprozess angepasst und verbessert hat.

Und das Bemerkenswerteste ist, dass phi-1 das im Vortraining erworbene Wissen neu organisiert und gefestigt hat, obwohl das Wissen dort überhaupt nicht explizit vorhanden war.

Kurz gesagt: phi-1 lernt nicht nur während des Trainings, sondern erweitert das Wissen auch selbstständig. Es hat es geschafft, GPT 3.5 auf allen Ebenen zu übertreffen, und es ist nur eine Frage der Zeit, bis das kleine Modell es mit den großen Modellen wie GPT 4 aufnehmen wird.

Was halten Sie von diesem neuen KI-Modell? Wohin geht Ihrer Meinung nach die KI-Forschung? Teilen Sie uns Ihre Meinung unbedingt im Kommentarbereich unten mit.

Microsoft entwickelt eine Companion-Experience-Technologie, die den Konsum von Inhalten revolutionieren könnte

Microsoft entwickelt eine Companion-Experience-Technologie, die den Konsum von Inhalten revolutionieren könnteMicrosoftSozialen Medien

Das Konzept würde das Multitasking wirklich verbessern. Der Content-Konsum im Jahr 2023 ist, gelinde gesagt, reichlich vorhanden, und es gibt Dutzende von Streaming-Angeboten Plattformen, die Mensc...

Weiterlesen
Microsoft veröffentlicht Seeing AI für Android, eine kostenlose App, die sehbehinderten Menschen die Welt erzählt

Microsoft veröffentlicht Seeing AI für Android, eine kostenlose App, die sehbehinderten Menschen die Welt erzähltMicrosoftAndroid Software

Die App ist ab heute in 18 Sprachen verfügbar.Microsoft kündigt die Veröffentlichung des an KI-App auf Android wird angezeigt, eine kostenlose App, die sehbehinderten Menschen hilft, die Welt durch...

Weiterlesen
Skype stellt neue Funktionen vor, es fehlen jedoch noch grundlegende Funktionen für die mobile Version

Skype stellt neue Funktionen vor, es fehlen jedoch noch grundlegende Funktionen für die mobile VersionMicrosoftSkype

Skype verstärkt sein Spiel, aber das reicht nicht aus.Microsoft hat kürzlich veröffentlicht Skype 8110 zu den Insider-Kanälen und führte neue Funktionen für die Videokonferenzplattform ein, darunte...

Weiterlesen