Das größte leistungsfähige Sprachmodell, das von Microsoft und NVIDIA trainiert wurde

  • Eine Zusammenarbeit zwischen Microsoft und NVIDIA hat zur Geburt der derzeit größten leistungsstärksten KI-basierten Sprache geführt.
  • Bis zum Durchbruch haben die beiden Unternehmen an zahlreichen Innovationen gearbeitet.
  • Die Sprache ist KI-unterstützt und stammt aus einer Reihe von Versuchen.

Microsoft und NVIDIA haben heute bekannt gegeben, dass sie die bisher mächtigste Sprache erfolgreich trainiert haben. Die Megatron-Turing Natural Language Generation (MT-NLP) soll der Nachfolger der Turing-Modelle NLG 17B und Megatron-LM der Unternehmen sein.

Das MT-NLP verfügt über 530 Milliarden Parameter mit der Fähigkeit einer breiten Palette natürlicher Sprachaufgaben. Nach Angaben der beiden Unternehmen verfügt es auch über Verständnis-, Argumentations- und natürliche Sprachfähigkeiten.

Erster Durchbruch

Die beiden Unternehmen haben in der Vergangenheit an mehreren Innovationen gearbeitet, aber diese gilt als die leistungsstärkste.

Die erreichte Qualität ist ein wichtiger Schritt auf dem Weg zur Erschließung der KI in natürlicher Sprache. Die beiden Innovationen DeepSpeed ​​und Megatron-LM werden die Hauptnutznießer der KI-Modellentwicklung sein und den Weg für große KI-Modelle ebnen, um erschwinglich und schneller zu trainieren.

Microsoft trainiert ein Sprachmodell im GPT3-Stil mit 530 Milliarden Parametern. Dies ist der größte existierende LM. (Es gibt auch das mysteriöse multimodale 1,5 Billionen + 'Wu Dao' MOE-Modell, aber darüber ist wenig bekannt). Microsoft trainiert mit dem Datensatz "The Pile". https://t.co/md03QzqlxA

– Jack Clark (@jackclarkSF) 11. Oktober 2021

Ausbildung

Das Training fand quer 560 Nvidia DGX A100-Server, mit jeweils 8 Nvidia A100 80 GB GPUs.

Obwohl das MT-NLP in der Lage ist, grundlegende mathematische Operationen abzuleiten, ist es nicht ganz genau. Es übertrifft jedoch das Auswendiglernen und kann Aufgaben erledigen.

Solche Modelle sind entscheidend für die Verstärkung der Verzerrungen, die in den Daten vorhanden sind, in denen sie trainiert werden.

Obwohl Microsoft anerkennt, dass es Herausforderungen gegeben hat, haben sie sich verpflichtet, diese anzugehen, indem sie durch kontinuierliche Forschung kontinuierliche Meilensteine ​​setzen und gleichzeitig potenzielle Schäden für die Benutzer minimieren.

Vorerst können die Benutzer die Meilensteine ​​genießen, während wir darauf warten, was als nächstes auf uns zukommt.

Was halten Sie von der Zusammenarbeit zwischen Microsoft und NVIDIA? Hast du irgendwelche Erwartungen? Lassen Sie es uns im Kommentarbereich unten wissen.

Laden Sie die Steuerung Canon LBP2900B für Windows 11 herunter und installieren Sie sie

Laden Sie die Steuerung Canon LBP2900B für Windows 11 herunter und installieren Sie sieVerschiedenes

Die Controller sind wesentliche Softwarekomponenten eines Computers; Daher ist die Installation des richtigen Geräts von entscheidender Bedeutung, damit Ihr Computer korrekt funktioniert. Um die Co...

Weiterlesen
Fehler beim Schreiben des neuen Wertinhalts im Register [Windows 10]

Fehler beim Schreiben des neuen Wertinhalts im Register [Windows 10]Verschiedenes

Se ricevi un Beim Schreiben des neuen wertvollen Inhalts durch den Herausgeber des Systemregisters ist ein Fehler aufgetreten.Eine schnelle Lösung des Problems besteht darin, den Systemregister-Edi...

Weiterlesen
3 Möglichkeiten zum Kalibrieren des Logitech Extreme 3D Pro Joysticks

3 Möglichkeiten zum Kalibrieren des Logitech Extreme 3D Pro JoysticksVerschiedenes

Alle Möglichkeiten, den Controller auf einem PC zu kalibrierenWenn Sie Logitech Extreme 3D Pro kalibrieren, wird die Genauigkeit erhöht, die Präzision gesteigert und kleinere Probleme beseitigt.Win...

Weiterlesen