Das größte leistungsfähige Sprachmodell, das von Microsoft und NVIDIA trainiert wurde

Microsoft und NVIDIA haben heute bekannt gegeben, dass sie die bisher mächtigste Sprache erfolgreich trainiert haben. Die Megatron-Turing Natural Language Generation (MT-NLP) soll der Nachfolger der Turing-Modelle NLG 17B und Megatron-LM der Unternehmen sein.

Das MT-NLP verfügt über 530 Milliarden Parameter mit der Fähigkeit einer breiten Palette natürlicher Sprachaufgaben. Nach Angaben der beiden Unternehmen verfügt es auch über Verständnis-, Argumentations- und natürliche Sprachfähigkeiten.

Erster Durchbruch

Die beiden Unternehmen haben in der Vergangenheit an mehreren Innovationen gearbeitet, aber diese gilt als die leistungsstärkste.

Die erreichte Qualität ist ein wichtiger Schritt auf dem Weg zur Erschließung der KI in natürlicher Sprache. Die beiden Innovationen DeepSpeed ​​und Megatron-LM werden die Hauptnutznießer der KI-Modellentwicklung sein und den Weg für große KI-Modelle ebnen, um erschwinglich und schneller zu trainieren.

Microsoft trainiert ein Sprachmodell im GPT3-Stil mit 530 Milliarden Parametern. Dies ist der größte existierende LM. (Es gibt auch das mysteriöse multimodale 1,5 Billionen + 'Wu Dao' MOE-Modell, aber darüber ist wenig bekannt). Microsoft trainiert mit dem Datensatz "The Pile". https://t.co/md03QzqlxA

– Jack Clark (@jackclarkSF) 11. Oktober 2021

Ausbildung

Das Training fand quer 560 Nvidia DGX A100-Server, mit jeweils 8 Nvidia A100 80 GB GPUs.

Obwohl das MT-NLP in der Lage ist, grundlegende mathematische Operationen abzuleiten, ist es nicht ganz genau. Es übertrifft jedoch das Auswendiglernen und kann Aufgaben erledigen.

Solche Modelle sind entscheidend für die Verstärkung der Verzerrungen, die in den Daten vorhanden sind, in denen sie trainiert werden.

Obwohl Microsoft anerkennt, dass es Herausforderungen gegeben hat, haben sie sich verpflichtet, diese anzugehen, indem sie durch kontinuierliche Forschung kontinuierliche Meilensteine ​​setzen und gleichzeitig potenzielle Schäden für die Benutzer minimieren.

Vorerst können die Benutzer die Meilensteine ​​genießen, während wir darauf warten, was als nächstes auf uns zukommt.

Was halten Sie von der Zusammenarbeit zwischen Microsoft und NVIDIA? Hast du irgendwelche Erwartungen? Lassen Sie es uns im Kommentarbereich unten wissen.