Najveći moćni jezični model koji su obučili Microsoft i NVIDIA

Microsoft i NVIDIA danas su objavili da su uspješno obučili najveći najmoćniji jezik do sada. Megatron-Turing Natural Language Generation (MT-NLP) trebao bi biti nasljednik modela Turing NLG 17B i Megatron-LM tvrtke.

MT-NLP ima 530 milijardi parametara s mogućnošću širokog skupa zadataka prirodnog jezika. Prema riječima dviju tvrtki, također ima sposobnosti razumijevanja, zaključivanja i prirodnog jezika.

Prvi proboj

Dvije su tvrtke u prošlosti radile na nekoliko inovacija, no ova se smatra najmoćnijom.

Dobivena kvaliteta značajan je korak prema putu otključavanja umjetne inteligencije na prirodnom jeziku. Dvije inovacije DeepSpeed ​​i Megatron-LM bit će glavni korisnici razvoja AI modela i otvoriti put velikim AI modelima da budu pristupačni i brži za obuku.

Microsoft trenira model jezika u stilu GPT3 s 530 milijardi parametara. Ovo je najveći LM koji postoji. (Postoji i tajanstveni multimodalni 1,5 trilijuna+ 'Wu Dao' MOE model, ali o njemu se malo zna). Microsoft trenira na skupu podataka 'The Pile'. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11. listopada 2021

Trening

Obuka se odvijala preko puta 560 Nvidia DGX A100 poslužitelja, s 8 Nvidia A100 80 GB GPU-a za svaki.

Iako MT-NLP ima sposobnost zaključivanja osnovnih matematičkih operacija, nije posve točan. Međutim, nadilazi pamćenje i može dovršiti zadatke.

Takvi su modeli ključni u pojačavanju pristranosti prisutnih u podacima u kojima su obučeni.

Iako Microsoft priznaje da je bilo izazova, predani su rješavanju tih izazova tako što će kontinuirano raditi na prekretnicama kroz kontinuirano istraživanje uz minimaliziranje potencijalne štete za korisnike.

Za sada korisnici mogu uživati ​​u ostvarenim prekretnicama dok čekamo da vidimo što je sljedeće u trgovini.

Što mislite o suradnji između Microsofta i NVIDIA-e? Imate li kakva očekivanja? Javite nam u odjeljku za komentare u nastavku.