- Suradnja između Microsofta i NVIDIA-e dovela je do rođenja najvećeg najmoćnijeg jezika koji pokreće umjetnu inteligenciju danas.
- Dvije tvrtke radile su na brojnim inovacijama prije proboja.
- Jezik je pokretan umjetnom inteligencijom i potječe iz niza pokusa.
Microsoft i NVIDIA danas su objavili da su uspješno obučili najveći najmoćniji jezik do sada. Megatron-Turing Natural Language Generation (MT-NLP) trebao bi biti nasljednik modela Turing NLG 17B i Megatron-LM tvrtke.
MT-NLP ima 530 milijardi parametara s mogućnošću širokog skupa zadataka prirodnog jezika. Prema riječima dviju tvrtki, također ima sposobnosti razumijevanja, zaključivanja i prirodnog jezika.
Prvi proboj
Dvije su tvrtke u prošlosti radile na nekoliko inovacija, no ova se smatra najmoćnijom.
Dobivena kvaliteta značajan je korak prema putu otključavanja umjetne inteligencije na prirodnom jeziku. Dvije inovacije DeepSpeed i Megatron-LM bit će glavni korisnici razvoja AI modela i otvoriti put velikim AI modelima da budu pristupačni i brži za obuku.
Microsoft trenira model jezika u stilu GPT3 s 530 milijardi parametara. Ovo je najveći LM koji postoji. (Postoji i tajanstveni multimodalni 1,5 trilijuna+ 'Wu Dao' MOE model, ali o njemu se malo zna). Microsoft trenira na skupu podataka 'The Pile'. https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11. listopada 2021
Trening
Obuka se odvijala preko puta 560 Nvidia DGX A100 poslužitelja, s 8 Nvidia A100 80 GB GPU-a za svaki.
Iako MT-NLP ima sposobnost zaključivanja osnovnih matematičkih operacija, nije posve točan. Međutim, nadilazi pamćenje i može dovršiti zadatke.
Takvi su modeli ključni u pojačavanju pristranosti prisutnih u podacima u kojima su obučeni.
Iako Microsoft priznaje da je bilo izazova, predani su rješavanju tih izazova tako što će kontinuirano raditi na prekretnicama kroz kontinuirano istraživanje uz minimaliziranje potencijalne štete za korisnike.
Za sada korisnici mogu uživati u ostvarenim prekretnicama dok čekamo da vidimo što je sljedeće u trgovini.
Što mislite o suradnji između Microsofta i NVIDIA-e? Imate li kakva očekivanja? Javite nam u odjeljku za komentare u nastavku.
