Največji zmogljiv jezikovni model, ki sta ga usposobila Microsoft in NVIDIA

Microsoft in NVIDIA sta danes objavila, da sta uspešno usposobila največji najzmogljivejši jezik doslej. Generacija naravnega jezika Megatron-Turing (MT-NLP) naj bi bila naslednica modelov Turing NLG 17B in Megatron-LM podjetij.

MT-NLP ima 530 milijard parametrov z zmožnostjo širokega nabora nalog naravnega jezika. Po mnenju obeh podjetij ima tudi sposobnosti razumevanja, sklepanja in naravnega jezika.

Prvi preboj

Podjetji sta v preteklosti delali na več inovacijah, a ta velja za najmočnejšo.

Dobljena kakovost je pomemben korak na poti odklepanja AI v naravnem jeziku. Dve inovaciji DeepSpeed ​​in Megatron-LM bosta glavni koristi od razvoja modela AI in bosta odprli pot za velike modele AI, da bodo cenovno dostopni in hitrejši za usposabljanje.

Microsoft trenira jezikovni model s 530 milijardami parametrov v slogu GPT3. To je največji LM, ki obstaja. (Obstaja tudi skrivnostni multimodalni 1,5 bilijona+ 'Wu Dao' MOE model, vendar o njem malo znano). Microsoft se usposablja na naboru podatkov 'The Pile'. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11. oktober 2021

Usposabljanje

Usposabljanje je potekalo čez 560 strežnikov Nvidia DGX A100, z 8 grafičnimi procesorji Nvidia A100 80 GB za vsakega.

Čeprav ima MT-NLP zmožnost sklepanja osnovnih matematičnih operacij, ni povsem natančen. Vendar pa presega pomnjenje in lahko dokonča naloge.

Takšni modeli so ključni pri krepitvi pristranskosti, ki so prisotne v podatkih, v katerih so usposobljeni.

Čeprav Microsoft priznava, da je prišlo do izzivov, so se zavezali, da jih bodo obravnavali z neprekinjenimi mejniki z nenehnimi raziskavami, hkrati pa zmanjšali potencialno škodo za uporabnike.

Za zdaj lahko uporabniki uživajo v doseženih mejnikih, medtem ko čakamo, da vidimo, kaj je naslednje v trgovini.

Kakšno je vaše mnenje o sodelovanju med Microsoftom in NVIDIA? Imate kakšna pričakovanja? Sporočite nam v spodnjem razdelku za komentarje.