- Sodelovanje med Microsoftom in NVIDIA je pripeljalo do rojstva največjega najmočnejšega jezika, ki ga poganja umetna inteligenca danes.
- Podjetji sta pred prebojom delali na številnih inovacijah.
- Jezik poganja umetna inteligenca in izvira iz vrste poskusov.
Microsoft in NVIDIA sta danes objavila, da sta uspešno usposobila največji najzmogljivejši jezik doslej. Generacija naravnega jezika Megatron-Turing (MT-NLP) naj bi bila naslednica modelov Turing NLG 17B in Megatron-LM podjetij.
MT-NLP ima 530 milijard parametrov z zmožnostjo širokega nabora nalog naravnega jezika. Po mnenju obeh podjetij ima tudi sposobnosti razumevanja, sklepanja in naravnega jezika.
Prvi preboj
Podjetji sta v preteklosti delali na več inovacijah, a ta velja za najmočnejšo.
Dobljena kakovost je pomemben korak na poti odklepanja AI v naravnem jeziku. Dve inovaciji DeepSpeed in Megatron-LM bosta glavni koristi od razvoja modela AI in bosta odprli pot za velike modele AI, da bodo cenovno dostopni in hitrejši za usposabljanje.
Microsoft trenira jezikovni model s 530 milijardami parametrov v slogu GPT3. To je največji LM, ki obstaja. (Obstaja tudi skrivnostni multimodalni 1,5 bilijona+ 'Wu Dao' MOE model, vendar o njem malo znano). Microsoft se usposablja na naboru podatkov 'The Pile'. https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11. oktober 2021
Usposabljanje
Usposabljanje je potekalo čez 560 strežnikov Nvidia DGX A100, z 8 grafičnimi procesorji Nvidia A100 80 GB za vsakega.
Čeprav ima MT-NLP zmožnost sklepanja osnovnih matematičnih operacij, ni povsem natančen. Vendar pa presega pomnjenje in lahko dokonča naloge.
Takšni modeli so ključni pri krepitvi pristranskosti, ki so prisotne v podatkih, v katerih so usposobljeni.
Čeprav Microsoft priznava, da je prišlo do izzivov, so se zavezali, da jih bodo obravnavali z neprekinjenimi mejniki z nenehnimi raziskavami, hkrati pa zmanjšali potencialno škodo za uporabnike.
Za zdaj lahko uporabniki uživajo v doseženih mejnikih, medtem ko čakamo, da vidimo, kaj je naslednje v trgovini.
Kakšno je vaše mnenje o sodelovanju med Microsoftom in NVIDIA? Imate kakšna pričakovanja? Sporočite nam v spodnjem razdelku za komentarje.
