- Sadarbība starp Microsoft un NVIDIA ir novedusi pie mūsdienu lielākās jaudīgākās AI darbināmās valodas dzimšanas.
- Abi uzņēmumi ir strādājuši pie daudziem jauninājumiem pirms izrāviena.
- Valoda ir balstīta uz mākslīgo intelektu, un tās izcelsme ir virkne izmēģinājumu.
Microsoft un NVIDIA šodien paziņoja, ka ir veiksmīgi apmācījuši līdz šim lielāko jaudīgāko valodu. Megatron-Turing Natural Language Generation (MT-NLP) ir paredzēts kā uzņēmumu Turing NLG 17B un Megatron-LM modeļu pēctecis.
MT-NLP ir 530 miljardi parametru ar iespēju veikt plašu dabiskās valodas uzdevumu kopumu. Pēc abu uzņēmumu domām, tai ir arī izpratnes, spriešanas un dabiskās valodas iespējas.
Pirmais izrāviens
Abi uzņēmumi agrāk ir strādājuši pie vairākiem jauninājumiem, taču tas tiek uzskatīts par visspēcīgāko.
Iegūtā kvalitāte ir nozīmīgs solis ceļā uz mākslīgā intelekta atbloķēšanu dabiskā valodā. Divi jauninājumi DeepSpeed un Megatron-LM būs galvenie ieguvēji no AI modeļu izstrādes un pavērs ceļu lieliem AI modeļiem, kas būs pieejami par pieņemamām cenām un ātrāk apmācāmi.
Microsoft apmāca 530 miljardu parametru GPT3 stila valodas modeli. Šis ir lielākais pastāvošais LM. (Ir arī noslēpumainais multimodālais 1,5 triljonu+ Wu Dao MOE modelis, taču par to ir maz zināms). Microsoft apmāca datu kopu “The Pile”. https://t.co/md03QzqlxA
— Džeks Klārks (@jackclarkSF) 2021. gada 11. oktobris
Apmācība
Apmācība notika pāri 560 Nvidia DGX A100 serveri, ar 8 Nvidia A100 80 GB GPU katram.
Lai gan MT-NLP spēj secināt matemātiskās pamatoperācijas, tā nav pilnīgi precīza. Tomēr tas pārspēj iegaumēšanu un var izpildīt uzdevumus.
Šādi modeļi ir ļoti svarīgi, lai pastiprinātu novirzes datos, kurās tie tiek apmācīti.
Lai gan Microsoft atzīst, ka ir bijuši izaicinājumi, viņi ir apņēmušies tos risināt, nepārtraukti veicot pētījumus, vienlaikus samazinot iespējamo kaitējumu lietotājiem.
Pagaidām lietotāji var izbaudīt paveiktos pavērsienus, gaidot, lai redzētu, kas gaidāms tālāk.
Kādas ir jūsu domas par Microsoft un NVIDIA sadarbību? VAI jums ir kādas cerības? Paziņojiet mums komentāru sadaļā zemāk.
