Didžiausias galingas kalbos modelis, paruoštas Microsoft ir NVIDIA

„Microsoft“ ir NVIDIA šiandien paskelbė, kad sėkmingai išmoko iki šiol didžiausią galingiausią kalbą. „Megatron-Turing Natural Language Generation“ (MT-NLP) turi būti įmonių Turing NLG 17B ir Megatron-LM modelių įpėdinis.

MT-NLP turi 530 milijardų parametrų ir gali atlikti daugybę natūralios kalbos užduočių. Pasak dviejų įmonių, ji taip pat turi supratimo, samprotavimo ir natūralios kalbos gebėjimų.

Pirmas proveržis

Dvi įmonės praeityje kūrė keletą naujovių, tačiau tai laikoma galingiausia.

Gauta kokybė yra reikšmingas žingsnis siekiant atrakinti AI natūralia kalba. Dvi naujovės „DeepSpeed“ ir „Megatron-LM“ bus pagrindiniai dirbtinio intelekto modelio kūrimo naudos gavėjai ir atvers kelią dideliems AI modeliams, kad jie būtų įperkami ir greičiau mokomi.

„Microsoft“ parengia 530 milijardų parametrų GPT3 stiliaus kalbos modelį. Tai didžiausias egzistuojantis LM. (Taip pat yra paslaptingas daugiarūšis 1,5 trilijono + „Wu Dao“ MOE modelis, tačiau apie jį mažai žinoma). „Microsoft“ mokosi naudotis „The Pile“ duomenų rinkiniu.

instagram story viewer

https://t.co/md03QzqlxA

– Džekas Klarkas (@jackclarkSF) 2021 m. spalio 11 d

Treniruotės

Mokymai vyko skersai 560 Nvidia DGX A100 serveriai, kiekviename yra 8 Nvidia A100 80 GB GPU.

Nors MT-NLP gali daryti išvadas apie pagrindines matematines operacijas, ji nėra visiškai tiksli. Tačiau tai pranoksta įsiminimą ir gali atlikti užduotis.

Tokie modeliai yra labai svarbūs sustiprinant duomenų, kuriuose jie mokomi, paklaidas.

Nors „Microsoft“ pripažįsta, kad iškilo iššūkių, ji yra įsipareigojusi juos spręsti, nuolat siekdama nuolatinių tyrimų, tuo pačiu sumažindama galimą žalą vartotojams.

Kol kas vartotojai gali džiaugtis pasiektais etapais, kol laukiame, kas bus toliau.

Ką manote apie „Microsoft“ ir NVIDIA bendradarbiavimą? AR turite kokių nors lūkesčių? Praneškite mums toliau pateiktame komentarų skyriuje.