- Microsofti ja NVIDIA koostöö on viinud tänapäeva suurima võimsaima AI-toega keele sünnini.
- Kaks ettevõtet on enne läbimurret töötanud paljude uuenduste kallal.
- Keel on AI-toega ja pärineb mitmetest katsetustest.
Microsoft ja NVIDIA teatasid täna, et on edukalt välja õpetanud seni suurima võimsaima keele. Megatron-Turing Natural Language Generation (MT-NLP) on mõeldud ettevõtete Turing NLG 17B ja Megatron-LM mudelite järglaseks.
MT-NLP-l on 530 miljardit parameetrit, mis võimaldavad täita laia valikut loomuliku keele ülesandeid. Kahe ettevõtte sõnul on sellel ka arusaamine, arutlusvõime ja loomuliku keele oskus.
Esimene läbimurre
Need kaks ettevõtet on varem töötanud mitme uuenduse kallal, kuid seda peetakse kõige võimsamaks.
Saadud kvaliteet on märkimisväärne samm loomulikus keeles tehisintellekti avamise teekonnal. Kaks uuendust DeepSpeed ja Megatron-LM saavad tehisintellektimudelite arendusest peamised kasusaajad ning avavad tee suurte tehisintellekti mudelite taskukohaseks ja kiiremaks treenimiseks.
Microsoft treenib 530 miljardi parameetriga GPT3-stiilis keelemudelit. See on suurim olemasolev LM. (Seal on ka müstiline multimodaalne 1,5 triljoni+ 'Wu Dao' MOE mudel, kuid sellest on vähe teada). Microsoft treenib andmestikku "The Pile". https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11. oktoober 2021
Koolitus
Koolitus toimus risti 560 Nvidia DGX A100 serverit8 Nvidia A100 80 GB GPU-ga igaühe kohta.
Kuigi MT-NLP-l on võime tuletada põhilisi matemaatilisi tehteid, ei ole see täiesti täpne. Kuid see ületab meeldejätmise ja suudab ülesandeid täita.
Sellised mudelid on otsustava tähtsusega nendes andmetes esinevate eelarvamuste võimendamiseks, milles neid koolitatakse.
Kuigi Microsoft tunnistab, et väljakutseid on esinenud, on nad pühendunud nende lahendamisele, tehes pideva uurimistöö kaudu pidevaid verstaposte, minimeerides samal ajal võimalikku kahju kasutajatele.
Praegu saavad kasutajad nautida tehtud verstaposte, kui ootame, et näha, mis järgmisena ees ootab.
Mida arvate Microsofti ja NVIDIA koostööst? KAS teil on mingeid ootusi? Andke meile teada allpool olevas kommentaaride jaotises.
