Den største kraftfulde sprogmodel trænet af Microsoft og NVIDIA

Microsoft og NVIDIA har i dag annonceret, at de med succes har trænet det hidtil største mest kraftfulde sprog. Megatron-Turing Natural Language Generation (MT-NLP) er beregnet til at være efterfølgeren til virksomhedernes Turing NLG 17B og Megatron-LM modeller.

MT-NLP har 530 milliarder parametre med mulighed for et bredt sæt af naturlige sprogopgaver. Ifølge de to virksomheder har den også forståelse, ræsonnement og naturlige sprogevner.

Første gennembrud

De to virksomheder har tidligere arbejdet på adskillige innovationer, men dette anses for at være den mest kraftfulde.

Den opnåede kvalitet er et væsentligt skridt mod rejsen med at låse op AI i naturligt sprog. De to innovationer DeepSpeed ​​og Megatron-LM vil være de største fordele ved AI-modeludviklingen og åbne vejen for, at store AI-modeller er overkommelige og hurtigere at træne.

Microsoft træner en sprogmodel på 530 milliarder parametre i GPT3-stil. Dette er den største LM, der findes. (Der er også den mystiske multimodale 1,5 trillion+ 'Wu Dao' MOE-model, men man ved ikke meget om det). Microsoft træner på 'The Pile'-datasættet. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11. oktober 2021

Uddannelse

Træningen foregik på tværs 560 Nvidia DGX A100 servere, med 8 Nvidia A100 80GB GPU'er til hver.

Selvom MT-NLP har evnen til at udlede grundlæggende matematiske operationer, er den ikke helt nøjagtig. Det overgår dog hukommelsen og kan fuldføre opgaver.

Sådanne modeller er afgørende for at forstærke de skævheder, der er til stede i data, som de trænes i.

Selvom Microsoft erkender, at der har været udfordringer, er de forpligtet til at løse dem ved at lave kontinuerlige milepæle gennem fortsat forskning og samtidig minimere potentielle skader på brugerne.

Indtil videre kan brugerne nyde de milepæle, der er lavet, mens vi venter på at se, hvad der er det næste i vente.

Hvad er dine tanker om samarbejdet mellem Microsoft og NVIDIA? Har du nogle forventninger? Fortæl os det i kommentarfeltet nedenfor.