Den største kraftige språkmodellen trent av Microsoft og NVIDIA

Microsoft og NVIDIA har i dag annonsert at de har trent opp det største og kraftigste språket til dags dato. Megatron-Turing Natural Language Generation (MT-NLP) er ment å være etterfølgeren til selskapenes Turing NLG 17B og Megatron-LM-modeller.

MT-NLP har 530 milliarder parametere med kapasitet til et bredt sett med naturlige språkoppgaver. I følge de to selskapene har den også evner til forståelse, resonnement og naturlige språk.

Første gjennombrudd

De to selskapene har tidligere jobbet med flere innovasjoner, men dette regnes som den kraftigste.

Kvaliteten som oppnås er et betydelig skritt mot reisen med å låse opp AI på naturlig språk. De to innovasjonene DeepSpeed ​​og Megatron-LM vil være de største fordelene av AI-modellutviklingen og åpne veien for at store AI-modeller blir rimelige og raskere å trene.

Microsoft trener en språkmodell i GPT3-stil med 530 milliarder parametere. Dette er den største LM som finnes. (Det er også den mystiske multimodale 1,5 trillion+ 'Wu Dao' MOE-modellen, men lite kjent om den). Microsoft trener på 'The Pile'-datasettet. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11. oktober 2021

Opplæring

Treningen foregikk på tvers 560 Nvidia DGX A100 servere, med 8 Nvidia A100 80 GB GPUer for hver.

Selv om MT-NLP har evnen til å utlede grunnleggende matematiske operasjoner, er den ikke helt nøyaktig. Det overgår imidlertid memorering og kan fullføre oppgaver.

Slike modeller er avgjørende for å forsterke skjevhetene som er tilstede i data der de er trent.

Selv om Microsoft erkjenner at det har vært utfordringer, er de forpliktet til å løse dem ved å gjøre kontinuerlige milepæler gjennom fortsatt forskning og samtidig minimere potensiell skade for brukere.

For nå kan brukere glede seg over milepælene som er gjort mens vi venter på å se hva som er neste i vente.

Hva er dine tanker om samarbeidet mellom Microsoft og NVIDIA? Har du noen forventninger? Gi oss beskjed i kommentarfeltet nedenfor.