Den största kraftfulla språkmodellen utbildad av Microsoft och NVIDIA

Microsoft och NVIDIA har idag meddelat att de framgångsrikt har tränat det största mest kraftfulla språket hittills. Megatron-Turing Natural Language Generation (MT-NLP) är tänkt att vara efterföljaren till företagens Turing NLG 17B och Megatron-LM-modeller.

MT-NLP har 530 miljarder parametrar med kapacitet för en bred uppsättning naturliga språkuppgifter. Enligt de två företagen har den också förmåga att förstå, resonera och naturligt språk.

Första genombrottet

De två företagen har tidigare arbetat med flera innovationer men detta anses vara den mest kraftfulla.

Den erhållna kvaliteten är ett viktigt steg mot resan att låsa upp AI på naturligt språk. De två innovationerna DeepSpeed ​​och Megatron-LM kommer att vara de största förmånstagarna av AI-modellutvecklingen och öppna vägen för stora AI-modeller att vara överkomliga och snabbare att träna.

Microsoft tränar en språkmodell av GPT3-stil med 530 miljarder parametrar. Detta är den största LM som finns. (Det finns också den mystiska multimodala 1,5 biljoner+ 'Wu Dao' MOE-modellen men lite känd om den). Microsoft tränar på datasetet "The Pile". https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11 oktober 2021

Träning

Utbildningen skedde tvärs över 560 Nvidia DGX A100-servrar, med 8 Nvidia A100 80GB GPU: er för varje.

Även om MT-NLP har förmågan att sluta sig till grundläggande matematiska operationer, är den inte helt korrekt. Det överträffar dock memorering och kan slutföra uppgifter.

Sådana modeller är avgörande för att förstärka de fördomar som finns i data där de tränas.

Även om Microsoft erkänner att det har funnits utmaningar, är de fast beslutna att ta itu med dem genom att göra kontinuerliga milstolpar genom fortsatt forskning och samtidigt minimera potentiell skada för användarna.

För närvarande kan användare njuta av milstolparna som gjorts medan vi väntar på vad som väntar härnäst.

Vad är dina tankar om samarbetet mellan Microsoft och NVIDIA? Har du några förväntningar? Låt oss veta i kommentarsfältet nedan.