Cel mai mare model de limbaj puternic antrenat de Microsoft și NVIDIA

Microsoft și NVIDIA au anunțat astăzi că au antrenat cu succes cel mai mare și mai puternic limbaj de până acum. Generația de limbaj natural Megatron-Turing (MT-NLP) este menită să fie succesorul modelelor Turing NLG 17B și Megatron-LM ale companiilor.

MT-NLP are 530 de miliarde de parametri cu capacitatea unui set larg de sarcini în limbaj natural. Potrivit celor două companii, are și capacități de înțelegere, raționament și limbaj natural.

Prima descoperire

Cele două companii au lucrat în trecut la mai multe inovații, dar aceasta este considerată cea mai puternică.

Calitatea obținută este un pas semnificativ către călătoria deblocării AI în limbaj natural. Cele două inovații DeepSpeed ​​și Megatron-LM vor fi principalii beneficiari ai dezvoltării modelului AI și vor deschide calea pentru ca modelele AI mari să fie accesibile și mai rapid de antrenat.

Microsoft antrenează un model de limbaj în stil GPT3 cu 530 de miliarde de parametri. Acesta este cel mai mare LM existent. (Există și misteriosul model multimodal de 1,5 trilioane + „Wu Dao” MOE, dar puțin cunoscut despre el). Microsoft se antrenează pe setul de date „The Pile”. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11 octombrie 2021

Instruire

Antrenamentul a avut loc peste tot 560 de servere Nvidia DGX A100, cu 8 GPU-uri Nvidia A100 de 80 GB pentru fiecare.

Deși MT-NLP are capacitatea de a deduce operații matematice de bază, nu este complet precis. Cu toate acestea, depășește memorarea și poate îndeplini sarcini.

Astfel de modele sunt cruciale în amplificarea părtinirilor prezente în datele în care sunt antrenați.

Deși Microsoft recunoaște că au existat provocări, se angajează să le abordeze prin realizarea de etape continue prin cercetare continuă, minimizând în același timp potențialul daune pentru utilizatori.

Pentru moment, utilizatorii se pot bucura de reperele realizate în timp ce așteptăm să vedem ce urmează în magazin.

Ce părere aveți despre colaborarea dintre Microsoft și NVIDIA? ai vreo asteptare? Anunțați-ne în secțiunea de comentarii de mai jos.