Най-големият мощен езиков модел, обучен от Microsoft и NVIDIA

Microsoft и NVIDIA обявиха днес, че са обучили успешно най-големия най-мощен език досега. Megatron-Turing Natural Language Generation (MT-NLP) е предназначен да бъде наследник на моделите Turing NLG 17B и Megatron-LM на компаниите.

MT-NLP има 530 милиарда параметри с възможност за широк набор от задачи на естествен език. Според двете компании той също има възможности за разбиране, разсъждение и естествен език.

Първи пробив

Двете компании в миналото са работили по няколко иновации, но тази се счита за най-мощната.

Полученото качество е значителна стъпка към пътуването за отключване на AI на естествен език. Двете иновации DeepSpeed ​​и Megatron-LM ще бъдат основните бенефициенти от разработването на AI модела и ще отворят пътя за големите AI модели да бъдат достъпни и по-бързи за обучение.

Microsoft обучава езиков модел с 530 милиарда параметър в стил GPT3. Това е най-големият съществуващ LM. (Има и мистериозният мултимодален модел 1,5 трилиона+ 'Wu Dao' MOE, но малко известен за него). Microsoft тренира върху набор от данни „The Pile“. https://t.co/md03QzqlxA

— Джак Кларк (@jackclarkSF) 11 октомври 2021 г

Обучение

Обучението се проведе през 560 Nvidia DGX A100 сървъра, с 8 графични процесора Nvidia A100 80GB за всеки.

Въпреки че MT-NLP има способността да извежда основни математически операции, това не е напълно точно. Той обаче превъзхожда запаметяването и може да изпълнява задачи.

Такива модели са от решаващо значение за засилване на отклоненията, присъстващи в данните, в които са обучени.

Въпреки че Microsoft признава, че е имало предизвикателства, те се ангажират да се справят с тях, като правят непрекъснати етапи чрез непрекъснати изследвания, като същевременно минимизират потенциалната вреда за потребителите.

Засега потребителите могат да се насладят на постигнатите етапи, докато чакаме да видим какво предстои.

Какво мислите за сътрудничеството между Microsoft и NVIDIA? Имате ли някакви очаквания? Уведомете ни в секцията за коментари по-долу.