Найбільша потужна мовна модель, навчена Microsoft і NVIDIA

Microsoft і NVIDIA сьогодні оголосили, що вони успішно підготували найбільш потужну мову на сьогоднішній день. Покоління природної мови Megatron-Turing (MT-NLP) має стати наступником моделей Turing NLG 17B і Megatron-LM від компаній.

MT-NLP має 530 мільярдів параметрів з можливістю виконання широкого набору завдань природної мови. За словами двох компаній, він також володіє можливостями розуміння, міркування та природної мови.

Перший прорив

Дві компанії в минулому працювали над кількома інноваціями, але ця вважається найпотужнішою.

Отримана якість є значним кроком на шляху до розблокування ШІ природною мовою. Дві інновації DeepSpeed ​​і Megatron-LM стануть основними бенефіціарами розвитку моделі AI і відкриють шлях для великих моделей штучного інтелекту, щоб вони були доступними і швидшими для навчання.

Microsoft тренує 530-мільярдну модель мови в стилі GPT3. Це найбільший LM з існуючих. (Також є таємнича мультимодальна модель 1,5 трлн+ 'Wu Dao' MOE, але про неї мало відомо). Microsoft тренується на наборі даних "The Pile". https://t.co/md03QzqlxA

— Джек Кларк (@jackclarkSF) 11 жовтня 2021 року

Навчання

Навчання проходило впоперек 560 серверів Nvidia DGX A100, з 8 графічними процесорами Nvidia A100 80 ГБ для кожного.

Хоча MT-NLP має можливість робити висновки про основні математичні операції, вона не зовсім точна. Однак він перевершує запам'ятовування і може виконувати завдання.

Такі моделі мають вирішальне значення для посилення упереджень, наявних у даних, на яких вони навчаються.

Хоча корпорація Майкрософт визнає, що існують проблеми, вона прагне їх вирішувати, роблячи безперервні віхи шляхом постійних досліджень, мінімізуючи потенційну шкоду для користувачів.

Наразі користувачі можуть насолоджуватися досягненнями, поки ми чекаємо, щоб побачити, що буде далі.

Що ви думаєте про співпрацю між Microsoft і NVIDIA? У вас є якісь очікування? Дайте нам знати в розділі коментарів нижче.