- Сотрудничество Microsoft и NVIDIA привело к рождению самого мощного и мощного языка на базе искусственного интеллекта на сегодняшний день.
- Обе компании работали над многочисленными инновациями, прежде чем совершить прорыв.
- Язык основан на искусственном интеллекте и является результатом серии испытаний.
Microsoft и NVIDIA сегодня объявили, что они успешно обучили самый мощный на сегодняшний день язык. Генерация естественного языка Megatron-Turing (MT-NLP) призвана стать преемником моделей Turing NLG 17B и Megatron-LM компании.
MT-NLP имеет 530 миллиардов параметров с возможностью решения широкого набора задач на естественном языке. По словам двух компаний, он также обладает способностями к пониманию, рассуждению и естественному языку.
Первый прорыв
Обе компании в прошлом работали над несколькими инновациями, но эта считается самой мощной.
Полученное качество - значительный шаг на пути к открытию ИИ на естественном языке. Две инновации, DeepSpeed и Megatron-LM, станут основными бенефициарами разработки модели искусственного интеллекта и откроют путь для больших моделей искусственного интеллекта, которые станут доступными и более быстрыми в обучении.
Microsoft обучает языковую модель в стиле GPT3 с 530 миллиардами параметров. Это самая большая из существующих LM. (Существует также загадочная мультимодальная модель MOE размером 1,5 триллиона + «Wu Dao», но о ней мало что известно). Microsoft обучает набору данных The Pile. https://t.co/md03QzqlxA
- Джек Кларк (@jackclarkSF) 11 октября 2021 г.
Обучение
Обучение проходило через 560 серверов Nvidia DGX A100, с 8 графическими процессорами Nvidia A100 80 ГБ для каждого.
Хотя MT-NLP имеет возможность делать базовые математические операции, он не совсем точен. Однако он превосходит запоминание и может выполнять задания.
Такие модели имеют решающее значение для усиления предвзятости, присутствующей в данных, на которых они обучаются.
Хотя Microsoft признает, что проблемы были, они стремятся решать их, постоянно делая вехи, продолжая исследования и сводя к минимуму потенциальный вред для пользователей.
На данный момент пользователи могут наслаждаться достигнутыми вехами, пока мы ждем, что будет дальше.
Что вы думаете о сотрудничестве Microsoft и NVIDIA? У тебя есть какие-то ожидания? Дайте нам знать в разделе комментариев ниже.
