Microsoft와 NVIDIA가 훈련한 가장 강력한 언어 모델

Microsoft와 NVIDIA는 오늘 현재까지 가장 강력한 언어를 성공적으로 훈련했다고 발표했습니다. Megatron-Turing Natural Language Generation(MT-NLP)은 회사의 Turing NLG 17B 및 Megatron-LM 모델의 후속 제품입니다.

MT-NLP에는 다양한 자연어 작업을 수행할 수 있는 5,300억 개의 매개변수가 있습니다. 두 회사에 따르면 이해력, 추리력, 자연어 능력도 갖추고 있다.

첫 번째 돌파구

두 회사는 과거에 몇 가지 혁신을 시도했지만 이것이 가장 강력한 것으로 간주됩니다.

획득한 품질은 자연어로 된 AI의 잠금을 해제하는 여정을 향한 중요한 단계입니다. DeepSpeed와 Megatron-LM의 두 가지 혁신은 AI 모델 개발의 주요 수혜자가 될 것이며 대규모 AI 모델이 더 저렴하고 빠르게 학습할 수 있는 길을 열 것입니다.

Microsoft는 5,300억 개의 매개변수 GPT3 스타일 언어 모델을 교육합니다. 현존하는 가장 큰 LM입니다. (미스터리한 다중 모드 1.5조+ 'Wu Dao' MOE 모델도 있지만 거의 알려지지 않았습니다.) Microsoft는 'The Pile' 데이터 세트에 대해 교육합니다. https://t.co/md03QzqlxA

— 잭 클라크(@jackclarkSF) 2021년 10월 11일

훈련

교육은 전역에서 진행되었습니다. 560 Nvidia DGX A100 서버, 각각에 대해 8개의 Nvidia A100 80GB GPU가 있습니다.

MT-NLP는 기본적인 수학 연산을 추론할 수 있지만 완전히 정확하지는 않습니다. 그러나 암기를 능가하고 작업을 완료할 수 있습니다.

이러한 모델은 훈련된 데이터에 존재하는 편향을 증폭하는 데 중요합니다.

Microsoft는 문제가 있음을 인정하지만 사용자에 대한 잠재적인 피해를 최소화하면서 지속적인 연구를 통해 지속적인 이정표를 만들어 문제를 해결하기 위해 최선을 다하고 있습니다.

현재로서는 사용자가 다음에 무엇이 나올지 기다리면서 만들어진 이정표를 즐길 수 있습니다.

Microsoft와 NVIDIA의 협업에 대해 어떻게 생각하십니까? 어떤 기대가 있습니까? 아래 댓글 섹션에 알려주십시오.