- MicrosoftとNVIDIAのコラボレーションにより、今日最大の最も強力なAIを利用した言語が誕生しました。
- 両社は、ブレークスルーの前に数多くの革新に取り組んできました。
- この言語はAIを利用しており、一連の試行から生まれています。
MicrosoftとNVIDIAは本日、これまでで最大の最も強力な言語のトレーニングに成功したことを発表しました。 Megatron-Turing Natural Language Generation（MT-NLP）は、企業のTuring NLG17BおよびMegatron-LMモデルの後継となることを目的としています。
MT-NLPには、5300億のパラメーターがあり、さまざまな自然言語タスクを実行できます。 両社によると、理解力、推論力、自然言語能力も備えています。
最初の突破口
両社は過去にいくつかの革新に取り組んできましたが、これは最も強力であると考えられています。
得られた品質は、自然言語でAIのロックを解除する旅への重要な一歩です。 DeepSpeedとMegatron-LMの2つのイノベーションは、AIモデル開発の主な受益者となり、大規模なAIモデルを手頃な価格でより迅速にトレーニングできるようになります。
マイクロソフトは、5300億パラメータのGPT3スタイルの言語モデルをトレーニングしています。 これは、現存する最大のLMです。 （謎のマルチモーダル1.5兆以上の「ウーダオ」MOEモデルもありますが、それについてはほとんど知られていません）。 Microsoftは、「ThePile」データセットでトレーニングを行っています。 https://t.co/md03QzqlxA
—ジャック・クラーク（@jackclarkSF） 2021年10月11日
トレーニング
トレーニングは全体で行われました 560 Nvidia DGXA100サーバー、それぞれに8つのNvidia A100 80GBGPUを搭載。
MT-NLPには基本的な数学演算を推測する機能がありますが、完全に正確というわけではありません。 ただし、暗記を上回り、タスクを完了することができます。
このようなモデルは、トレーニング対象のデータに存在するバイアスを増幅する上で非常に重要です。
マイクロソフトは課題があったことを認めていますが、ユーザーへの潜在的な危害を最小限に抑えながら、継続的な調査を通じて継続的なマイルストーンを作成することにより、課題に対処することに取り組んでいます。
今のところ、ユーザーは、次のストアが表示されるのを待つ間、作成されたマイルストーンを楽しむことができます。
MicrosoftとNVIDIAのコラボレーションについてどう思いますか？ 何か期待はありますか？ 下記のコメント欄でお知らせください。
