- Współpraca między Microsoft i NVIDIA doprowadziła do narodzin największego, najpotężniejszego obecnie języka opartego na sztucznej inteligencji.
- Obie firmy pracowały nad licznymi innowacjami przed przełomem.
- Język jest oparty na sztucznej inteligencji i pochodzi z serii prób.
Microsoft i NVIDIA ogłosiły dzisiaj, że z powodzeniem przeszkoliły największy jak dotąd najpotężniejszy język. Megatron-Turing Natural Language Generation (MT-NLP) ma być następcą modeli Turing NLG 17B i Megatron-LM.
MT-NLP ma 530 miliardów parametrów z możliwością szerokiego zestawu zadań języka naturalnego. Według obu firm posiada również zdolności rozumienia, rozumowania i języka naturalnego.
Pierwszy przełom
Obie firmy pracowały w przeszłości nad kilkoma innowacjami, ale ta jest uważana za najpotężniejszą.
Uzyskana jakość jest znaczącym krokiem w drodze do odblokowania sztucznej inteligencji w języku naturalnym. Dwie innowacje, DeepSpeed i Megatron-LM, będą głównymi beneficjentami rozwoju modelu AI i otworzą ścieżkę dla dużych modeli AI, które będą przystępne cenowo i szybsze w szkoleniu.
Microsoft szkoli model języka w stylu GPT3 o wartości 530 miliardów parametrów. To największy istniejący LM. (Istnieje również tajemniczy multimodalny model MOE o wartości 1,5 biliona+ „Wu Dao”, ale niewiele o nim wiadomo). Microsoft trenuje na zbiorze danych „The Pile”. https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11 października 2021
Szkolenie
Szkolenie odbyło się w całym 560 serwerów Nvidia DGX A100, z 8 procesorami graficznymi Nvidia A100 80 GB dla każdego.
Chociaż MT-NLP ma możliwość wywnioskowania podstawowych operacji matematycznych, nie jest całkowicie dokładna. Przewyższa jednak zapamiętywanie i może wykonywać zadania.
Takie modele mają kluczowe znaczenie dla wzmacniania błędów systematycznych obecnych w danych, w których są szkolone.
Chociaż firma Microsoft zdaje sobie sprawę, że pojawiły się wyzwania, zobowiązała się do ich rozwiązania, stale osiągając kamienie milowe w ramach ciągłych badań, jednocześnie minimalizując potencjalne szkody dla użytkowników.
Na razie użytkownicy mogą cieszyć się wykonanymi kamieniami milowymi, czekając, aby zobaczyć, co będzie dalej w sklepie.
Jakie są twoje przemyślenia na temat współpracy między Microsoft i NVIDIA? CZY masz jakieś oczekiwania? Daj nam znać w sekcji komentarzy poniżej.
