Největší výkonný jazykový model vyškolený společnostmi Microsoft a NVIDIA

Společnosti Microsoft a NVIDIA dnes oznámily, že úspěšně vycvičily dosud největší nejvýkonnější jazyk. Megatron-Turing Natural Language Generation (MT-NLP) má být nástupcem modelů Turing NLG 17B a Megatron-LM.

MT-NLP má 530 miliard parametrů se schopností širokého souboru úloh přirozeného jazyka. Podle obou společností má také schopnosti porozumění, uvažování a přirozeného jazyka.

První průlom

Tyto dvě společnosti v minulosti pracovaly na několika inovacích, ale tato je považována za nejvýkonnější.

Získaná kvalita je významným krokem na cestě k odemykání umělé inteligence v přirozeném jazyce. Dvě inovace DeepSpeed ​​a Megatron-LM budou hlavními přínosy z vývoje modelů umělé inteligence a otevřou cestu k tomu, aby byly velké modely umělé inteligence cenově dostupné a rychlejší na trénování.

Microsoft trénuje jazykový model ve stylu GPT3 s 530 miliardami parametrů. Toto je největší existující LM. (Existuje také záhadný multimodální model 1,5 bilionu+ 'Wu Dao' MOE, ale o něm je málo známo). Microsoft trénuje na datové sadě 'The Pile'. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11. října 2021

Výcvik

Školení probíhalo napříč Servery 560 Nvidia DGX A100s 8 GPU Nvidia A100 80GB pro každý.

Ačkoli MT-NLP má schopnost odvodit základní matematické operace, není zcela přesný. To však překonává memorování a může plnit úkoly.

Takové modely jsou klíčové pro zesílení zkreslení přítomných v datech, ve kterých jsou trénovány.

Přestože společnost Microsoft uznává, že se vyskytly problémy, zavázala se je řešit tím, že bude průběžně určovat milníky prostřednictvím nepřetržitého výzkumu a zároveň minimalizovat potenciální škody pro uživatele.

Prozatím si uživatelé mohou vychutnat dosažené milníky, zatímco čekáme, co bude v obchodě dál.

Co si myslíte o spolupráci mezi Microsoftem a NVIDIA? Máte nějaká očekávání? Dejte nám vědět v sekci komentářů níže.