- Spolupráce mezi Microsoftem a NVIDIA vedla ke zrodu největšího nejvýkonnějšího jazyka s umělou inteligencí současnosti.
- Před průlomem pracovaly obě společnosti na mnoha inovacích.
- Jazyk je poháněn umělou inteligencí a pochází z řady zkoušek.
Společnosti Microsoft a NVIDIA dnes oznámily, že úspěšně vycvičily dosud největší nejvýkonnější jazyk. Megatron-Turing Natural Language Generation (MT-NLP) má být nástupcem modelů Turing NLG 17B a Megatron-LM.
MT-NLP má 530 miliard parametrů se schopností širokého souboru úloh přirozeného jazyka. Podle obou společností má také schopnosti porozumění, uvažování a přirozeného jazyka.
První průlom
Tyto dvě společnosti v minulosti pracovaly na několika inovacích, ale tato je považována za nejvýkonnější.
Získaná kvalita je významným krokem na cestě k odemykání umělé inteligence v přirozeném jazyce. Dvě inovace DeepSpeed a Megatron-LM budou hlavními přínosy z vývoje modelů umělé inteligence a otevřou cestu k tomu, aby byly velké modely umělé inteligence cenově dostupné a rychlejší na trénování.
Microsoft trénuje jazykový model ve stylu GPT3 s 530 miliardami parametrů. Toto je největší existující LM. (Existuje také záhadný multimodální model 1,5 bilionu+ 'Wu Dao' MOE, ale o něm je málo známo). Microsoft trénuje na datové sadě 'The Pile'. https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11. října 2021
Výcvik
Školení probíhalo napříč Servery 560 Nvidia DGX A100s 8 GPU Nvidia A100 80GB pro každý.
Ačkoli MT-NLP má schopnost odvodit základní matematické operace, není zcela přesný. To však překonává memorování a může plnit úkoly.
Takové modely jsou klíčové pro zesílení zkreslení přítomných v datech, ve kterých jsou trénovány.
Přestože společnost Microsoft uznává, že se vyskytly problémy, zavázala se je řešit tím, že bude průběžně určovat milníky prostřednictvím nepřetržitého výzkumu a zároveň minimalizovat potenciální škody pro uživatele.
Prozatím si uživatelé mohou vychutnat dosažené milníky, zatímco čekáme, co bude v obchodě dál.
Co si myslíte o spolupráci mezi Microsoftem a NVIDIA? Máte nějaká očekávání? Dejte nám vědět v sekci komentářů níže.
