- Een samenwerking tussen Microsoft en NVIDIA heeft geleid tot de geboorte van de grootste, meest krachtige AI-aangedreven taal van vandaag.
- De twee bedrijven hebben voor een doorbraak aan tal van innovaties gewerkt.
- De taal is AI-aangedreven en is afkomstig uit een reeks proeven.
Microsoft en NVIDIA hebben vandaag aangekondigd dat ze met succes de grootste krachtigste taal tot nu toe hebben getraind. De Megatron-Turing Natural Language Generation (MT-NLP) is bedoeld als opvolger van de Turing NLG 17B- en Megatron-LM-modellen van de bedrijven.
De MT-NLP heeft 530 miljard parameters met de mogelijkheid om een brede reeks natuurlijke taaltaken uit te voeren. Volgens de twee bedrijven beschikt het ook over begripsvermogen, redeneervermogen en natuurlijke taal.
Eerste doorbraak
De twee bedrijven hebben in het verleden aan verschillende innovaties gewerkt, maar dit wordt als de krachtigste beschouwd.
De verkregen kwaliteit is een belangrijke stap op weg naar het ontsluiten van AI in natuurlijke taal. De twee innovaties DeepSpeed en Megatron-LM zullen de belangrijkste begunstigden zijn van de ontwikkeling van AI-modellen en de weg openen voor grote AI-modellen die betaalbaar en sneller te trainen zijn.
Microsoft traint een taalmodel in GPT3-stijl van 530 miljard parameters. Dit is de grootste LM die er bestaat. (Er is ook het mysterieuze multimodale 1,5 biljoen+ 'Wu Dao' MOE-model, maar er is weinig over bekend). Microsoft traint op 'The Pile' dataset. https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11 oktober 2021
Opleiding
De training vond plaats aan de overkant 560 Nvidia DGX A100-servers, met 8 Nvidia A100 80GB GPU's voor elk.
Hoewel de MT-NLP het vermogen heeft om elementaire wiskundige bewerkingen af te leiden, is het niet helemaal nauwkeurig. Het overtreft echter het onthouden en kan taken voltooien.
Dergelijke modellen zijn cruciaal bij het versterken van de vooroordelen die aanwezig zijn in gegevens waarin ze zijn getraind.
Hoewel Microsoft erkent dat er uitdagingen zijn geweest, zijn ze vastbesloten deze aan te pakken door continue mijlpalen te maken door voortdurend onderzoek te doen en mogelijke schade voor gebruikers tot een minimum te beperken.
Voor nu kunnen gebruikers genieten van de mijlpalen die zijn gemaakt terwijl we wachten om te zien wat de volgende stap is.
Wat vindt u van de samenwerking tussen Microsoft en NVIDIA? Heb je verwachtingen? Laat het ons weten in de commentaarsectie hieronder.
