- Une collaboration entre Microsoft et NVIDIA a conduit à la naissance du plus grand langage alimenté par l'IA le plus puissant aujourd'hui.
- Les deux sociétés ont travaillé sur de nombreuses innovations avant une percée.
- Le langage est alimenté par l'IA et provient d'une série d'essais.
Microsoft et NVIDIA ont annoncé aujourd'hui avoir formé avec succès le plus grand langage le plus puissant à ce jour. La génération de langage naturel Megatron-Turing (MT-NLP) est censée succéder aux modèles Turing NLG 17B et Megatron-LM des sociétés.
Le MT-NLP a 530 milliards de paramètres avec la capacité d'un large éventail de tâches en langage naturel. Selon les deux sociétés, il possède également des capacités de compréhension, de raisonnement et de langage naturel.
Première percée
Les deux sociétés ont par le passé travaillé sur plusieurs innovations, mais celle-ci est considérée comme la plus puissante.
La qualité obtenue est une étape importante vers le déverrouillage de l'IA en langage naturel. Les deux innovations DeepSpeed et Megatron-LM seront les principaux bénéficiaires du développement du modèle d'IA et ouvriront la voie aux grands modèles d'IA pour qu'ils soient abordables et plus rapides à former.
Microsoft forme un modèle de langage de style GPT3 de 530 milliards de paramètres. C'est le plus grand LM existant. (Il y a aussi le mystérieux modèle multimodal de 1,5 billion de dollars + 'Wu Dao' MOE mais peu connu à ce sujet). Microsoft s'entraîne sur l'ensemble de données « The Pile ». https://t.co/md03QzqlxA
– Jack Clark (@jackclarkSF) 11 octobre 2021
Entraînement
La formation s'est déroulée à travers 560 serveurs Nvidia DGX A100, avec 8 GPU Nvidia A100 80 Go pour chacun.
Bien que le MT-NLP ait la capacité d'inférer des opérations mathématiques de base, il n'est pas tout à fait précis. Il surpasse cependant la mémorisation et peut accomplir des tâches.
De tels modèles sont cruciaux pour amplifier les biais présents dans les données dans lesquelles ils sont entraînés.
Bien que Microsoft reconnaisse qu'il y a eu des défis, ils s'engagent à les relever en posant des jalons continus grâce à des recherches continues tout en minimisant les dommages potentiels aux utilisateurs.
Pour l'instant, les utilisateurs peuvent profiter des étapes franchies en attendant de voir ce qui nous attend.
Que pensez-vous de la collaboration entre Microsoft et NVIDIA? Avez-vous des attentes? Faites-nous savoir dans la section commentaire ci-dessous.
