- Una colaboración entre Microsoft y NVIDIA ha llevado al nacimiento del lenguaje de inteligencia artificial más grande y poderoso de la actualidad.
- Las dos empresas han trabajado en numerosas innovaciones antes de un gran avance.
- El lenguaje está impulsado por IA y se origina en una serie de pruebas.
Microsoft y NVIDIA han anunciado hoy que han entrenado con éxito el lenguaje más poderoso hasta la fecha. Megatron-Turing Natural Language Generation (MT-NLP) está destinado a ser el sucesor de los modelos Turing NLG 17B y Megatron-LM de las empresas.
El MT-NLP tiene 530 mil millones de parámetros con la capacidad de un amplio conjunto de tareas de lenguaje natural. Según las dos empresas, también tiene capacidades de comprensión, razonamiento y lenguaje natural.
Primer avance
Las dos empresas han trabajado en el pasado en varias innovaciones, pero esta se considera la más poderosa.
La calidad obtenida es un paso significativo hacia el viaje de desbloquear la IA en lenguaje natural. Las dos innovaciones DeepSpeed y Megatron-LM serán los principales beneficiarios del desarrollo del modelo de IA y abrirán el camino para que los grandes modelos de IA sean asequibles y más rápidos de entrenar.
Microsoft entrena un modelo de lenguaje de estilo GPT3 de 530 mil millones de parámetros. Este es el LM más grande que existe. (También está el misterioso modelo MOE multimodal de 1,5 billones + 'Wu Dao', pero poco conocido al respecto). Microsoft se entrena en el conjunto de datos 'The Pile'. https://t.co/md03QzqlxA
- Jack Clark (@jackclarkSF) 11 de octubre de 2021
Capacitación
El entrenamiento se llevó a cabo en 560 servidores Nvidia DGX A100, con 8 GPU Nvidia A100 de 80 GB para cada uno.
Aunque el MT-NLP tiene la capacidad de inferir operaciones matemáticas básicas, no es del todo exacto. Sin embargo, supera la memorización y puede completar tareas.
Estos modelos son cruciales para amplificar los sesgos presentes en los datos en los que se entrenan.
Aunque Microsoft reconoce que ha habido desafíos, está comprometido a abordarlos haciendo hitos continuos a través de una investigación continua y minimizando el daño potencial a los usuarios.
Por ahora, los usuarios pueden disfrutar de los hitos alcanzados mientras esperamos a ver qué sigue en la tienda.
¿Qué opina de la colaboración entre Microsoft y NVIDIA? ¿Tienes alguna expectativa? Háganos saber en la sección de comentarios a continuación.
