- Uma colaboração entre a Microsoft e a NVIDIA levou ao nascimento da maior e mais poderosa linguagem baseada em IA da atualidade.
- As duas empresas trabalharam em inúmeras inovações antes de uma descoberta.
- A linguagem é alimentada por IA e se origina de uma série de testes.
A Microsoft e a NVIDIA anunciaram hoje que treinaram com sucesso a maior e mais poderosa linguagem até hoje. O Megatron-Turing Natural Language Generation (MT-NLP) foi criado para ser o sucessor dos modelos Turing NLG 17B e Megatron-LM das empresas.
O MT-NLP tem 530 bilhões de parâmetros com a capacidade de um amplo conjunto de tarefas de linguagem natural. Segundo as duas empresas, também possui capacidades de compreensão, raciocínio e linguagem natural.
Primeira descoberta
As duas empresas trabalharam no passado em várias inovações, mas esta é considerada a mais poderosa.
A qualidade obtida é um passo significativo na jornada de desbloquear a IA em linguagem natural. As duas inovações DeepSpeed e Megatron-LM serão as principais beneficiárias do desenvolvimento do modelo de IA e abrirão o caminho para que grandes modelos de IA sejam acessíveis e mais rápidos de treinar.
A Microsoft treina um modelo de linguagem no estilo GPT3 de 530 bilhões de parâmetros. Este é o maior LM existente. (Há também o misterioso modelo MOE multimodal 1,5 trilhão + 'Wu Dao', mas pouco se sabe sobre ele). Microsoft treina no conjunto de dados 'The Pile'. https://t.co/md03QzqlxA
- Jack Clark (@jackclarkSF) 11 de outubro de 2021
Treinamento
O treinamento ocorreu em 560 servidores Nvidia DGX A100, com 8 GPUs Nvidia A100 de 80 GB cada.
Embora o MT-NLP tenha a capacidade de inferir operações matemáticas básicas, ele não é totalmente preciso. No entanto, supera a memorização e pode completar tarefas.
Tais modelos são cruciais para amplificar os vieses presentes nos dados em que são treinados.
Embora a Microsoft reconheça que houve desafios, ela está empenhada em enfrentá-los, estabelecendo marcos contínuos por meio de pesquisas contínuas e, ao mesmo tempo, minimizando possíveis danos aos usuários.
Por enquanto, os usuários podem aproveitar os marcos conquistados enquanto esperamos para ver o que vem por aí.
O que você acha da colaboração entre a Microsoft e a NVIDIA? Você tem alguma expectativa? Deixe-nos saber na seção de comentários abaixo.
