- Una collaborazione tra Microsoft e NVIDIA ha portato alla nascita del più grande e più potente linguaggio oggi basato sull'intelligenza artificiale.
- Le due società hanno lavorato su numerose innovazioni prima di una svolta.
- Il linguaggio è basato sull'intelligenza artificiale e deriva da una serie di prove.
Microsoft e NVIDIA hanno annunciato oggi di aver addestrato con successo il linguaggio più potente e più potente fino ad oggi. La generazione del linguaggio naturale Megatron-Turing (MT-NLP) è pensata per essere il successore dei modelli Turing NLG 17B e Megatron-LM delle aziende.
L'MT-NLP ha 530 miliardi di parametri con la capacità di un'ampia gamma di compiti in linguaggio naturale. Secondo le due società, ha anche capacità di comprensione, ragionamento e linguaggio naturale.
Prima svolta
Le due società hanno in passato lavorato su diverse innovazioni ma questa è considerata la più potente.
La qualità ottenuta è un passo significativo verso il viaggio verso lo sblocco dell'IA nel linguaggio naturale. Le due innovazioni DeepSpeed e Megatron-LM saranno i principali beneficiari dello sviluppo del modello di intelligenza artificiale e apriranno la strada a modelli di intelligenza artificiale di grandi dimensioni per essere convenienti e più veloci da addestrare.
Microsoft addestra un modello di linguaggio in stile GPT3 da 530 miliardi di parametri. Questo è il più grande LM esistente. (C'è anche il misterioso modello MOE multimodale da 1,5 trilioni + 'Wu Dao' ma poco conosciuto al riguardo). Microsoft si allena sul set di dati "The Pile". https://t.co/md03QzqlxA
— Jack Clark (@jackclarkSF) 11 ottobre 2021
Addestramento
La formazione si è svolta attraverso 560 server Nvidia DGX A100, con 8 GPU Nvidia A100 da 80 GB ciascuna.
Sebbene MT-NLP abbia la capacità di dedurre operazioni matematiche di base, non è del tutto accurato. Tuttavia, supera la memorizzazione e può completare le attività.
Tali modelli sono cruciali nell'amplificare i pregiudizi presenti nei dati in cui vengono addestrati.
Sebbene Microsoft riconosca che ci sono state delle sfide, si impegna ad affrontarle facendo continui traguardi attraverso la continua ricerca, riducendo al minimo i potenziali danni agli utenti.
Per ora, gli utenti possono godersi le pietre miliari fatte mentre aspettiamo di vedere cosa c'è in serbo per il prossimo.
Cosa ne pensi della collaborazione tra Microsoft e NVIDIA? Hai qualche aspettativa? Fatecelo sapere nella sezione commenti qui sotto.
![La cronologia dei file non funziona in Windows 10 [Correzione]](/f/ff613559c40e0daa2dd7b55f5e594288.png?width=300&height=460)