Το μεγαλύτερο ισχυρό μοντέλο γλώσσας που εκπαιδεύεται από τη Microsoft και τη NVIDIA

Η Microsoft και η NVIDIA ανακοίνωσαν σήμερα ότι έχουν εκπαιδεύσει με επιτυχία τη μεγαλύτερη πιο ισχυρή γλώσσα μέχρι σήμερα. Η Megatron-Turing Natural Language Generation (MT-NLP) προορίζεται να είναι ο διάδοχος των μοντέλων Turing NLG 17B και Megatron-LM της εταιρείας.

Το MT-NLP έχει 530 δισεκατομμύρια παραμέτρους με τη δυνατότητα ενός ευρέος συνόλου εργασιών φυσικής γλώσσας. Σύμφωνα με τις δύο εταιρείες, έχει επίσης δυνατότητες κατανόησης, συλλογισμού και φυσικής γλώσσας.

Πρώτη ανακάλυψη

Οι δύο εταιρείες έχουν εργαστεί στο παρελθόν σε αρκετές καινοτομίες, αλλά αυτή θεωρείται η πιο ισχυρή.

Η ποιότητα που αποκτήθηκε είναι ένα σημαντικό βήμα προς το ταξίδι του ξεκλειδώματος της τεχνητής νοημοσύνης σε φυσική γλώσσα. Οι δύο καινοτομίες DeepSpeed ​​και Megatron-LM θα είναι οι κύριοι ωφελούμενοι της ανάπτυξης μοντέλων τεχνητής νοημοσύνης και θα ανοίξουν το δρόμο για τα μεγάλα μοντέλα τεχνητής νοημοσύνης να είναι προσιτά και πιο γρήγορα στην εκπαίδευση.

Η Microsoft εκπαιδεύει ένα μοντέλο γλώσσας τύπου GPT3 παραμέτρων 530 δισεκατομμυρίων. Αυτό είναι το μεγαλύτερο LM που υπάρχει. (Υπάρχει επίσης το μυστηριώδες πολυτροπικό μοντέλο MOE 1,5 τρισεκατομμυρίων+ 'Wu Dao' αλλά ελάχιστα γνωστό για αυτό). Η Microsoft εκπαιδεύεται στο σύνολο δεδομένων «The Pile». https://t.co/md03QzqlxA

— Τζακ Κλαρκ (@jackclarkSF) 11 Οκτωβρίου 2021

Εκπαίδευση

Η εκπαίδευση έγινε απέναντι Διακομιστές 560 Nvidia DGX A100, με 8 GPU Nvidia A100 80 GB για καθεμία.

Αν και το MT-NLP έχει τη δυνατότητα να συνάγει βασικές μαθηματικές πράξεις, δεν είναι απολύτως ακριβές. Ωστόσο, ξεπερνά την απομνημόνευση και μπορεί να ολοκληρώσει εργασίες.

Τέτοια μοντέλα είναι ζωτικής σημασίας για την ενίσχυση των προκαταλήψεων που υπάρχουν στα δεδομένα στα οποία εκπαιδεύονται.

Αν και η Microsoft αναγνωρίζει ότι υπήρξαν προκλήσεις, έχει δεσμευτεί να τις αντιμετωπίσει κάνοντας συνεχή ορόσημα μέσω συνεχούς έρευνας, ελαχιστοποιώντας παράλληλα την πιθανή βλάβη στους χρήστες.

Προς το παρόν, οι χρήστες μπορούν να απολαύσουν τα ορόσημα που πραγματοποιήθηκαν καθώς περιμένουμε να δούμε τι θα ακολουθήσει.

Ποια είναι η γνώμη σας για τη συνεργασία μεταξύ της Microsoft και της NVIDIA; Έχετε προσδοκίες; Ενημερώστε μας στην παρακάτω ενότητα σχολίων.