Microsoft ve NVIDIA tarafından eğitilmiş en büyük güçlü dil modeli

Microsoft ve NVIDIA bugün, bugüne kadarki en büyük en güçlü dili başarıyla eğittiklerini duyurdular. Megatron-Turing Doğal Dil Üretimi (MT-NLP), şirketlerin Turing NLG 17B ve Megatron-LM modellerinin halefi olacak.

MT-NLP, geniş bir dizi doğal dil görevi yeteneğine sahip 530 milyar parametreye sahiptir. İki şirkete göre, aynı zamanda anlama, muhakeme ve doğal dil yeteneklerine de sahiptir.

İlk atılım

İki şirket geçmişte çeşitli yenilikler üzerinde çalıştı, ancak bu en güçlüsü olarak kabul ediliyor.

Elde edilen kalite, doğal dilde yapay zekanın kilidini açma yolculuğuna doğru önemli bir adımdır. DeepSpeed ​​ve Megatron-LM adlı iki yenilik, AI modeli geliştirmenin en büyük faydalanıcıları olacak ve büyük AI modellerinin uygun fiyatlı ve daha hızlı eğitilmesi için yolu açacaktır.

Microsoft, 530 milyar parametreli GPT3 tarzı dil modelini eğitiyor. Bu, var olan en büyük LM'dir. (Ayrıca gizemli çok modlu 1.5 trilyon+ 'Wu Dao' MOE modeli var ama hakkında çok az şey biliniyor). Microsoft, 'The Pile' veri kümesi üzerinde eğitim alıyor. https://t.co/md03QzqlxA

— Jack Clark (@jackclarkSF) 11 Ekim 2021

Eğitim

Eğitim genelinde gerçekleşti 560 Nvidia DGX A100 sunucu, her biri için 8 Nvidia A100 80GB GPU ile.

MT-NLP, temel matematiksel işlemlerden çıkarım yapma yeteneğine sahip olsa da, tam olarak doğru değildir. Ancak ezberlemeyi aşar ve görevleri tamamlayabilir.

Bu tür modeller, eğitildikleri verilerde mevcut olan önyargıları güçlendirmede çok önemlidir.

Microsoft, zorlukların olduğunu kabul etse de, kullanıcılara yönelik olası zararı en aza indirirken sürekli araştırmalar yoluyla sürekli kilometre taşları oluşturarak bunları ele almaya kararlıdır.

Şimdilik, mağazada sırada ne olduğunu görmek için beklerken kullanıcılar yapılan kilometre taşlarının keyfini çıkarabilirler.

Microsoft ve NVIDIA arasındaki işbirliği hakkında ne düşünüyorsunuz? Herhangi bir beklentiniz var mı? Aşağıdaki yorum bölümünde bize bildirin.