- მაიკროსოფტისა და NVIDIA-ს თანამშრომლობამ განაპირობა დღეს ყველაზე ძლიერი AI-ით აღჭურვილი ენის დაბადება.
- გარღვევამდე ორმა კომპანიამ მრავალ ინოვაციებზე იმუშავა.
- ენა აღჭურვილია ხელოვნური ინტელექტის საშუალებით და სათავეს იღებს მთელი რიგი საცდელებიდან.
Microsoft-მა და NVIDIA-მ დღეს განაცხადეს, რომ მათ წარმატებით მოამზადეს დღემდე ყველაზე დიდი, ყველაზე ძლიერი ენა. Megatron-Turing Natural Language Generation (MT-NLP) გამიზნულია, რომ იყოს კომპანიების Turing NLG 17B და Megatron-LM მოდელების მემკვიდრე.
MT-NLP-ს აქვს 530 მილიარდი პარამეტრი ბუნებრივი ენის ამოცანების ფართო ნაკრების შესაძლებლობით. ორი კომპანიის თქმით, მას ასევე აქვს გაგება, მსჯელობა და ბუნებრივი ენის შესაძლებლობები.
პირველი გარღვევა
ორმა კომპანიამ წარსულში იმუშავა რამდენიმე ინოვაციაზე, მაგრამ ეს ითვლება ყველაზე ძლიერად.
მიღებული ხარისხი არის მნიშვნელოვანი ნაბიჯი ბუნებრივი ენით ხელოვნური ინტელექტის განბლოკვის მოგზაურობისკენ. ორი ინოვაცია DeepSpeed და Megatron-LM იქნება ხელოვნური ინტელექტის მოდელის განვითარების მთავარი ბენეფიციარები და გზას გაუხსნის დიდი ხელოვნური ინტელექტის მოდელებს, რათა იყოს ხელმისაწვდომი და უფრო სწრაფი ტრენინგი.
Microsoft ავარჯიშებს 530 მილიარდი პარამეტრის GPT3 სტილის ენობრივ მოდელს. ეს არის ყველაზე დიდი LM არსებული. (აგრეთვე არის იდუმალი მრავალმოდალური 1.5 ტრილიონი+ 'ვუ დაო' MOE მოდელი, მაგრამ ამის შესახებ ნაკლებად ცნობილია). Microsoft ვარჯიშობს "The Pile" მონაცემთა ბაზაზე. https://t.co/md03QzqlxA
- ჯეკ კლარკი (@jackclarkSF) 2021 წლის 11 ოქტომბერი
ტრენინგი
ტრენინგი ჩატარდა მასშტაბით 560 Nvidia DGX A100 სერვერები, 8 Nvidia A100 80 GB GPU თითოეულისთვის.
მიუხედავად იმისა, რომ MT-NLP-ს აქვს ძირითადი მათემატიკური ოპერაციების დასკვნის შესაძლებლობა, ის მთლად ზუსტი არ არის. თუმცა ის აღემატება დამახსოვრებას და შეუძლია დავალებების შესრულება.
ასეთ მოდელებს გადამწყვეტი მნიშვნელობა აქვს იმ მონაცემებში არსებული მიკერძოებების გასაძლიერებლად, რომლებშიც ისინი ვარჯიშობენ.
მიუხედავად იმისა, რომ მაიკროსოფტი აღიარებს, რომ იყო გამოწვევები, ისინი მზად არიან გაუმკლავდნენ მათ უწყვეტი ეტაპების მიღწევით უწყვეტი კვლევის მეშვეობით, ხოლო მომხმარებლებისთვის პოტენციური ზიანის მინიმუმამდე შემცირება.
ამ დროისთვის მომხმარებლებს შეუძლიათ ისარგებლონ შესრულებული ეტაპებით, როდესაც ველოდებით, თუ რა იქნება შემდეგ მაღაზიაში.
რას ფიქრობთ Microsoft-ისა და NVIDIA-ს თანამშრომლობაზე? გაქვთ რაიმე მოლოდინი? შეგვატყობინეთ ქვემოთ მოცემულ კომენტარების განყოფილებაში.
