מודל השפה החזק הגדול ביותר שהוכשר על ידי מיקרוסופט ו-NVIDIA

מיקרוסופט ו-NVIDIA הודיעו היום שהן הכשירו בהצלחה את השפה החזקה ביותר עד כה. דור השפה הטבעית של Megatron-Turing (MT-NLP) נועד להיות היורש לדגמי Turing NLG 17B ו-Megatron-LM של החברות.

ל-MT-NLP יש 530 מיליארד פרמטרים עם יכולת למגוון רחב של משימות בשפה טבעית. לדברי שתי החברות, יש לה גם יכולות הבנה, חשיבה ושפה טבעית.

פריצת דרך ראשונה

שתי החברות עבדו בעבר על מספר חידושים אך זה נחשב לעוצמתי ביותר.

האיכות המתקבלת היא צעד משמעותי לקראת המסע של פתיחת AI בשפה טבעית. שני החידושים DeepSpeed ​​ו-Megatron-LM יהיו המרוויחים העיקריים מפיתוח מודל AI ויפתחו את המסלול לדגמי AI גדולים להיות סבירים ומהירים יותר לאימון.

מיקרוסופט מכשירה מודל שפה בסגנון GPT3 של 530 מיליארד פרמטרים. זהו ה-LM הגדול ביותר שקיים. (יש גם את הדגם הרב-מודאלי המסתורי של 1.5 טריליון+ 'Wu Dao' MOE אך מעט ידוע עליו). מיקרוסופט מתאמנת על מערך הנתונים של 'הערימה'. https://t.co/md03QzqlxA

- ג'ק קלארק (@jackclarkSF) 11 באוקטובר 2021

הַדְרָכָה

האימון התקיים על פני 560 שרתי Nvidia DGX A100, עם 8 Nvidia A100 80GB GPUs עבור כל אחד.

למרות של-MT-NLP יש את היכולת להסיק פעולות מתמטיות בסיסיות, הוא אינו מדויק לחלוטין. עם זאת, זה עולה על שינון ויכול להשלים משימות.

מודלים כאלה הם חיוניים בהגברת ההטיות הקיימות בנתונים שבהם הם מאומנים.

למרות שמיקרוסופט מודה שהיו אתגרים, הם מחויבים להתמודד איתם על ידי ביצוע אבני דרך מתמשכות באמצעות מחקר מתמשך תוך מזעור הנזק הפוטנציאלי למשתמשים.

לעת עתה, משתמשים יכולים ליהנות מאבני הדרך שנעשו בזמן שאנו מחכים לראות מה צפוי בהמשך.

מה דעתך על שיתוף הפעולה בין מיקרוסופט ל-NVIDIA? האם יש לך ציפיות? ספר לנו בקטע התגובות למטה.