LLM הקידוד החדש של מיקרוסופט מגיע אחרי GPT 4

phi-1 הוא מודל השפה החדש של מיקרוסופט לקידוד.

מיקרוסופט באמת עושה צעד גדול בפיתוח AI. בחודש שעבר, AI הייתה בחזית ועידת Microsoft Build, והטכנולוגיה מבוססת רדמונד אפילו הודיעה כי Copilot מגיע ל-Windows 11. כאפליקציה מקורית מובנית, לכל מה שאתה צריך,

AI מגיע גם ל-Microsoft Teams, בכלי Recap Ai שלו. והרבה כלים אחרים מבית מיקרוסופט ישתמשו בבינה מלאכותית, כולל Microsoft Fabric.

אבל נראה שמיקרוסופט גם מממנת מחקר בינה מלאכותית. רק לאחרונה הודיעה ענקית הטכנולוגיה Orca 13B יהיה קוד פתוח. ו LongMem היא עוד נקודה טובה במחקר בינה מלאכותית: זוהי התשובה עבור אורך הקשר בלתי מוגבל.

ועכשיו יש זמן לפריצת דרך גדולה נוספת במחקר AI, שמגיעה ממיקרוסופט, כמובן. לפי הדיווחים, המודל החדש של 1.3B-פרמטר קידוד LLM, הנקרא phi-1, עולה על GPT 3.5, תוך 4 ימי אימון בלבד.

מה זה phi-1 וכיצד הוא כבר עולה על GPT?

פי-1 הוא מודל שפה חדש של פרמטר 1.3B לקוד, עם גודל קטן משמעותית מדגמים מתחרים. מודל השפה הוכשר במשך 4 ימים, מעל 7B אסימונים (קצת יותר מ-50B אסימונים נראו) ואחריו כוונון עדין על פחות מ-200M אסימונים.

למרות היותו קטן בהרבה מהדגמים המתחרים, phi-1 הגיע ל-50.6% [מוגן באימייל] דיוק ב-HumanEval ו-55.5% [מוגן באימייל] דיוק ב-MBPP (בעיקר תוכניות פייתון בסיסיות), שהן אחד המספרים המדווחים העצמיים הטובים ביותר באמצעות דור LLM אחד בלבד.

יתרה מכך, למרות שהוכשר על הרבה פחות אסימונים בהשוואה לדגמים קיימים, ל-phi-1 עדיין יש הרבה פוטנציאלים.

השיפורים ב-HumanEval הם ההישגים הגדולים ביותר של phi-1, כמודל שפה. לאחר הכוונון, phi-1 הצליח לבצע משימות שלא הוצגו במערך הנתונים לכוונון העדין. המשמעות היא שהדגם התאים ושיפר את תהליך הכוונון העדין.

והדבר המדהים ביותר הוא ש-phi-1 ארגן מחדש וגיבש את הידע שנרכש במהלך אימון מקדים, למרות שהידע לא היה שם במפורש מלכתחילה.

במילים קצרות יותר, phi-1 לא רק לומד במהלך האימון אלא גם מרחיב את הידע בעצמו. הוא הצליח להתעלות על GPT 3.5 בכל רמה, וזה רק עניין של זמן עד שהדגם הקטן יתמודד עם הגדולים, כמו GPT 4.

מה אתה חושב על דגם הבינה המלאכותית החדש הזה? לאן אתה חושב חקר הבינה המלאכותית מוביל? הקפד לספר לנו את דעותיך בקטע ההערות למטה.