המסגרת החדשה תחולל מהפכה במודלים של AI.
- המסגרת מאפשרת לקבל אורך הקשר בלתי מוגבל.
- אורך הקשר בלתי מוגבל פירושו שיחה אישית יותר עם מודלים של AI.
- זה בעצם השלב הבא של AI בהפיכה מלאה לאדם קרוב.
מיקרוסופט הייתה בחזית החינוך לבינה מלאכותית, וכלי בינה מלאכותית, בכלל. Copilot מגיע ל-Windows 11 בקרוב מאוד, כחלק מעדכון Windows. AI עושה את דרכו לתוך Microsoft Teams, עם א סיכום חכם שעוזר לאנשים לעבוד בקלות רבה יותר.
Bing הוא גם אחד מכלי הבינה המלאכותית המלהיבים ביותר בסביבה, והתכונות שלו מאפשרות לך לייעל הן את העבודה והן את האופן שבו אתם מנווטים באינטרנט.
אבל מוקדם יותר השבוע, גם מיקרוסופט חשפה את זה Orca 13B יהפוך בקרוב לקוד פתוח. Orca 13B הוא דגם AI קטן שמתפקד באותה איכות ומהירות כמו דגמי AI אחרים, כגון ChatGPT.
כעת, בקרב של AIs ומחקר AI, מיקרוסופט מגיעה עם LongMem, מסגרת היפותטית ומודל שפת AI.
לפי השרשור הזה של Reddit, LongMem מאפשר אורך הקשר בלתי מוגבל ב-GPU מופחת, ושימוש בזיכרון CPU. כל אלה נעשים במהירות גבוהה יותר.
Microsoft Research מציעה מסגרת חדשה, LongMem, המאפשרת אורך הקשר בלתי מוגבל יחד עם שימוש מופחת בזיכרון GPU ומהירות הסקה מהירה יותר. הקוד יהיה בקוד פתוח
על ידי u/llamaShill ב LocalLLaMA
האם LongMem היא התשובה של מיקרוסופט לאורך הקשר בלתי מוגבל?
ובכן, כדי להבין מה המשמעות של אורך הקשר בלתי מוגבל, עלינו להבין תחילה מה המשמעות של אורך הקשר?
אורך ההקשר מתייחס למספר האסימונים (מילים, סימנים וכו') המותרים על ידי מודל, הקלט והפלט שלו, וגם שלך.
לדוגמה, ל-ChatGPT יש מספר מוגבל של אסימונים, מה שאומר שאורך ההקשר שלו מוגבל גם כן. ברגע ש-ChatGPT יעבור את הגבול הזה, אז כל האינטראקציה המתמשכת שהייתה לך איתו עד לאותה נקודה, תאבד כל משמעות. או יותר נכון, זה יתאפס.
אז אם אתה מתחיל שיחה עם ChatGPT בנושא Windows, והשיחה הזו נמשכת יותר מההקשר המצומצם אורך, אז כלי הבינה המלאכותית יאבד את ההקשר, או יתחיל לסטות מהנושא, או שכל השיחה אִתחוּל.
אורך הקשר בלתי מוגבל יוודא שזה לא יקרה, ומודל הבינה המלאכותית ימשיך לענות לך בנושא, תוך כדי למידה והתאמת מידע בזמן שאתה מדבר איתו על Windows.
זה אומר שמודל הבינה המלאכותית יתאים אישית את השיחה גם לפי הקלט שלך, ומכאן הצורך שההקשר יהיה באורך בלתי מוגבל.
איך LongMem עובד?
מיקרוסופט מבטיחה בדיוק את זה עם המחקר החדש שלהם על המסגרת, LongMem. LongMem יאפשר למודלים של שפות גדולות לשנן הקשרים ארוכי טווח ולנצל זיכרון לטווח ארוך בכוח המעבד המופחת.
המסגרת מורכבת ממודל שפה גדול קפוא כמקודד הזיכרון, רשת צדדית שיורית בתור משחזר הזיכרון והקורא, ומאגר זיכרון שמור המאחסן צמדי מפתח-ערך מהעבר הקשרים.
במחקר שנעשה על ידי מיקרוסופט, ניסויים מראים ש-LongMem מתעלה על קווי היסוד במודלים של שפות טקסט ארוך, הבנת הקשר ארוך ומשימות למידה בתוך הקשר מוגברות בזיכרון. בנוסף, זיכרון לטווח ארוך מאפשר לו להשתמש בדוגמאות הדגמה נוספות ללמידה טובה יותר.
והחדשות הטובות הן ש-LongMem יהיה קוד פתוח. אז תוכל ללמוד אותו וללמוד כיצד ליישם את המסגרת במודל AI משלך. אתה יכול לבדוק פרופיל GitHub שלה כאן.
ואם אתה מעוניין לקרוא את כל עבודת המחקר על המסגרת, כנס לכאן ותבדוק את זה.
מה אתה חושב על פריצת הדרך הטכנולוגית החדשה הזו? האם זה יביא למהפכה בדרך שבה מודלים של AI עובדים? הקפד לספר לנו את המחשבות והדעות שלך למטה.
