लॉन्गमेम असीमित संदर्भ लंबाई के लिए माइक्रोसॉफ्ट का जवाब है

नया ढांचा एआई मॉडल में क्रांतिकारी बदलाव लाएगा।

Microsoft सामान्य रूप से AI शिक्षा और AI टूल में सबसे आगे रहा है। कोपायलट बहुत जल्द विंडोज 11 में आ रहा है, विंडोज अपडेट के हिस्से के रूप में। AI, Microsoft Teams में अपनी जगह बना रहा है बुद्धिमान पुनर्कथन लोगों को आसान काम करने में मदद करता है.

बिंग भी आसपास के सबसे रोमांचक एआई उपकरणों में से एक है, और इसकी विशेषताएं आपको अपने काम और इंटरनेट पर नेविगेट करने के तरीके दोनों को अनुकूलित करने की अनुमति देती हैं।

लेकिन इस हफ्ते की शुरुआत में माइक्रोसॉफ्ट ने इसका भी खुलासा किया ओर्का 13बी जल्द ही ओपन सोर्स बन जाएगा. ओर्का 13बी एक छोटा एआई मॉडल है जो चैटजीपीटी जैसे अन्य एआई मॉडल के समान गुणवत्ता और गति पर प्रदर्शन करता है।

अब, AI और AI रिसर्च की लड़ाई में, Microsoft साथ आ रहा है लॉन्गमेम, एक काल्पनिक ढांचा और एआई भाषा मॉडल.

इस रेडिट थ्रेड के अनुसारलोंगमेम कम जीपीयू और सीपीयू मेमोरी उपयोग पर असीमित संदर्भ लंबाई की अनुमति देता है। यह सब तेज गति से किया जाता है।

माइक्रोसॉफ्ट रिसर्च नए ढांचे, लॉन्गमेम का प्रस्ताव करता है, जो कम जीपीयू मेमोरी उपयोग और तेज अनुमान गति के साथ असीमित संदर्भ लंबाई की अनुमति देता है। कोड ओपन-सोर्स होगा
द्वारा यू/लामाशिल में लोकललामा

क्या LongMem Microsoft असीमित संदर्भ लंबाई के लिए उत्तर है?

ठीक है, यह समझने के लिए कि असीमित संदर्भ लंबाई का क्या अर्थ है, हमें पहले यह समझने की आवश्यकता है कि संदर्भ लंबाई का क्या अर्थ है?

संदर्भ लंबाई एक मॉडल, उसके इनपुट और आउटपुट, और आपके द्वारा अनुमत टोकन (शब्द, संकेत, आदि) की संख्या को संदर्भित करती है।

उदाहरण के लिए, चैटजीपीटी के पास सीमित संख्या में टोकन हैं, जिसका अर्थ है कि इसकी संदर्भ लंबाई भी सीमित है। जैसे ही चैटजीपीटी उस सीमा को पार करता है, तो उस बिंदु तक उसके साथ आपके द्वारा की गई सभी निरंतर बातचीत, सभी महत्व खो देगी। या बेहतर कहा जाए, यह रीसेट हो जाएगा।

इसलिए यदि आप Windows के विषय पर ChatGPT के साथ बातचीत शुरू कर रहे हैं, और वह बातचीत सीमित संदर्भ से अधिक समय तक चलती है लंबाई, तो एआई उपकरण संदर्भ खो देगा, और या तो विषय से भटकना शुरू कर देगा, या पूरी बातचीत रीसेट।

एक असीमित संदर्भ लंबाई सुनिश्चित करेगी कि ऐसा नहीं होगा, और AI मॉडल आपको इस विषय पर उत्तर देना जारी रखेगा, जबकि आप Windows के बारे में बात करते समय जानकारी सीखते और अनुकूलित करते रहेंगे।

इसका मतलब है कि एआई मॉडल आपके इनपुट के अनुसार बातचीत को वैयक्तिकृत भी करेगा, इसलिए संदर्भ की असीमित लंबाई की आवश्यकता है।

लोंगमेम कैसे काम करता है?

माइक्रोसॉफ्ट वादा करता है कि ढांचे पर अपने नए शोध के साथ, लॉन्गमेम। लॉन्गमेम बड़े भाषा मॉडल को लंबी अवधि के संदर्भों को याद रखने और कम सीपीयू पावर पर दीर्घकालिक मेमोरी का उपयोग करने में सक्षम बनाता है।

ढांचे में मेमोरी एनकोडर, एक अवशिष्ट साइड नेटवर्क के रूप में जमे हुए बड़े भाषा मॉडल होते हैं मेमोरी रिट्रीवर और रीडर के रूप में, और एक कैश्ड मेमोरी बैंक जो अतीत से की-वैल्यू पेयर को स्टोर करता है संदर्भ।

माइक्रोसॉफ्ट द्वारा किए गए शोध में, प्रयोगों से पता चलता है कि लॉन्गमेम लंबे टेक्स्ट लैंग्वेज मॉडलिंग, लॉन्ग-कॉन्टेक्स्ट अंडरस्टैंडिंग और मेमोरी-ऑगमेंटेड इन-कॉन्टेक्स्ट लर्निंग टास्क पर बेसलाइन से बेहतर प्रदर्शन करता है। साथ ही, दीर्घकालिक स्मृति इसे बेहतर सीखने के लिए अधिक प्रदर्शन उदाहरणों का उपयोग करने की अनुमति देती है।

और अच्छी खबर यह है कि लॉन्गमेम ओपन-सोर्स होगा। तो आप इसका अध्ययन करने में सक्षम होंगे और सीखेंगे कि अपने एआई मॉडल में ढांचे को कैसे लागू किया जाए। आप देख सकते हैं इसकी GitHub प्रोफ़ाइल यहाँ.

और अगर आप रूपरेखा पर पूरे शोध पत्र को पढ़ने में रुचि रखते हैं, यहाँ पर जाएँ और इसकी जाँच करें.

आप इस नई तकनीकी सफलता के बारे में क्या सोचते हैं? क्या यह एआई मॉडल के काम करने के तरीके में क्रांतिकारी बदलाव लाएगा? हमें नीचे अपने विचार और राय बताना सुनिश्चित करें।