LongMem은 무제한 컨텍스트 길이에 대한 Microsoft의 답변입니다.

새로운 프레임워크는 AI 모델을 혁신할 것입니다.

Microsoft는 일반적으로 AI 교육 및 AI 도구의 최전선에 있었습니다. Copilot이 곧 Windows 11에 제공됩니다., Windows 업데이트의 일부로. AI는 다음을 통해 Microsoft Teams에 진출하고 있습니다. 사람들이 더 쉽게 일할 수 있도록 도와주는 지능적인 요약.

Bing은 또한 가장 흥미로운 AI 도구 중 하나입니다., 그리고 그 기능을 통해 작업과 인터넷 탐색 방식을 모두 최적화할 수 있습니다.

그러나 이번 주 초에 Microsoft는 Orca 13B는 곧 오픈 소스가 될 것입니다.. Orca 13B는 ChatGPT와 같은 다른 AI 모델과 동일한 품질과 속도로 수행되는 소형 AI 모델입니다.

이제 AI와 AI 연구의 전투에서 Microsoft는 가상 프레임워크이자 AI 언어 모델인 LongMem.

이 Reddit 스레드에 따르면, LongMem은 감소된 GPU 및 CPU 메모리 사용량에서 무제한 컨텍스트 길이를 허용합니다. 이 모든 것이 더 빠른 속도로 이루어집니다.

Microsoft Research는 GPU 메모리 사용량 감소 및 더 빠른 추론 속도와 함께 무제한 컨텍스트 길이를 허용하는 새로운 프레임워크인 LongMem을 제안합니다. 코드는 오픈 소스가 될 것입니다
~에 의해 유/라마실 ~에 로컬라마

LongMem은 무제한 컨텍스트 길이에 대한 Microsoft의 답변입니까?

컨텍스트 길이가 무제한이라는 것이 무엇을 의미하는지 이해하려면 먼저 컨텍스트 길이가 무엇을 의미하는지 이해해야 합니다.

컨텍스트 길이는 모델, 입력 및 출력, 그리고 사용자가 허용하는 토큰(단어, 기호 등)의 수를 나타냅니다.

예를 들어 ChatGPT에는 제한된 수의 토큰이 있으므로 컨텍스트 길이도 제한됩니다. ChatGPT가 해당 제한을 통과하는 즉시 해당 시점까지 ChatGPT와 가졌던 모든 지속적인 상호 작용이 모든 의미를 잃게 됩니다. 또는 더 잘 말하면 재설정됩니다.

따라서 Windows 주제에 대해 ChatGPT로 대화를 시작하고 해당 대화가 제한된 컨텍스트보다 오래 지속되는 경우 그러면 AI 도구는 컨텍스트를 잃고 주제에서 벗어나기 시작하거나 전체 대화가 초기화.

무제한 컨텍스트 길이는 이러한 일이 발생하지 않도록 할 것이며, AI 모델은 계속해서 주제에 대한 답변을 제공하는 동시에 사용자가 Windows에 대해 이야기할 때 정보를 학습하고 적용할 것입니다.

즉, AI 모델은 입력에 따라 대화를 개인화하므로 컨텍스트의 길이가 무제한이어야 합니다.

LongMem은 어떻게 작동합니까?

Microsoft는 프레임워크인 LongMem에 대한 새로운 연구를 통해 이를 약속합니다. LongMem은 대규모 언어 모델이 장기 컨텍스트를 기억하고 감소된 CPU 성능에서 장기 메모리를 활용할 수 있도록 합니다.

프레임워크는 메모리 인코더, 잔류 측 네트워크와 같은 고정된 대규모 언어 모델로 구성됩니다. 메모리 검색기 및 판독기, 과거의 키-값 쌍을 저장하는 캐시된 메모리 뱅크 컨텍스트.

Microsoft에서 수행한 연구에서 실험에 따르면 LongMem은 긴 텍스트 언어 모델링, 긴 컨텍스트 이해 및 메모리가 강화된 상황 내 학습 작업에서 기준선을 능가합니다. 또한 장기 기억을 통해 더 나은 학습을 위해 더 많은 데모 예제를 활용할 수 있습니다.

그리고 좋은 소식은 LongMem이 오픈 소스가 될 것이라는 것입니다. 따라서 이를 연구하고 자신의 AI 모델에서 프레임워크를 구현하는 방법을 배울 수 있습니다. 당신은 확인할 수 있습니다 GitHub 프로필은 여기.

그리고 프레임워크에 대한 전체 연구 논문을 읽고 싶다면, 여기로 가서 확인해보세요.

이 새로운 기술 혁신에 대해 어떻게 생각하십니까? AI 모델이 작동하는 방식에 혁명을 일으킬까요? 아래에 귀하의 생각과 의견을 알려주십시오.