LongMem は、無制限のコンテキスト長に対する Microsoft の答えです

新しいフレームワークは AI モデルに革命をもたらします。

Microsoft は、AI 教育および AI ツール全般の最前線に立ってきました。 Copilot はまもなく Windows 11 に導入されます、Windows アップデートの一部として。 Microsoft Teams には AI が導入されており、 人々の作業を容易にするインテリジェントな要約.

Bing は最もエキサイティングな AI ツールの 1 つでもあります、その機能により、仕事とインターネットの操作方法の両方を最適化できます。

しかし、今週初めに Microsoft も次のことを発表しました。 Orca 13B は間もなくオープンソースになります. Orca 13B は、ChatGPT などの他の AI モデルと同じ品質と速度で実行する小型 AI モデルです。

現在、AI と AI 研究の戦いにおいて、マイクロソフトは次のことを考え出しています。 LongMem、仮説フレームワークと AI 言語モデル.

このRedditスレッドによると, LongMem を使用すると、GPU と CPU メモリの使用量を削減しながら、コンテキストの長さを無制限にできます。 これらはすべてより高速に実行されます。

Microsoft Research は、GPU メモリ使用量の削減と推論速度の高速化とともに、無制限のコンテキスト長を可能にする新しいフレームワーク LongMem を提案しています。 コードはオープンソース化されます
に u/ラマシル の ローカルLLaMA

LongMem は、コンテキストの長さを無制限にするための Microsoft の答えですか?

コンテキストの長さが無制限であることが何を意味するかを理解するには、まずコンテキストの長さが何を意味するのかを理解する必要があります。

コンテキストの長さは、モデル、その入力と出力、およびユーザーによって許可されるトークン (単語、記号など) の数を指します。

たとえば、ChatGPT のトークンの数は限られており、これはコンテキストの長さも制限されていることを意味します。 ChatGPT がその制限を超えるとすぐに、それまでに ChatGPT と行っていたすべての継続的な対話はすべて意味を失います。 より良く言えば、リセットされます。

Windows の話題について ChatGPT と会話を開始し、その会話が限定されたコンテキストを超えて続く場合 長さを超えた場合、AI ツールはコンテキストを失い、主題から逸脱し始めるか、会話全体が中断されてしまいます。 リセット。

コンテキストの長さが無制限であるため、そのようなことは確実に起こらず、AI モデルは Windows についての会話に合わせて情報を学習し、適応させながら、その主題について回答し続けます。

つまり、AI モデルは入力に応じて会話をパーソナライズするため、コンテキストの長さは無制限である必要があります。

LongMem はどのように機能しますか?

Microsoft は、フレームワーク LongMem に関する新しい研究でまさにそれを約束します。 LongMem を使用すると、大規模な言語モデルが長期間のコンテキストを記憶し、CPU パワーを低減しながら長期メモリを利用できるようになります。

フレームワークは、メモリ エンコーダとしての凍結された大規模言語モデル、残余サイド ネットワークで構成されます。 メモリ取得者およびリーダーとして、また過去のキーと値のペアを保存するキャッシュされたメモリ バンクとして機能します。 コンテキスト。

Microsoft が行った調査では、LongMem が長文言語モデリング、長文文脈理解、およびメモリ拡張型の文脈内学習タスクにおいてベースラインを上回るパフォーマンスを示すことが実験で示されています。 さらに、長期記憶により、より良い学習のためにより多くのデモンストレーション例を利用することができます。

そして良いニュースは、LongMem がオープンソースになるということです。 したがって、それを研究し、独自の AI モデルにフレームワークを実装する方法を学ぶことができます。 確認してもいい GitHub プロフィールはこちら.

このフレームワークに関する研究論文全体を読むことに興味がある場合は、 ここに行ってチェックしてください.

この新しい技術の進歩についてどう思いますか? AI モデルの仕組みに革命をもたらすでしょうか? ぜひご意見やご感想を下記までお聞かせください。