Das neue Framework wird KI-Modelle revolutionieren.
- Das Framework ermöglicht eine unbegrenzte Kontextlänge.
- Eine unbegrenzte Kontextlänge bedeutet eine personalisiertere Konversation mit KI-Modellen.
- Es ist im Grunde der nächste Schritt für die KI, dem Menschen völlig nahe zu kommen.
Microsoft steht an der Spitze der KI-Ausbildung und der KI-Tools im Allgemeinen. Copilot kommt sehr bald für Windows 11, als Teil von Windows-Updates. KI hält Einzug in Microsoft Teams, mit einem Intelligente Zusammenfassung, die Menschen dabei hilft, einfacher zu arbeiten.
Bing ist auch eines der aufregendsten KI-Tools überhauptund seine Funktionen ermöglichen es Ihnen, sowohl Ihre Arbeit als auch die Art und Weise, wie Sie im Internet navigieren, zu optimieren.
Aber Anfang dieser Woche hat Microsoft auch das enthüllt Orca 13B wird bald Open Source sein. Orca 13B ist ein kleines KI-Modell, das die gleiche Qualität und Geschwindigkeit wie die anderen KI-Modelle wie ChatGPT bietet.
Jetzt, im Kampf um KI und KI-Forschung, schlägt Microsoft etwas ein LongMem, ein hypothetisches Framework und KI-Sprachmodell.
Laut diesem Reddit-ThreadLongMem ermöglicht eine unbegrenzte Kontextlänge bei reduzierter GPU- und CPU-Speichernutzung. All dies geschieht mit einer höheren Geschwindigkeit.
Microsoft Research schlägt mit LongMem ein neues Framework vor, das eine unbegrenzte Kontextlänge bei reduzierter GPU-Speichernutzung und schnellerer Inferenzgeschwindigkeit ermöglicht. Der Code wird Open Source sein
von u/llamaShill In LokalLLaMA
Ist LongMem die Microsoft-Antwort für unbegrenzte Kontextlänge?
Um zu verstehen, was es bedeutet, eine unbegrenzte Kontextlänge zu haben, müssen wir zunächst verstehen, was Kontextlänge bedeutet.
Die Kontextlänge bezieht sich auf die Anzahl der Token (Wörter, Zeichen usw.), die von einem Modell, seiner Ein- und Ausgabe und auch von Ihnen zugelassen werden.
ChatGPT verfügt beispielsweise über eine begrenzte Anzahl von Token, was bedeutet, dass auch seine Kontextlänge begrenzt ist. Sobald ChatGPT diese Grenze überschreitet, verlieren alle kontinuierlichen Interaktionen, die Sie bis zu diesem Zeitpunkt damit hatten, jegliche Bedeutung. Oder besser gesagt, es wird zurückgesetzt.
Wenn Sie also mit ChatGPT ein Gespräch zum Thema Windows beginnen und dieses Gespräch länger als den begrenzten Kontext dauert Länge, dann verliert das KI-Tool den Kontext und beginnt entweder vom Thema abzuweichen, oder das gesamte Gespräch wird davon abweichen zurücksetzen.
Eine unbegrenzte Kontextlänge stellt sicher, dass das nicht passiert, und das KI-Modell wird Ihnen weiterhin zu diesem Thema antworten, während es gleichzeitig Informationen lernt und anpasst, während Sie mit ihm über Windows sprechen.
Das bedeutet, dass das KI-Modell die Konversation auch entsprechend Ihrer Eingaben personalisiert, weshalb der Kontext eine unbegrenzte Länge haben muss.
Wie funktioniert LongMem?
Genau das verspricht Microsoft mit seiner neuen Forschung zum Framework LongMem. LongMem würde es großen Sprachmodellen ermöglichen, sich Langzeitkontexte zu merken und den Langzeitspeicher bei reduzierter CPU-Leistung zu nutzen.
Das Framework besteht aus einem eingefrorenen großen Sprachmodell als Speicherencoder, einem verbleibenden Seitennetzwerk als Speicherabrufer und -leser sowie eine zwischengespeicherte Speicherbank, die Schlüssel-Wert-Paare aus der Vergangenheit speichert Kontexte.
In der von Microsoft durchgeführten Untersuchung zeigen Experimente, dass LongMem die Basiswerte bei der Modellierung von Langtextsprachen, beim Verstehen von Langtexten und bei speichererweiterten In-Context-Lernaufgaben übertrifft. Darüber hinaus ermöglicht das Langzeitgedächtnis die Nutzung von mehr Demonstrationsbeispielen für ein besseres Lernen.
Und die gute Nachricht ist, dass LongMem Open Source sein wird. So können Sie es studieren und lernen, wie Sie das Framework in Ihrem eigenen KI-Modell implementieren. Du kannst nachschauen sein GitHub-Profil hier.
Und wenn Sie daran interessiert sind, den gesamten Forschungsbericht zum Framework zu lesen, Gehen Sie hierher und schauen Sie es sich an.
Was denken Sie über diesen neuen technologischen Durchbruch? Wird es die Funktionsweise von KI-Modellen revolutionieren? Teilen Sie uns unten unbedingt Ihre Gedanken und Meinungen mit.
