Le nouveau cadre va révolutionner les modèles d'IA.
- Le framework permet d'avoir une longueur de contexte illimitée.
- Une longueur de contexte illimitée signifie une conversation plus personnalisée avec les modèles d'IA.
- C'est fondamentalement la prochaine étape pour que l'IA devienne pleinement proche de l'humain.
Microsoft a été à la pointe de l'éducation à l'IA et des outils d'IA en général. Copilot arrive très bientôt sur Windows 11, dans le cadre des mises à jour Windows. L'IA fait son chemin dans Microsoft Teams, avec un récapitulatif intelligent aidant les gens à travailler plus facilement.
Bing est également l'un des outils d'IA les plus excitants du marché, et ses fonctionnalités vous permettent d'optimiser à la fois votre travail et la façon dont vous naviguez sur Internet.
Mais plus tôt cette semaine, Microsoft a également dévoilé que Orca 13B deviendra bientôt open source. Orca 13B est un petit modèle d'IA qui fonctionne avec la même qualité et la même vitesse que les autres modèles d'IA, tels que ChatGPT.
Maintenant, dans la bataille des IA et de la recherche sur l'IA, Microsoft propose LongMem, un cadre hypothétique et un modèle de langage d'IA.
D'après ce fil Reddit, LongMem permet une longueur de contexte illimitée avec une utilisation réduite du processeur graphique et de la mémoire du processeur. Tout cela est fait à une vitesse plus rapide.
Microsoft Research propose un nouveau cadre, LongMem, permettant une longueur de contexte illimitée ainsi qu'une utilisation réduite de la mémoire GPU et une vitesse d'inférence plus rapide. Le code sera open-source
par u/llamaShill dans LocalLLaMA
LongMem est-il la réponse de Microsoft pour une longueur de contexte illimitée ?
Eh bien, pour comprendre ce que signifie avoir une longueur de contexte illimitée, nous devons d'abord comprendre ce que signifie la longueur de contexte ?
La longueur du contexte fait référence au nombre de jetons (mots, signes, etc.) autorisés par un modèle, son entrée et sa sortie, ainsi que la vôtre.
Par exemple, ChatGPT a un nombre limité de jetons, ce qui signifie que sa longueur de contexte est également limitée. Dès que ChatGPT dépasse cette limite, toutes les interactions continues que vous avez eues avec lui jusqu'à ce point perdront toute signification. Ou mieux dit, il se réinitialisera.
Donc, si vous démarrez une conversation avec ChatGPT au sujet de Windows, et que cette conversation dure plus que le contexte limité longueur, alors l'outil d'IA perdra le contexte et commencera soit à s'écarter du sujet, soit toute la conversation réinitialiser.
Une longueur de contexte illimitée garantira que cela ne se produira pas, et le modèle d'IA continuera à vous répondre sur le sujet, tout en apprenant et en adaptant les informations lorsque vous lui parlerez de Windows.
Cela signifie que le modèle d'IA personnalisera également la conversation en fonction de votre entrée, d'où la nécessité pour le contexte d'avoir une longueur illimitée.
Comment fonctionne LongMem ?
Microsoft promet justement cela avec ses nouvelles recherches sur le framework, LongMem. LongMem permettrait aux grands modèles de langage de mémoriser des contextes à long terme et d'utiliser la mémoire à long terme avec une puissance CPU réduite.
Le cadre se compose d'un grand modèle de langage gelé comme encodeur de mémoire, d'un réseau latéral résiduel en tant que récupérateur et lecteur de mémoire, et une banque de mémoire en cache qui stocke les paires clé-valeur du passé contextes.
Dans les recherches effectuées par Microsoft, les expériences montrent que LongMem surpasse les bases de référence en matière de modélisation de langage de texte long, de compréhension de contexte long et de tâches d'apprentissage en contexte à mémoire augmentée. De plus, la mémoire à long terme lui permet d'utiliser plus d'exemples de démonstration pour un meilleur apprentissage.
Et la bonne nouvelle est que LongMem sera open-source. Vous pourrez ainsi l'étudier et apprendre à implémenter le framework dans votre propre modèle d'IA. Tu peux vérifier son profil GitHub ici.
Et si vous souhaitez lire l'intégralité du document de recherche sur le cadre, rendez-vous ici et vérifiez-le.
Que pensez-vous de cette nouvelle avancée technologique? Va-t-il révolutionner le fonctionnement des modèles d'IA? Assurez-vous de nous faire part de vos réflexions et opinions ci-dessous.
