El nuevo marco revolucionará los modelos de IA.
- El marco hace posible tener una longitud de contexto ilimitada.
- Una longitud de contexto ilimitada significa una conversación más personalizada con modelos de IA.
- Es básicamente el siguiente paso para que la IA se vuelva completamente humana.
Microsoft ha estado a la vanguardia de la educación en IA y de las herramientas de IA en general. Copilot llegará a Windows 11 muy pronto, como parte de las actualizaciones de Windows. AI se está abriendo camino en Microsoft Teams, con un resumen inteligente que ayuda a las personas a trabajar más fácilmente.
Bing es también una de las herramientas de inteligencia artificial más emocionantes que existen., y sus funcionalidades te permiten optimizar tanto tu trabajo como tu forma de navegar por Internet.
Pero a principios de esta semana, Microsoft también reveló que Orca 13B pronto será de código abierto. Orca 13B es un pequeño modelo de IA que funciona con la misma calidad y velocidad que los otros modelos de IA, como ChatGPT.
Ahora, en la batalla de la IA y la investigación de la IA, Microsoft presenta LongMem, un marco hipotético y un modelo de lenguaje de IA.
Según este hilo de Reddit, LongMem permite una longitud de contexto ilimitada con un uso reducido de GPU y memoria de CPU. Todo esto se hace a una velocidad más rápida.
Microsoft Research propone un nuevo marco, LongMem, que permite una longitud de contexto ilimitada junto con un uso de memoria GPU reducido y una velocidad de inferencia más rápida. El código será de código abierto
por tu/llamaShill en LocalLLaMA
¿Es LongMem la respuesta de Microsoft para una longitud de contexto ilimitada?
Bueno, para comprender lo que significa tener una longitud de contexto ilimitada, primero debemos comprender qué significa la longitud de contexto.
La longitud del contexto se refiere a la cantidad de tokens (palabras, signos, etc.) permitidos por un modelo, su entrada y salida, y también la suya.
Por ejemplo, ChatGPT tiene una cantidad limitada de tokens, lo que significa que la longitud de su contexto también es limitada. Tan pronto como ChatGPT supere ese límite, toda la interacción continua que tuvo con él hasta ese momento perderá toda importancia. O mejor dicho, se reiniciará.
Entonces, si está iniciando una conversación con ChatGPT sobre el tema de Windows, y esa conversación dura más que el contexto limitado longitud, entonces la herramienta de IA perderá el contexto y comenzará a desviarse del tema, o toda la conversación se desvanecerá. reiniciar.
Una longitud de contexto ilimitada se asegurará de que eso no suceda, y el modelo de IA continuará respondiendo sobre el tema, mientras aprende y adapta la información a medida que le habla sobre Windows.
Eso significa que el modelo de IA también personalizará la conversación de acuerdo con su entrada, de ahí la necesidad de que el contexto tenga una duración ilimitada.
¿Cómo funciona LongMem?
Microsoft promete exactamente eso con su nueva investigación sobre el marco, LongMem. LongMem permitiría que los modelos de lenguaje grandes memoricen contextos a largo plazo y utilicen la memoria a largo plazo con una potencia de CPU reducida.
El marco consta de un modelo de lenguaje grande congelado como codificador de memoria, una red lateral residual como recuperador y lector de memoria, y un banco de memoria en caché que almacena pares clave-valor del pasado contextos.
En la investigación realizada por Microsoft, los experimentos muestran que LongMem supera las líneas de base en el modelado de lenguaje de texto largo, la comprensión de contexto largo y las tareas de aprendizaje en contexto con memoria aumentada. Además, la memoria a largo plazo le permite utilizar más ejemplos de demostración para un mejor aprendizaje.
Y la buena noticia es que LongMem será de código abierto. Entonces podrá estudiarlo y aprender a implementar el marco en su propio modelo de IA. Puedes comprobar su perfil de GitHub aquí.
Y si está interesado en leer el artículo de investigación completo sobre el marco, dirígete aquí y compruébalo.
¿Qué opinas de este nuevo avance tecnológico? ¿Revolucionará la forma en que funcionan los modelos de IA? Asegúrese de hacernos saber sus pensamientos y opiniones a continuación.
