LongMem é ​​a resposta da Microsoft para comprimento de contexto ilimitado

A nova estrutura revolucionará os modelos de IA.

A Microsoft está na vanguarda da educação em IA e nas ferramentas de IA em geral. Copilot está chegando ao Windows 11 muito em breve, como parte das atualizações do Windows. A IA está chegando ao Microsoft Teams, com um recapitulação inteligente ajudando as pessoas a trabalhar mais facilmente.

O Bing também é uma das ferramentas de IA mais empolgantes do mercado, e seus recursos permitem otimizar seu trabalho e a maneira como você navega na Internet.

Mas no início desta semana, a Microsoft também revelou que Orca 13B em breve se tornará código aberto. O Orca 13B é um pequeno modelo de IA que funciona com a mesma qualidade e velocidade de outros modelos de IA, como o ChatGPT.

Agora, na batalha de IAs e pesquisa de IA, a Microsoft está apresentando LongMem, uma estrutura hipotética e modelo de linguagem AI.

De acordo com este tópico do Reddit, LongMem permite comprimento de contexto ilimitado em uma GPU reduzida e uso de memória da CPU. Tudo isso é feito em uma velocidade mais rápida.

A Microsoft Research propõe uma nova estrutura, LongMem, que permite comprimento de contexto ilimitado, além de uso reduzido de memória da GPU e velocidade de inferência mais rápida. O código será de código aberto
por u/lhamaShill em LocalLLaMA

LongMem é ​​a resposta da Microsoft para comprimento de contexto ilimitado?

Bem, para entender o que significa ter um comprimento de contexto ilimitado, primeiro precisamos entender o que significa comprimento de contexto?

O comprimento do contexto refere-se ao número de tokens (palavras, sinais, etc) permitidos por um modelo, sua entrada e saída, e a sua também.

Por exemplo, o ChatGPT tem um número limitado de tokens, o que significa que seu comprimento de contexto também é limitado. Assim que o ChatGPT ultrapassar esse limite, toda a interação contínua que você teve com ele até aquele ponto perderá todo o significado. Ou melhor, ele será redefinido.

Portanto, se você estiver iniciando uma conversa com o ChatGPT sobre o assunto do Windows e essa conversa durar mais do que o contexto limitado comprimento, a ferramenta de IA perderá o contexto e começará a se desviar do assunto ou toda a conversa será reiniciar.

Um comprimento de contexto ilimitado garantirá que isso não aconteça, e o modelo de IA continuará respondendo sobre o assunto, enquanto também aprende e adapta as informações conforme você fala sobre o Windows.

Isso significa que o modelo de IA também personalizará a conversa de acordo com sua entrada, daí a necessidade de o contexto ter uma duração ilimitada.

Como funciona o LongMem?

A Microsoft promete exatamente isso com sua nova pesquisa sobre a estrutura, LongMem. O LongMem permitiria que grandes modelos de linguagem memorizassem contextos de longo prazo e utilizassem memória de longo prazo com a potência reduzida da CPU.

A estrutura consiste em um grande modelo de linguagem congelado como o codificador de memória, uma rede lateral residual como recuperador e leitor de memória, e um banco de memória em cache que armazena pares chave-valor do passado contextos.

Na pesquisa feita pela Microsoft, os experimentos mostram que o LongMem supera as linhas de base em modelagem de linguagem de texto longo, compreensão de contexto longo e tarefas de aprendizado em contexto com aumento de memória. Além disso, a memória de longo prazo permite que ele utilize mais exemplos de demonstração para um melhor aprendizado.

E a boa notícia é que o LongMem será de código aberto. Assim, você poderá estudá-lo e aprender como implementar o framework em seu próprio modelo de IA. Você pode checar seu perfil do GitHub aqui.

E se você estiver interessado em ler todo o trabalho de pesquisa sobre a estrutura, passe aqui e confira.

O que você acha desse novo avanço tecnológico? Isso revolucionará a maneira como os modelos de IA funcionam? Certifique-se de nos informar seus pensamentos e opiniões abaixo.