O Segredo Revelado para LLMs Mais Baratos e Inteligentes (Seu Bolso Agradece!)

Olá, pessoal! Aqui é o Lucas Tech e preparem-se para uma novidade que vai balançar o mundo dos Large Language Models (LLMs)! Uma galera fera da Tsinghua University e da CUHK acabou de liberar o código-fonte de um sistema chamado AKV. E o que ele faz de tão especial? Ele é tipo um ‘engenheiro’ para a memória (KV cache) dos seus agentes de IA.

Em vez de ficar resumindo tudo que já aconteceu, os agentes, com o AKV, conseguem jogar fora seletivamente o que não importa mais na memória e reaproveitar o que é crucial. O resultado? Testes com 3 modelos e 4 benchmarks de agentes mostraram uma queda média de 27.7% nos custos e um aumento médio de 1.7 pontos na performance das tarefas. É muita coisa! Bora entender isso melhor?

AKV: O Que É e Por Que Você Deveria Ligar?

Imagina que os agentes de IA, que são as versões mais avançadas e autônomas dos LLMs, têm uma memória de curto prazo (o KV cache). Até agora, para manter a conversa em dia sem sobrecarregar o sistema, a gente sempre resumia as informações mais antigas. O AKV muda tudo!

Ele é um sistema de serving (serviço) que permite que os LLMs "engenheirem" essa memória de um jeito muito mais inteligente. Em vez de simplesmente "resumir o passado" (o que pode fazer a IA esquecer detalhes importantes), o AKV permite que os agentes descartem partes específicas da memória KV e reaproveitem o resto sem precisar recalcular nada. Isso é eficiência pura!

E o melhor: o projeto é open-source com licença Apache-2.0 e foi construído usando o SGLang, uma biblioteca que já permite um controle bem granular sobre a inferência de LLMs.

Chega de Resumir o Passado: A Magia da ‘Engenharia de Cache’!

Bom, antes de tudo, bora entender a diferença entre ‘engenharia de cache’ e ‘engenharia de contexto’, sacou?

Engenharia de Contexto (O jeito antigo): Isso é basicamente resumir ou cortar a parte mais antiga do histórico de texto que você dá pra IA. O problema? Se você mexe nesse histórico, tudo que veio depois dele (aquela ‘memória’ da IA, o KV cache) perde a validade e precisa ser recalculado do zero. É como apagar o começo de um livro e ter que reescrever todos os capítulos seguintes. Isso consome um tempão e pode fazer a IA perder detalhes importantes que estavam no meio da conversa.

Engenharia de Cache (O jeito AKV): Essa é a jogada de mestre! O AKV deixa o histórico de texto intocado. O que ele faz é simplesmente controlar quais partes da memória (as entradas KV) ficam visíveis para a atenção do modelo. As partes que você decide manter são reaproveitadas sem precisar recalcular nada! Elas ainda podem carregar informações de mensagens que foram ‘descartadas’ do foco principal. E o mais chocante: no estudo, descobriram que as leituras do KV cache representam 82.4% do custo total de uma API de LLM. Ou seja, otimizar isso é ouro!

Como o AKV Faz a Mágica Acontecer?

O AKV define três operações principais para essa "engenharia de cache":

1. Append (Anexar): Essa é a atualização padrão quando novos tokens são gerados. Nada de novo aqui, é o básico.
2. Drop (Descartar): Aqui a coisa começa a ficar interessante! Ele remove entradas selecionadas da atenção futura, sem alterar as posições de nada. Simplesmente "esconde" o que não é mais relevante.
3. Repos (Reposicionar): Essa é a cereja do bolo! Ele reescreve as chaves de memória que foram mantidas, compactando-as para as posições iniciais (0 a r-1) usando uma rotação RoPE (um truque de matemática que ajuda a IA a entender posições). O mais importante: os valores da memória (os "conteúdos" em si) ficam inalterados, então nenhum estado oculto precisa ser recalculado! É pura economia de processamento. No estudo, adicionar o Repos aumentou a taxa de aprovação do GPT-OSS-120B de 55% para 62% em um benchmark específico.

A Base Tecnológica: Por Trás dos Panos do AKV

O AKV roda em GPUs NVIDIA (o estudo usou 8 A800-80GB em BF16, mas dá pra começar com 2 GPUs para alguns modelos) e é construído sobre o SGLang.

O grande desafio aqui é o serving (serviço em tempo real). Tokens idênticos podem gerar estados de cache diferentes dependendo das operações anteriores. Pra resolver isso, o AKV estende a radix tree do SGLang com nós específicos para ‘drop’ e ‘reposition’. Ele só libera a memória KV descartada quando nenhuma requisição ativa precisa mais dela, garantindo que não haja erros. Além disso, usa uma técnica de atenção por segmento-batch que restaura estados ‘despejados’ em uma única passada de pré-preenchimento.

A API do AKV é stateless (sem estado) e compatível com a OpenAI. Os clientes mandam o histórico completo da mensagem e dois campos opcionais: drop_message (para indicar o que descartar) e reposition (para compactar posições).

Pra facilitar ainda mais, existe um CachePolicy que automatiza a criação desses campos com base em regras (por turno, por token, ou até mesmo baseadas no próprio modelo). E o CacheTool permite que o próprio modelo decida quando chamar essas funções de ‘drop_context’. Inteligência em outro nível!

AKV na Prática: Os Números Não Mentem!

A principal política testada foi um ‘drop rolante’ que mantém as últimas 12 respostas de ferramentas que a IA usou. Isso foi comparado com baselines de sumarização (‘Standard’ e ‘Text Engineering’). Os resultados são impressionantes:

Média da taxa de acerto (%) e custo (centavos de dólar por tarefa) em 4 benchmarks. Fonte: Tabela 1 do artigo.

Como você pode ver, o AKV não só melhora a performance (aumentando os scores) mas também reduz significativamente os custos! No geral, ele corta os custos em 21.9% em relação à ‘Text Engineering’. A vantagem do AKV se torna ainda mais evidente em tarefas mais longas, onde a memória é crucial. No BrowseComp-Plus, com mais de 96 mil tokens, o GPT-OSS-120B com AKV atingiu 37% de score, enquanto o Standard ficou em 24% e o Text Engineering em 32%.

Os custos são estimados com base em taxas de API publicadas, sendo bem conservadores ao cobrar tokens reposicionados à taxa de cache-hit.

Minha Visão

Galera, isso aqui é um game-changer para a forma como interagimos com LLMs e como eles vão evoluir! Pensa só: agentes de IA que não só aprendem, mas gerenciam ativamente o que eles ‘lembram’ do passado! Isso significa IA mais barata, mais eficiente e que consegue manter a coerência em conversas muito mais longas sem "esquecer" o que foi importante lá atrás. É um passo gigantesco para tornar a IA mais acessível e poderosa para todos, abrindo caminho para aplicações que antes eram inviáveis por custo ou limitação de contexto. A "memória seletiva" do AKV é o tipo de inovação que empurra a fronteira da IA pra frente de verdade!

E aí, o que vocês acham dessa novidade? Já estão pensando em como ela pode mudar seus projetos e a forma como vocês interagem com LLMs? Deixem seus comentários!

Referência: Matéria Original

Posts relacionados:

Nokia e AWS: IA turbina o 5G em tempo real. Sakeena Fiza: Como ela turbina o hardware NVIDIA? NVIDIA libera driver: GPUs turbo no Kubernetes para IA! Tencent libera Hy3: Uma IA de 295B com mente de 21B?