IA Rápida: Novo Compiler Acelera Agentes 2.6x

🚀 Sua IA Está Perdendo Fôlego? Conheça a Tecnologia que a Mantém SEMPRE no Máximo!

Olá, pessoal! Aqui é o Lucas Tech, e hoje vou desvendar uma novidade que vai balançar o mundo da inteligência artificial. Sabe quando você pensa que otimizou tudo ao máximo? A Together AI chegou para provar que sempre dá pra ir além, e de um jeito muito inteligente! Prepare-se para conhecer o Together Compiler (TKCC), um sistema que não apenas otimiza a sua IA, mas a mantém turbinada continuamente, adaptando-se em tempo real. É tipo ter um mecânico de corrida trabalhando no seu carro enquanto ele está na pista!

O que é esse "Compiler" Afinal? Um Super Otimizador Contínuo!

O Together Compiler (TKCC) é um sistema inovador, impulsionado por agentes de IA, que tem uma missão clara: reotimizar a inferência de modelos de inteligência artificial sem parar, acompanhando as mudanças no tráfego de dados em produção. A ideia genial por trás disso? Otimizar uma vez só não basta, porque as condições e demandas da vida real nunca são estáticas!

Ele já está rodando em vários endpoints serverless da Together AI, provando seu valor. Pense nele como um maestro que ajusta a orquestra da sua IA o tempo todo para a melhor performance.

Aqui vai um resumo rápido para você já pegar a ideia:

  • O que ele otimiza: Modelos de IA complexos como Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash e Llama 1B.
  • Onde roda: Em hardwares poderosos como NVIDIA B200, B300, GB300, H100, AMD MI355X e AWS Trainium2. E o melhor: usando no máximo 2 nós por modelo!
  • Performance: Chega a entregar 2.6x mais TPS (Transações por Segundo) do que as melhores configurações publicadas do InferenceX, e isso em menos de 24 horas por ajuste!
  • Melhor caso: Incríveis 1.111 P90 TPS por usuário no MiniMax M3.1 Flash (B200, batch size 1), um salto de 1.8x sobre a linha de base de 633 TPS.
  • Pior caso (mas ainda bom!): No GLM 5.3 com MI355X, o ganho foi de 463 para 480 TPS (cerca de 4%), mostrando que ele otimiza até em cenários mais desafiadores.

Basicamente, o Together Compiler é um ciclo de compilação contínua. Ele usa agentes de codificação (tipo pequenos programadores de IA) para reescrever o "passo a passo" (o forward pass) de um modelo. Você dá a ele o comando de inicialização do servidor, o perfil de tráfego e a configuração do hardware. Esses agentes propõem jeitos mais rápidos de rodar, um motor persistente mede cada um e o código vencedor é enviado para produção. Se o tráfego muda, o ciclo começa de novo. Genial, né?

Por Que a IA Precisa de Otimização Contínua? A Realidade Dinâmica!

A equipe da Together AI percebeu algo crucial: o tráfego das aplicações de IA nunca fica parado! É como uma maré que muda a cada instante, e sua otimização não pode ser uma foto estática.

  • Tráfego Inconstante: Imagine: o comprimento dos prompts em um país era de 97.000 tokens, enquanto em outro, 70.000. E não para por aí! A extensão P90 dos inputs de um cliente cresceu de 18.000 para 33.000 tokens em apenas 3 dias! Se você otimizou sua IA para um cenário, ele já pode estar obsoleto em questão de horas.
  • Dados Aleatórios Enganam: Além disso, kernels (as partes mais fundamentais do código) otimizados com dados aleatórios podem te enganar feio. Dados aleatórios ativaram entre 13% e 38% mais especialistas MoE (Mixture of Experts) do que o tráfego real. Um kernel top-k escrito por agente levou 20 µs em dados aleatórios, mas no mundo real, com um contexto de 70.000, chegou a 62 ms. Ou seja, a realidade é bem diferente do laboratório!

É por isso que a otimização precisa ser um processo contínuo, adaptando-se à vida real.

Como o Motor Persistente Acelera Tudo de Forma Mágica?

Você já deve imaginar que reiniciar motores de IA consome tempo precioso. A Together AI tinha que resolver isso!

  • Adeus Reinícios Lentos: A maioria dos ciclos de agentes por aí precisa reiniciar frameworks como vLLM, SGLang ou TensorRT-LLM a cada experimento. Isso demora DEMAIS! A Together AI relatou 761 segundos (mais de 12 minutos!) de inicialização fria para o MiniMax M3.1 Flash no TensorRT-LLM. Tempo é dinheiro, certo?
  • O "Hot Reload" Revolucionário: O Together Compiler é diferente! Ele inicia o motor apenas uma vez. Os agentes enviam uma proposta de forward pass via RPC. O servidor simplesmente troca o ponteiro da função e captura novamente os gráficos CUDA. É como trocar um pneu sem precisar parar o carro!
  • Sistema de Duas Fases: Para ser ainda mais eficiente, eles usam dois níveis de medição:
    • Uma fase rápida (com 12 camadas) para uma triagem veloz dos candidatos a otimização.
    • Uma fase lenta (com 60 camadas) para confirmar os ganhos em distribuições reais de dados.
      Com isso, eles testaram 8.1x mais candidatos do que se usassem apenas o nível lento, e ainda encontraram uma solução 7.2% mais rápida! O resultado? Uma capacidade de experimentar 252x maior de forma contínua!

E a Paralelização? Como Escolher a Melhor Estratégia?

Escolher a melhor forma de paralelizar o processamento em modelos de IA (seja por tensor, especialista, dado ou contexto) é uma arte, muitas vezes intuitiva. Mas a Together Compiler transformou isso em ciência!

  • Modelo de Custo Inteligente: Antes mesmo dos agentes começarem a otimizar o código, um modelo de custo avalia e classifica esses layouts de paralelismo. Ele usa dados de especificações, microbenchmarks e até forward passes já medidos.
  • Considerando a Realidade: Ele leva em conta detalhes como o desequilíbrio dos especialistas MoE e o comprimento desigual das requisições. No modelo Kimi K3, essa abordagem encontrou um layout de produção que resultou em até 24% mais TPS! É a inteligência antes da otimização!

A Surpreendente Lição dos Agentes e Especialistas Humanos! 🤯

Preparem-se, porque essa parte é hilária e cheia de aprendizados! A Together AI descobriu algo surpreendente sobre a interação entre agentes de IA e especialistas humanos.

  • Base de Conhecimento Humana Nem Sempre Ajuda: Primeiro, uma base de conhecimento curada por especialistas humanos, que deveria ajudar, na verdade, resultou em 25% a 31% menos aceleração após 12 horas. Os agentes perdiam tempo "pesquisando" nela!
  • Agentes "Ingênuos" Vencem: Segundo, agentes "ingênuos" — aqueles que foram instruídos apenas a "tornar o forward pass o mais rápido possível" — superaram as estratégias complexas definidas por especialistas humanos! Conseguiram 6.2x versus 4.9x de ganho após 10 tentativas. Às vezes, o simples é o melhor!
  • Logs Humanos Atrapalham: E tem mais: estruturas de log personalizadas, criadas por humanos para pesquisa, consumiram até 43% das chamadas de ferramentas dos agentes por tentativa. Ou seja, a "ajuda" humana às vezes atrapalhava mais do que ajudava!
  • Código Bruto é Melhor: A lição? A Together AI agora dá aos agentes o código-fonte bruto do motor, sem representações intermediárias. Isso permitiu que os agentes reescrevessem um kernel do Kimi K3, gerando uma aceleração de 1.7x a 2.5x! É a IA indo direto ao ponto, sem intermediários!

Desempenho na Pista: Os Benchmarks Falam Por Si!

Chegou a hora de ver os números que provam a potência do Together Compiler! Os resultados são impressionantes:

  • Contra o InferenceX: Nos testes da SemiAnalysis InferenceX com a carga de trabalho AgentX, o Together Compiler simplesmente detonou, superando as melhores configurações abertas em até 2.6x no TPS! Cada teste rodou em menos de 24 horas, usando no máximo 2 nós.

Aqui estão alguns dos resultados de TPS P90 por usuário (Batch size 1), comparando o Together Compiler (TC) com o melhor do InferenceX:

  • MiniMax M3.1 Flash (B200): 1.111 (TC) vs 633 (InferenceX)
  • DeepSeek v4.1 Flash (GB300): 1.205 (TC) vs 943 (InferenceX)
  • GLM 5.3 (B200): 417 (TC) vs 329 (InferenceX)
  • Kimi K3 (GB300): 450 (TC) vs 423 (InferenceX)
  • GLM 5.3 (MI355X): 480 (TC) vs 463 (InferenceX)

Para o MiniMax, o modelo de custo escolheu TP8 em vez do TP4 padrão, o que reduziu pela metade o tráfego de peso da GPU na decodificação, um processo limitado pela memória. Detalhes que fazem a diferença!

  • Além dos LLMs: E não parou por aí! No Llama 1B (batch size 1), ele superou soluções como Hazy Research megakernels, Mirage e baselines CUDA-graph em até 1.7x! Para modelos científicos, os ganhos foram de 1.5x a 6.4x, mantendo a precisão dos resultados. E até o Claude Code com ‘/goal’ teve aceleração de 1.2x a 4.4x (com uma falha no AIFS-ENS 2.0, claro, nem tudo é perfeito!).

Minha Visão

Cara, essa tecnologia é um divisor de águas! O Together Compiler mostra que a otimização de IA não é um evento pontual, mas um processo contínuo e vivo. A capacidade de ter agentes de IA otimizando o próprio código em tempo real, adaptando-se às mudanças de tráfego, é algo que muda completamente o jogo para quem está desenvolvendo e deployando modelos em larga escala. Isso significa mais performance, menos custos e, no final das contas, uma experiência muito melhor para o usuário final. É a verdadeira inteligência artificial trabalhando para tornar a IA mais inteligente e eficiente!

E você, o que achou dessa inovação? Acha que a otimização contínua será o futuro da inferência de IA? Deixa seu comentário aqui embaixo, quero saber sua opinião!

Referência: Matéria Original

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima
Tutorial Elevenlabs