IA: MoE Kernel 3x Mais Rápido Chegou!

Com certeza! Vamos traduzir e reescrever esse conteúdo no estilo do Lucas Tech, com a estrutura que você pediu:

Esqueça as GPUs Paradas! Como o Prime Mega MoE está Turbinando o Treinamento de IAs em até 55%!

Olá, pessoal! Aqui é o Lucas Tech, e preparem-se porque a notícia de hoje é daquelas que fazem o coração de qualquer entusiasta de tecnologia bater mais forte! A Prime Intellect acaba de lançar uma parada que promete revolucionar o treinamento de modelos de IA, especialmente os famosos MoE (Mixture-of-Experts). Basicamente, eles encontraram um jeito de fazer nossas queridas GPUs trabalharem muito mais e gastarem muito menos tempo. Quer saber como eles fizeram isso e como você pode economizar horas (e dinheiro!) de GPU? Cola comigo que eu te explico tudo!

Afinal, o que é esse Prime Mega MoE?

Então, a sacada da Prime Intellect foi lançar o Prime Mega MoE. Pensa nele como uma "turbina" para o treinamento de IAs. Ele é uma extensão de um kernel (que é tipo um programa super otimizado que roda direto na GPU) que a DeepSeek já tinha. A DeepSeek tinha feito esse kernel, o Mega MoE, mas ele só funcionava na "passada de forward" – ou seja, só na hora de fazer a IA gerar uma resposta.

A Prime Intellect foi lá e adicionou a parte que faltava: uma "passada de backward" (a retropropagação, essencial para o aprendizado) super-rápida e que ainda consegue fazer várias coisas ao mesmo tempo (overlapping). Isso significa que, agora, esse kernel não serve só pra usar a IA, mas principalmente pra treinar ela de um jeito muito mais eficiente!

MoE na Prática: Por que o Treinamento Dava Dor de Cabeça?

Pra entender o impacto, a gente precisa saber um tico sobre os modelos MoE. Imagina um modelo de IA gigante, mas em vez de ser um bloco só, ele é um "comitê" de vários especialistas (experts). Quando você manda um "token" (que é tipo uma palavra ou pedacinho de informação) pra ele, esse token vai só pra um pequeno grupo desses experts.

O detalhe é que esses experts geralmente ficam em GPUs diferentes. Pensa na logística: a cada camada do modelo, os tokens precisam ser enviados para as GPUs certas, processados pelos experts, e os resultados têm que voltar. Isso acontece na "passada de forward" e de novo na "passada de backward".

No modo tradicional, essas são operações separadas. A GPU fica lá, esperando os dados chegarem, depois calcula, depois espera os resultados voltarem… E esses "esperas" são tempo de GPU parada, queimando energia e dinheiro sem fazer nada! É um baita gargalo na comunicação.

A Magia da Fusão: Como o Prime Mega MoE Resolve o Problema

A DeepSeek, com o Mega MoE que lançou em abril de 2026 (parte da biblioteca DeepGEMM), já tinha dado um passo à frente. Em vez de uma "fila" de operações, eles juntaram várias em uma só chamada de kernel. Coisas como o envio para os experts, as camadas lineares, o SwiGLU (uma função de ativação) e a combinação dos resultados, tudo junto!

A grande sacada aqui é que, enquanto um grupo de tokens tá sendo enviado pra lá e pra cá, o kernel já tá calculando outro grupo que chegou. É o famoso "overlapping"! E pra completar, ele evita criar um monte de dados intermediários, usando buffers temporários só na GPU.

MAS, como eu disse, a DeepSeek só fez a parte da "passada de forward". E é aí que a Prime Intellect brilha! Eles escreveram o kernel que faltava para a "passada de backward", também com essa mesma técnica de overlapping. O resultado? Uma otimização monstro para o treinamento completo!

Eles suportam precisões como BF16, MXFP8 (só pra GPUs Blackwell) e FP8 (só pra GPUs Hopper), além de um modo fp8_bwd que usa BF16 no forward e FP8 no backward. Muita flexibilidade para as máquinas mais potentes!

Os Números que Impressionam: Sua GPU Vai Agradecer!

Agora, a parte que a gente gosta: os resultados! Os testes foram feitos em modelos MoE da Qwen3 (Qwen3-30B-A3B e Qwen3-235B-A22B), com 128 experts e roteamento top-8, rodando em nós com 8 GPUs H200. E os ganhos são pra cair o queixo:

Até 34% mais rápido nos passos completos de treinamento, comparado com a linha de base do prime-rl (o próprio treinador da Prime Intellect).
Contra o TorchTitan, o ganho chega a incríveis 55%!
Na "passada de forward" de uma camada MoE do Qwen3-30B-A3B, eles conseguiram uma aceleração de 3.11x (de 12.0 ms para 3.9 ms).
Mesmo no "pior" caso (que ainda é ótimo), na "passada de backward" de uma camada MoE do Qwen3-235B-A22B, o ganho foi de 1.24x (de 30.5 ms para 24.6 ms).

Pense bem: menos horas de GPU = menos grana na conta! Isso é um corte direto nos custos de quem está treinando modelos MoE.

Detalhes Técnicos Rápidos (Pra quem gosta de aprofundar!)

O que é: Um kernel de GPU, não um modelo de IA completo.
Compatibilidade: NVIDIA Hopper (com blockwise FP8) e Blackwell (com MXFP8). BF16 funciona em ambas.
Modelos testados: Qwen3-30B-A3B e Qwen3-235B-A22B.
Configuração para usar no prime-rl (treinador):
trainer.model.moe.dispatch
type = "mega_moe"
precision = "fp8" # ou "bf16", "mxfp8", "fp8_bwd"
num_reserved_sms = 16 # SMs reservados para NCCL
Algumas restrições: Experts precisam ser do tipo gated SwiGLU sem expert biases. O hidden size (tamanho oculto) deve ser múltiplo de 256, e o expert FFN múltiplo de 128.

Minha Visão

Essa jogada da Prime Intellect é um divisor de águas, galera! Treinar modelos MoE sempre foi um desafio gigantesco, não só pela complexidade, mas principalmente pelo custo computacional estratosférico. Com essa otimização de performance, que corta diretamente as horas de GPU necessárias, eles estão democratizando o acesso a modelos de ponta.

Mais empresas, pesquisadores e até mesmo entusiastas independentes terão a chance de experimentar e inovar com MoE sem quebrar o banco. É um passo enorme para acelerar o desenvolvimento da IA e torná-la mais acessível. Imagina só o que podemos construir com mais eficiência e menos barreiras financeiras!

E aí, o que você achou dessa novidade? Você já está pensando em qual modelo MoE vai treinar com essa velocidade extra? Deixa seu comentário aqui embaixo, vamos trocar uma ideia!

Referência: Matéria Original