MoE: Entenda o Roteamento do Futuro

O Segredo dos LLMs Gigantes: 7 Estratégias de Roteamento MoE que Você Precisa Conhecer!

Olá, pessoal! Aqui é o Lucas Tech, e hoje a gente vai mergulhar de cabeça em um dos motores mais importantes por trás dos modelos de linguagem gigantes (os famosos LLMs): o Roteamento MoE (Mixture-of-Experts)! Sabe quando você usa um ChatGPT da vida e ele responde super rápido e de forma inteligente? Boa parte da magia acontece nos bastidores, com a forma como esses modelos decidem ‘quem’ vai processar a sua pergunta. É uma dança complexa de eficiência e inteligência, e prometo que vou descomplicar tudo pra vocês!

Em Resumo (pra quem tá com pressa!)

Antes de aprofundar, dá uma olhada no que é essencial saber sobre o roteamento MoE:

Tamanho e Escolha: Os roteadores podem escolher de 8 experts (como no Mixtral) a impressionantes 384 (no DeepSeek-V4-Pro), ativando de 1 a 8 deles para cada ‘pedaço’ de informação (token).
Custo da Operação: O ‘custo’ desse roteamento aparece principalmente quando usamos várias GPUs em paralelo, e cada escolha se transforma em um tráfego de rede intenso.
Performance Top: A técnica que usa ‘sigmoid scoring’ com um balanceamento de bias sem a ‘auxiliary loss’ é a receita de sucesso dominante para os modelos MoE de ponta em 2026.
Melhor Desempenho: Esse balanceamento "loss-free" (sem perda) conseguiu reduzir o MaxVio de 0.72 para 0.04 em modelos de 1 bilhão de parâmetros, além de diminuir a perplexidade (o que é ótimo!).
Pior Cenário: O roteamento "Expert Choice" tem um problema sério: ele pode ‘vazar’ informações de tokens futuros em modelos causais, causando uma queda anormal de cerca de 10% na perda, como alguns testes mostraram.
Ponto Final: A parte boa é que o balanceamento baseado em bias não atrapalha o treinamento com gradientes interferentes. A parte nem tão boa é que nenhum roteador faz milagre e elimina a necessidade de ajustes de carga durante a operação (o ‘serving’).

O Que é Roteamento MoE?

Pensa assim: o roteamento MoE é o ‘maestro’ que decide para qual pedacinho especializado da rede neural (o ‘expert’) cada token – que é como um pedacinho da sua frase ou pergunta – vai ser enviado. O roteador avalia todos os experts disponíveis, escolhe os melhores candidatos e combina as respostas deles. O mais legal? Só os experts selecionados realmente ‘trabalham’, o que economiza um caminhão de recursos computacionais!

O Mixtral 8x7B, por exemplo, consegue acessar 47 bilhões de parâmetros, mas na prática, só usa uns 13 bilhões ativamente para cada token. Isso é eficiência pura, permitindo que modelos gigantes sejam mais rápidos e econômicos.

(Aqui no texto original tem um vídeo explicativo e um simulador interativo que são super legais para ver na prática!)

As 7 Estratégias de Roteamento MoE Usadas na Produção

Agora, vamos ao que interessa: as 7 estratégias de roteamento MoE que estão rodando nos bastidores dos modelos mais avançados hoje em dia!

1. Softmax Top-K (Escolha do Token)

Nessa estratégia, cada token ‘pontua’ todos os experts com uma camada linear e escolhe os k experts com as maiores pontuações. Um softmax sobre essas k pontuações define os pesos de mistura das saídas. É como se o token escolhesse seus professores favoritos! O Mixtral, por exemplo, escolhe 2 de 8 experts. O gpt-oss-120b seleciona 4 de 128, e o Qwen3-235B-A22B escolhe 8 de 128. Uma ‘auxiliary loss’ (perda auxiliar) é frequentemente usada para garantir que a carga entre os experts seja bem distribuída.

Usado por: Mixtral, gpt-oss, Qwen3.

2. Roteamento Switch Top-1 com Fator de Capacidade

O Switch Transformer mostrou que mandar cada token para apenas um expert mantém a qualidade e ainda diminui a carga computacional do roteador. Cada expert tem um ‘buffer’ fixo (ou seja, um limite de tokens por lote, multiplicado por um fator de capacidade). Se um expert receber mais tokens do que o buffer permite, os tokens extras simplesmente ‘pulam’ aquela camada através da conexão residual. O Llama 4 Maverick também segue essa linha, mandando cada token para um expert roteado, além de um expert compartilhado.

Usado por: Switch Transformer, Llama 4 Maverick (com um expert compartilhado).

3. Experts Compartilhados + Roteados

Essa é uma abordagem interessante! O DeepSeekMoE divide cada camada em experts ‘sempre ligados’ (os compartilhados) e experts que são roteados de forma esparsa. O expert compartilhado se encarrega do conhecimento geral, liberando os experts roteados para se especializarem em tarefas mais específicas. O DeepSeek-V3 usa 1 expert compartilhado e 256 roteados, ativando 8 deles por token. Kimi K2, GLM-4.5 e Qwen3.6-35B-A3B seguem o mesmo padrão. Curiosamente, o Qwen3, em uma versão posterior, chegou a remover os experts compartilhados.

Usado por: DeepSeek-V3 e V4, Kimi K2, GLM-4.5, Qwen3.6, Llama 4.

4. Sigmoid Gating com Bias "Aux-Loss-Free"

Aqui, a pontuação dos experts é feita com uma função sigmoid em vez de softmax. Um ‘bias’ (viés) por expert é adicionado somente na hora de escolher os top-k. Depois de cada etapa, esse bias diminui para os experts sobrecarregados e aumenta para os ociosos, ajudando a equilibrar a carga sem uma ‘auxiliary loss’ tradicional que poderia interferir nos gradientes de treinamento. Os pesos de mistura continuam vindo das pontuações originais. O GLM-4.5 usa roteamento de balanceamento sem perda com sigmoid gates, e o DeepSeek-V4 muda a pontuação para sqrtsoftplus, mas mantém o balanceamento de bias.

Usado por: DeepSeek-V3, DeepSeek-V4, GLM-4.5, Kimi K2.

5. Roteamento Limitado por Grupo e por Nó

Mandar um único token para experts que estão em muitos nós (servidores diferentes) é algo bem caro. Para resolver isso, o DeepSeek-V3 limita cada token a um máximo de 4 nós, escolhidos com base nas maiores pontuações de afinidade. A configuração do DeepSeek divide os experts em 8 grupos e mantém 4 deles antes da seleção final dos top-8. Essa limitação permite que o treinamento quase sobreponha totalmente a computação e a comunicação de dados. Já o Kimi K2 aboliu o agrupamento, usando n_group igual a 1.

Usado por: DeepSeek-V2 e V3.

6. Roteamento por Escolha do Expert (Expert Choice)

Essa estratégia inverte a lógica! Em vez do token escolher os experts, são os experts que escolhem seus top-k tokens. Isso garante que cada expert receba um tamanho de "balde" fixo, balanceando a carga por design. Os tokens, por sua vez, podem receber um número variável de experts. A pesquisa inicial da Google que apresentou essa ideia relatou uma convergência de treinamento mais de 2x mais rápida!

Mas tem um "porém": a causalidade. Em modelos causais (aqueles que preveem o próximo token com base nos anteriores), o expert de um token pode depender de tokens futuros, o que pode ‘vazar’ informações. Pesquisadores do DeepSeek mediram uma queda anormal de perda de cerca de 10% por conta desse vazamento. Por isso, essa estratégia é mais vista em pesquisas e configurações não causais.

Usado por: Pesquisas e cenários não causais. (Nenhum dos 10 modelos abertos importantes usa atualmente).

7. Roteamento por Hash e Top-K Dinâmico

O roteamento por hash atribui experts com base no ID do token, sem um roteador ‘inteligente’ aprendido. É uma forma mais simples e direta. O DeepSeek-V4 usa roteamento por hash nas suas primeiras 3 camadas MoE. Já o top-k dinâmico permite que o número de experts ativos varie por token, se adaptando à necessidade. O SMIDT incorporou isso no SGLang e conseguiu melhorar o tempo da primeira resposta em 1.21 a 1.26 vezes.

Usado por: DeepSeek-V4 (roteamento por hash), sistemas de serving de pesquisa (top-k dinâmico).

Comparativo das Estratégias de Roteamento MoE

Pra facilitar a vida, dá uma olhada nessa tabela comparativa que resume tudo:

Estratégia	Quem Escolhe	Como a Carga é Balanceada	Principal Risco	Usado Por
Softmax top-k	Token escolhe k experts	Auxiliary loss	Perda de qualidade em troca de balanceamento	Mixtral, gpt-oss, Qwen3
Top-1 Switch	Token escolhe 1 expert	Aux loss + fator de capacidade	Tokens extras são descartados	Switch Transformer, Llama 4 Maverick
Compartilhado + Roteado	Token escolhe roteados; compartilhado sempre roda	Herda método roteado	Custo extra de computação sempre ativa	DeepSeek, Kimi K2, GLM-4.5, Qwen3.6
Sigmoid + Bias "Loss-Free"	Token escolhe via pontuação com bias	Bias por expert, sem gradiente de perda	Desequilíbrio dentro de uma mesma sequência	DeepSeek-V3/V4, GLM-4.5, Kimi K2
Limitado por Nó	Token escolhe dentro de nós limitados	Herda método roteado	Restringe a escolha de experts	DeepSeek-V2/V3
Expert Choice	Expert escolhe k tokens	Fixo por construção	Vazamento de tokens futuros	Modelos de pesquisa
Hash / Dinâmico	ID do token ou k variável	Mapeamento fixo ou k adaptativo	Menos especialização aprendida	DeepSeek-V4 (hash), SMIDT (dinâmico)

Minha Visão

Cara, é impressionante ver como a engenharia por trás desses modelos evolui tão rápido! O roteamento MoE não é só uma curiosidade técnica; ele é fundamental para que a gente consiga ter modelos de IA cada vez maiores, mais rápidos e, principalmente, mais acessíveis. O balanço entre performance, custo e balanceamento de carga é um desafio gigantesco, e essas estratégias mostram que a inovação é constante. É a prova de que otimização não é apenas um detalhe, mas o coração da IA de ponta, permitindo que a gente empurre os limites do que é possível com a inteligência artificial, abrindo portas para aplicações que antes pareciam ficção científica!

E aí, o que vocês acharam dessas estratégias? Qual delas te surpreendeu mais ou parece a mais promissora para o futuro dos LLMs? Deixa aqui nos comentários qual a sua aposta!

Referência: Matéria Original