Qual ASR Aberto dominará em 2026?

Whisper Não é Mais o Rei? O Fim da Monocultura na Transcrição de Áudio!

Olá, pessoal! Aqui é o Lucas Tech e hoje vamos mergulhar num assunto que está borbulhando no mundo da IA: o reconhecimento de fala. Por muito tempo, Whisper foi o nome na boca de todo mundo quando o assunto era transcrever áudio com alta qualidade e de forma open-source. Mas, preparem-se, porque o jogo mudou! A "monocultura" do Whisper acabou, e agora temos uma briga boa no topo da tabela. E o mais interessante? O WER (Word Error Rate) não é mais o único critério para escolher o campeão.

Nos últimos 12 meses, vimos uma explosão de novos modelos de reconhecimento de fala que não só desafiam o Whisper, mas o superam em muitos aspectos. Gigantes como Cohere e IBM, além de outros projetos superinteressantes, estão lançando ferramentas que mudam completamente o cenário. E o que isso significa para a gente, desenvolvedores, entusiastas e empresas? Que a escolha do modelo perfeito ficou mais complexa e, ao mesmo tempo, muito mais customizada às nossas necessidades. Vem comigo entender essa revolução!

O Problema com os Números da Tabela (e por que você não pode confiar neles cegamente)

Sabe aquela tabela de líderes do Hugging Face Open ASR Leaderboard que todo mundo cita? Então, ela é ótima para ter uma ideia geral, mas tem uma pegadinha. O WER médio que aparece lá nem sempre é calculado da mesma forma para todos os modelos!

Por exemplo, o Cohere Transcribe foi avaliado em oito conjuntos de testes em inglês, incluindo o famoso TED-LIUM, chegando a 5,42% de WER. Já o ARK-ASR-3B, que aparece com 5,04%, foi testado em sete conjuntos, sem o TED-LIUM. O detalhe é que o TED-LIUM é um dos conjuntos "mais fáceis" da suíte.

O que isso significa? Se a gente recalcular o WER do Cohere usando os mesmos sete conjuntos do ARK, o número sobe para 5,84%! O mesmo acontece com o IBM Granite Speech 4.1 2B. Ou seja, a liderança do ARK é maior do que os números "de capa" sugerem, mas a moral da história é: não dá pra simplesmente subtrair um número publicado do outro e ter um resultado decente. Isso é uma armadilha!

Além disso, temos mais duas coisas pra ficar ligado:

Modelos "treinados para a tabela": Alguns modelos, como o MOSS-Transcribe-preview-2B, foram "tunados" usando dados de treinamento específicos da própria leaderboard. É como estudar para a prova com as questões da prova. A pontuação é alta, mas ela mede o benchmark, não a capacidade real em cenários variados.
Dados privados mudam tudo: Empresas como a Appen usam conjuntos de avaliação privados, com sotaques e condições de áudio (conversacional vs. roteirizado) muito mais diversas. Quando esses dados entram em jogo, a ordem da tabela pública muda drasticamente, e modelos otimizados para áudios "limpos" perdem performance em conversas espontâneas.

Moral da história, galera: use a leaderboard para montar uma lista de candidatos, não para escolher um vencedor!

A Batalha pela Precisão: Quem Está no Topo?

Se a precisão ainda é seu foco principal (mas lembre-se, não é o único!), alguns modelos se destacam bastante:

Cohere Transcribe (2B, Apache 2.0, 14 idiomas): Esse aqui é o modelo que realmente está em produção, com mais de 620 mil downloads em um mês! Ele é rápido e suporta várias plataformas. A Cohere até fez testes com avaliadores humanos, e o Transcribe teve uma taxa de vitória impressionante contra outros gigantes. Ah, mas um aviso importante: ele não tem detecção automática de idioma, timestamps ou diarização, e ele adora transcrever silêncio (então use um VAD antes!). O repositório exige um contato, mesmo com licença Apache 2.0.
Granite Speech 4.1 2B (2B, Apache 2.0): Se você precisa de capacidade em vez de apenas um número baixo na tabela, esse da IBM é uma escolha sensacional. Ele suporta seis idiomas para ASR, além de tradução de fala bidirecional, e tem um recurso de "keyword-list biasing" super útil para nomes e jargões. Ele também faz pontuação e "truecasing" (corrigir maiúsculas/minúsculas). Ah, e a IBM tem versões "plus" (com detecção de locutor e timestamps) e "nar" (que veremos em throughput).
Canary-Qwen-2.5B (2.5B, CC-BY-4.0, Inglês): Esse é interessante porque além de transcrever, ele pode rodar em modo LLM para resumir e responder perguntas sobre a transcrição. Ideal para quem precisa de mais do que só o texto. Mas fica a dica: ele é otimizado para áudios conversacionais com "disfluências" (aqueles "ãh…", "tipo assim…"), o que é ótimo para transcrição legal, mas talvez não para notas de reunião.
Qwen3-ASR-1.7B (Apache 2.0): Para quem lida com o universo do mandarim e dialetos chineses, este é o ponto de partida óbvio! Ele cobre 52 idiomas e dialetos, incluindo 30 idiomas e 22 dialetos chineses. Vem com um kit de inferência completo e um modelo de alinhamento forçado para timestamps em 11 idiomas.

Velocidade de Processamento: Onde o Dinheiro Mora!

Ok, a precisão é importante, mas a verdade é que no topo da tabela ela varia por menos de um ponto percentual de WER. A velocidade de processamento, ou throughput, varia por uma ordem de magnitude inteira! E isso, amigos, costuma decidir a conta no final do mês.

Parakeet TDT 0.6B v3 (0.6B, CC-BY-4.0): Esse é o rei da velocidade entre os modelos multilingual open-source! Com RTFx 3332.74 (um número que mostra quantas vezes mais rápido que o tempo real o áudio é processado), ele é impressionante. Suporta 25 idiomas europeus com detecção automática, processando até 24 minutos de áudio numa única passada. Sim, ele tem um WER um pouco maior (6,32%), mas entrega catorze vezes mais áudio por segundo de GPU que o Granite 4.1 2B. Se volume é a sua prioridade, ele brilha!
Granite Speech 4.1 2B-NAR: Essa versão "non-autoregressive" do Granite é um resultado de engenharia fascinante. Ele edita uma transcrição inicial em uma única passada usando um LLM bidirecional, alcançando um RTFx de cerca de 1820! Pra isso, ele abre mão de japonês, tradução de fala e "keyword biasing", mas a velocidade é insana.
Qwen3-ASR-0.6B: Mantendo a cobertura de 52 idiomas, essa versão mais leve do Qwen3-ASR alcança um throughput de 2000x com 128 streams simultâneos. Que massa!

Transmissão ao Vivo (Streaming): Desafios e Soluções

Para modelos de streaming (transcrição em tempo real), o WER puro de "batch" não é o melhor teste. Afinal, a latência (o atraso) é o que mais importa aqui.

Voxtral Mini 4B Realtime 2602 (Apache 2.0, 13 idiomas): Desenvolvido do zero, este modelo usa "sliding-window attention" para streaming praticamente ilimitado. O atraso na transcrição é configurável, e a Mistral (empresa por trás do Voxtral) recomenda 480ms como o ponto ideal, onde ele consegue igualar modelos offline líderes. Roda em uma única GPU de 16GB e tem suporte API desde o dia zero!
Kyutai STT (CC-BY-4.0): Vem em duas versões: um modelo de ~1B para inglês/francês com 0.5s de atraso e um detector de atividade de voz (VAD) semântico integrado, e outro de 2.6B só para inglês com 2.5s de atraso. Para assistentes de voz, esse VAD semântico é crucial, pois ele prevê quando o locutor realmente terminou de falar, o que melhora muito a fluidez da conversa. Um H100 consegue servir 400 streams simultâneos em tempo real. Animal!

Cobertura de Idiomas: Para Quem Precisa de Tudo

Nem todo projeto se contenta com inglês ou português. Para cenários com muitos idiomas, a Meta veio com tudo:

Meta Omnilingual ASR (Apache 2.0, corpus CC-BY): Este modelo não está competindo em WER, e nem deveria ser avaliado por isso! O foco dele é a amplitude. Ele cobre mais de 1.600 idiomas nativamente e se estende para mais de 5.400 através de "zero-shot in-context learning". Ele é construído sobre um encoder wav2vec 2.0 escalado para 7B, treinado em 4,3 milhões de horas de áudio. A variante 7B LLM-ASR alcança um character error rate abaixo de 10% em 78% dos idiomas suportados, incluindo mais de 500 idiomas que nunca foram atendidos por nenhum sistema ASR antes. Impressionante!
Whisper large-v3 (1.55B, MIT, 99 idiomas): Embora tenha sido superado em precisão por uns dez modelos open-source, o Whisper large-v3 ainda é a opção padrão para muitos projetos. Por quê? A licença MIT é a mais permissiva que existe, e o ecossistema de runtime (whisper.cpp, faster-whisper, WhisperX) não tem equivalente entre os lançamentos mais recentes. Se você precisa de "algum idioma, em algum hardware, sem dor de cabeça com advogado de licença", ele ainda é a resposta.

A Ponta da Pesquisa: Onde a Magia Acontece (mas cuidado!)

Aqui entram os modelos que são mais para inspirar e guiar a pesquisa, do que para serem usados em produção hoje.

diffusion-gemma-asr-small (Interfaze): Essa é a arquitetura mais criativa do ano! Ele gera transcrições usando "difusão denoising" em paralelo, o que significa que o custo de decodificação não cresce com o tamanho da transcrição. Com apenas ~42M parâmetros treinados sobre outros modelos congelados, ele atinge 6,6% de WER no LibriSpeech. É algo para ler e estudar, mas ninguém deveria deployar isso ainda. É pesquisa pura!
MOSS-Transcribe-Diarize 0.9B (Apache 2.0, 50+ idiomas): Esse modelo resolve um problema que muitos ignoram: ele já entrega as etiquetas de quem está falando (diarização), timestamps por palavra e a transcrição tudo junto, numa única geração! Sem precisar encadear vários sistemas diferentes. Suporta contexto de 128k (cerca de 90 minutos de áudio) em uma passada, com hotword biasing. É super prático!

A Pegadinha das Licenças: O Detalhe que Ninguém Lê… Até ser Tarde Demais!

Essa é a seção que realmente pode bloquear o lançamento do seu produto. Fica ligado:

Apache 2.0: Cohere Transcribe, Granite Speech 4.1 (todas as variantes), Qwen3-ASR (ambos os tamanhos), Voxtral Mini Realtime, Omnilingual ASR, ARK-ASR, MOSS-Transcribe. Aqui é show de bola! Não há obrigação de atribuição e o uso comercial é irrestrito. (Atenção: o Cohere Transcribe exige um contato inicial, mesmo com licença Apache 2.0).
MIT: Whisper large-v3. A opção mais permissiva de todas. Liberdade total!
CC-BY-4.0: Canary-Qwen-2.5B, Parakeet TDT 0.6B v3, Kyutai STT. Comerciamente usável, MAS exige atribuição. Para um produto embarcado ou uma API "white-label" (sem a sua marca), isso é uma obrigação de conformidade real e é a razão mais comum pela qual as equipes acabam usando um modelo menos preciso do que o que testaram. Fica a dica!
Meta Omnilingual ASR: Ele tem uma licença dividida: Apache 2.0 para os modelos, mas CC-BY para o corpus (o conjunto de dados de treinamento). Importante notar essa diferença!

Como Escolher o Modelo Certo para Você (Esqueça a Tabela!)

Pra escolher o modelo perfeito, não olhe a leaderboard primeiro. Siga esta ordem:

Licença: Se a atribuição é um problema para o seu projeto, os modelos CC-BY-4.0 (Parakeet, Canary-Qwen, Kyutai) já saem da lista antes mesmo de você começar a testar a performance.
Cobertura de Idiomas: Cohere (14 idiomas), Granite (6) e Canary (apenas inglês) têm limites rígidos. Além disso, a Cohere não faz autodeteção de idioma, então você precisa saber qual é o idioma do áudio de antemão.
Streaming ou Batch: Isso é uma decisão arquitetural. Nenhum ajuste fará um encoder-decoder offline virar um modelo de streaming de baixa latência. Pense nisso desde o início.
Então, meça o WER no seu próprio áudio: A diferença entre os dez melhores modelos no benchmark público é de menos de um ponto. A diferença no seu áudio (com seu sotaque, seu ruído, seu domínio específico) será várias vezes maior e, provavelmente, não classificará os modelos na mesma ordem.
Por fim, calcule o custo por hora de áudio nas suas GPUs: Os números de RTFx são medidos em grandes lotes (batch sizes) em hardware de data center e não se traduzem diretamente para a sua realidade. Faça seus próprios testes de custo!

Minha Visão

Essa mudança no cenário do reconhecimento de fala é um divisor de águas! Por anos, foi uma corrida para ver quem tinha o WER mais baixo, e o Whisper reinou absoluto. Agora, a história é outra. O mercado amadureceu, e a "monocultura" deu lugar a um ecossistema diversificado, onde a especialização é a chave.

Não se trata mais de encontrar "o melhor modelo de ASR", mas sim "o melhor modelo de ASR para a sua necessidade específica". Isso significa mais trabalho para quem precisa fazer a escolha (afinal, são mais critérios para analisar!), mas também abre um mundo de possibilidades para projetos super customizados e eficientes. Veremos IA de voz ainda mais poderosa, acessível e presente em aplicações que nem imaginamos hoje. É a democratização da tecnologia acontecendo na prática!

E vocês, qual dessas novidades mais te pegou? Já pensou em aplicar alguma delas no seu projeto? Qual critério é o mais importante para você na hora de escolher um modelo de ASR? Bora trocar uma ideia nos comentários!

Referência: Matéria Original