Liquid AI: 74M parâmetros para áudio que flui

Claro! Prepare-se para mergulhar no mundo da tecnologia de áudio com o Lucas Tech!


Sua Voz Ganhou um Upgrade! O Novo Codec de IA da Liquid AI É SURREAL de Rápido e Claro!

Olá, pessoal! Aqui é o Lucas Tech, e preparem os fones de ouvido porque a notícia de hoje é daquelas que fazem a gente levantar da cadeira! A Liquid AI, uma galera que a gente já conhece por modelos de IA incríveis, acaba de liberar o LiquidCodec, o motor por trás dos seus modelos LFM3-Audio-2B e LFM3-Omni-2B. E olha, esse codec de áudio não é brincadeira, ele promete revolucionar como a inteligência artificial entende e recria a nossa voz!

Em resumo? É um tokenizer de fala que transforma sua voz em "códigos" super fáceis para a IA entender, e depois os converte de volta em áudio, tudo isso em uma velocidade e qualidade que beiram o absurdo! E a boa notícia é que os pesos desse modelo já estão disponíveis no Hugging Face para quem quiser testar!

TL;DR (O Resumo Rápido para Quem Tem Pressa!)

  • Tamanho: Cerca de 74 milhões de parâmetros (pra ser exato, 73.6M na descrição do modelo). Ele trabalha com áudio de 24 kHz, frames de 12.5 Hz e 12 "cadernos de código" (codebooks).
  • Onde Roda: Incrivelmente, funciona em apenas um único thread de CPU (eles testaram num MacBook Pro com Apple M4 Max, usando FP32)! Mas também é compatível com GPUs CUDA via Transformers e até tem versões GGUF (Q4_0, Q4_K_M e Q8_0) para quem usa o llama.cpp.
  • Performance: Nos testes, o LiquidCodec detonou os concorrentes (X-Codec 2, NanoCodec e Mimi) nos 8 conjuntos de teste, alcançando o melhor ViSQOL (uma métrica de qualidade de áudio) e a menor distância mel.
  • Velocidade: É um monstro! Ele codifica áudio aproximadamente 361 vezes mais rápido que o tempo real em um único thread de CPU! (Tipo, o fator de tempo real de codificação dele é 0.0028, enquanto o do Mimi é 0.0361).

Mas Afinal, o Que é o LiquidCodec?

Sabe quando você fala e a IA precisa "entender" sua voz para, sei lá, transcrever, gerar uma resposta ou até mesmo criar uma voz sintética? O LiquidCodec é um codec de fala desenvolvido pela Liquid AI que faz exatamente isso: ele compacta áudios de 24 kHz em 12 fluxos de "tokens".

Pensa que cada pedacinho de 80 milissegundos da sua fala se transforma em 12 tokens discretos. Isso é super importante porque facilita a vida dos modelos de linguagem, que conseguem prever esses tokens e depois, o próprio LiquidCodec os converte de volta em áudio de alta qualidade. Ah, e ele veio pra substituir o Mimi (que tinha uns 96.2M de parâmetros), que a Liquid AI usava antes. Ou seja, é menor e melhor!

O Segredo da Velocidade e Qualidade (Como Funciona?)

A "mágica" do LiquidCodec acontece em três passos: codificação, quantização e decodificação. A Liquid AI usou blocos da sua arquitetura LFM3 tanto no codificador quanto no decodificador, que são simétricos. O codificador é totalmente "causal", o que significa que ele não precisa "saber" o que virá depois na fala para processar o que está acontecendo agora. Perfeito para streaming em tempo real!

A parte da quantização é onde ele se destaca. Em vez de usar uma técnica comum chamada RVQ (Residual Vector Quantization), o LiquidCodec aposta na GFSQ (Grouped Finite Scalar Quantization). Sem entrar em muito tecniquês, a principal diferença é que com o GFSQ, os 12 "cadernos de código" (que guardam as informações da sua voz) são independentes. Isso significa que todas as 12 "partes" podem ser processadas ao mesmo tempo, em paralelo! Imagina que, em vez de um código depender do outro, eles trabalham em paralelo, tipo uma equipe super organizada!

No lado da decodificação, ele prediz os coeficientes espectrais diretamente. Isso evita uma etapa super comum e custosa nos decodificadores de áudio (o "upsampling por convolução transposta"), o que contribui muito para a sua velocidade insana.

Treinamento de Gigante

Pra chegar nesse nível, o LiquidCodec passou por um treinamento BRUTAL em duas etapas:

  1. Etapa 1: Eles usaram 264.000 horas de fala em 107 idiomas diferentes! Focaram em perdas de forma de onda e espectrais, sem aquelas perdas adversariais que às vezes introduzem ruídos.
  2. Etapa 2: Depois, fizeram um ajuste fino com mais 55.000 horas de fala em banda completa (24 kHz ou superior), mas agora com "críticos adversariais". A Liquid AI disse que isso foi essencial para remover aqueles artefatos metálicos que às vezes aparecem no áudio gerado.

E pra coroar, teve uma etapa final de treinamento consciente de quantização (QAT), que é perfeita para rodar o modelo em dispositivos menores, tipo no seu celular ou um Raspberry Pi.

É Rápido MESMO? Os Números Não Mentem!

A Liquid AI fez os testes de velocidade num MacBook Pro com Apple M4 Max (usando 1 thread de CPU e precisão FP32), e os resultados são de cair o queixo!

  • Codificação: ~361x mais rápido que o tempo real! (Fator RTF de 0.0028)
  • Decodificação: ~87x mais rápido que o tempo real! (Fator RTF de 0.0115)

Pra você ter uma ideia, o fator de tempo real (RTF) é o tempo de processamento dividido pelo tempo do áudio. Quanto menor, melhor! Enquanto o LiquidCodec codifica em 0.0028, o Mimi faz em 0.0361, o NanoCodec em 0.2145 e o X-Codec 2 em 0.7359. Ou seja, é cerca de 13 vezes mais rápido na codificação e quase 3 vezes mais rápido na decodificação que o Mimi! É uma diferença absurda!

Qualidade de Áudio: Onde o LiquidCodec Brilha!

A galera da Liquid AI não economizou nos testes. Usaram 8 conjuntos de dados variados, incluindo LibriSpeech, Seed-TTS (inglês e mandarim) e 5 idiomas do FLEURS (alemão, francês, mandarim, japonês e coreano). E o LiquidCodec se saiu assim:

  • Reconstrução de Áudio: Ele teve o melhor ViSQOL e a menor distância mel em todos os 8 conjuntos! No LibriSpeech, por exemplo, o ViSQOL dele foi de 4.319, contra 4.031 do Mimi. É uma diferença notável na percepção da qualidade!
  • Texto-para-Fala (TTS): Treinaram modelos TTS idênticos com os tokens de cada codec e o LiquidCodec conseguiu a maior pontuação UTMOSv2 em todos os 8 testes, além de ter os melhores resultados de WER/CER (taxa de erro de palavras/caracteres) em 4 dos 8 conjuntos. No LibriSpeech, o WER dele foi de 3.15% contra 6.27% do Mimi.
  • Onde Ele Não É o Número 1: Pra ser didático e transparente, ele não foi o melhor em tudo. O NanoCodec, por exemplo, teve um PESQ (WB) maior em 7 dos 8 conjuntos e também liderou na similaridade de voz do falante (SECS) no LibriSpeech. Mas, no geral, o LiquidCodec é um campeão!

Onde Você Encontra Essa Tecnologia?

A cereja do bolo é que o LiquidCodec já está disponível para a comunidade! Seus pesos estão lá no Hugging Face, prontos para serem usados.

Você pode integrar ele facilmente com a biblioteca Transformers do Python, e ele tem até compilações GGUF para o llama.cpp, o que significa que dá pra rodar essa maravilha em dispositivos mais modestos e até em modelos localmente, sem precisar de uma super máquina.

Ele é a tecnologia que potencializa os modelos LFM3-Audio-2B e LFM3-Omni-2B da Liquid AI.

Aqui um exemplo de como é simples usar (pra quem curte meter a mão no código!):

python
pip install -U transformers accelerate

from transformers import AutoModel
model = AutoModel.from_pretrained(
"LiquidAI/Liquid-Codec", trust_remote_code=True)
codes = model.encode(waveform).audio_codes # Transforma áudio em 12 tokens por 80 ms
audio = model.decode(codes).audio_values # Converte os tokens de volta em áudio de 24 kHz

E se você quer ver todos os detalhes e até uma demonstração interativa, dá uma olhada no blog da Liquid AI, eles têm um explainer sensacional!

Minha Visão

Como Lucas Tech, vejo isso como um divisor de águas para a interação humano-máquina. A velocidade e a clareza que o LiquidCodec oferece abrem um leque de possibilidades gigantesco. Pensa em assistentes de voz que respondem instantaneamente e com uma voz super natural, teleconferências com latência quase zero e qualidade de estúdio, ou até mesmo ferramentas de acessibilidade que convertem texto em fala com uma riqueza e fluidez que antes era inimaginável. Isso vai acelerar a pesquisa em IA de áudio, tornando a tecnologia mais acessível e permitindo experiências de usuário muito mais imersivas e eficientes. É um passo enorme para tornar a IA que "fala" conosco ainda mais humana!

E você, o que acha desse avanço? Onde mais você acha que o LiquidCodec vai fazer a diferença no nosso dia a dia? Deixa sua opinião nos comentários!

Referência: Matéria Original

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima
Tutorial Elevenlabs