NVIDIA Revela Nemotron 3 Embed: Seu Agente de IA NUNCA Mais Será o Mesmo!
Olá, pessoal! Aqui é o Lucas Tech, e hoje a gente vai mergulhar em uma novidade da NVIDIA que promete balançar o mundo da inteligência artificial! Sabe quando a gente conversa com um assistente de IA ou usa uma ferramenta de busca inteligente e ela parece "entender" direitinho o que a gente quer? Por trás dessa mágica, existe uma tecnologia fundamental: os modelos de embedding! Eles são como o cérebro que decide qual informação é relevante para o seu agente de IA.
E a NVIDIA acabou de lançar uma coleção de modelos que promete revolucionar tudo isso: o Nemotron 3 Embed! Essa belezinha chega para turbinar aplicações de RAG (Retrieval Augmented Generation), sistemas de agentes inteligentes, busca de código e até a "memória" dos seus agentes. É uma virada de jogo, e eu vou te contar tudo sobre ela!
Nemotron 3 Embed: O que é essa Fera?
A NVIDIA não brincou em serviço e liberou uma coleção com TRÊS modelos abertos para a gente usar! Cada um com suas características, mas todos focados em te dar o melhor resultado:
- Nemotron-3-Embed-8B-BF16: Pense nele como a versão "top de linha", focada em precisão máxima. Se a sua prioridade é ter a resposta mais acurada possível, esse é o seu modelo.
- Nemotron-3-Embed-1B-BF16: Esse é o "irmão menor", com o mesmo design inteligente, mas muito mais compacto. Ótimo para quem precisa de eficiência sem abrir mão de boa performance.
- Nemotron-3-Embed-1B-NVFP4: E esse é o "monstro da velocidade"! Ele é otimizado para rodar na arquitetura Blackwell da NVIDIA usando quantização de 4 bits, entregando performance absurda.
Todos esses modelos são transformadores encoders, tipo aqueles que a gente já conhece e adora, treinados com máscara de atenção bidirecional. Isso significa que eles são superpoderosos para entender o contexto de qualquer texto. O embedding final (o vetor que representa o texto) é gerado por um "average pooling", que basicamente tira uma média das representações de cada palavra.
E a capacidade? Uma sequência MAIOR que você pode imaginar: 32.768 tokens em cada um! É texto que não acaba mais, permitindo que seus modelos de IA processem informações gigantes sem perder o fio da meada.
Ah, e um detalhe legal: esses modelos foram avaliados em 34 idiomas diferentes – ou seja, são bem multilíngues! A licença é a OpenMDW-1.1, e para os curiosos, a base desses modelos são os famosos Mistral (o 8B foi construído com o Ministral-3-8B-Instruct-2512 e os dois 1B usam o Ministral-3-3B-Instruct-2512).
Show de Performance: Quem é o Campeão?
Segura essa: o Nemotron-3-Embed-8B-BF16 simplesmente ARRASOU e conquistou o #1 no RTEB (Retrieval Embedding Benchmark) até o dia 17 de julho de 2026! Isso significa que ele é o rei da recuperação de informações. A avaliação rolou em 16 tarefas públicas, e os números são impressionantes (todos são média NDCG@10, com sequência de 4096 tokens).
Olha só a tabela pra vocês terem uma ideia do poder:
| Modelo | Params | Emb dim | RTEB | ViDoRe-V3 text | MMTEB (Retrieval) |
|---|---|---|---|---|---|
| Nemotron-3-Embed-8B-BF16 | ~8B | 4096 | 78.46 | 60.60 | 75.45 |
| Nemotron-3-Embed-1B-BF16 | 1.14B | 2048 | 72.38 | 57.74 | 71.04 |
| Nemotron-3-Embed-1B-NVFP4 | 1.14B | 2048 | 72.00 | — | — |
| llama-nemotron-embed-vl-1b-v2 | — | — | 61.98 | 52.54 | 59.71 |
| llama-nemotron-embed-1b-v2 | — | — | 60.47 | 52.10 | 59.58 |
Repararam na diferença? O modelo 1B ganha uns bons 10.4 pontos RTEB comparado ao modelo da geração anterior (llama-nemotron-embed-vl-1b-v2). E a versão NVFP4? Perdeu só 0.38 pontos RTEB em relação à BF16 – uma retenção de 99.5%! Praticamente nada pela performance extra!
A Receita Secreta: Como o Modelo 1B Foi Criado?
Por trás desses scores incríveis dos modelos 1B, não tem um treinamento do zero, mas sim uma "receita" de compressão super inteligente! O modelo original de 3B foi primeiro "emagrecido" para 2B usando uma técnica de "poda" chamada NVIDIA ModelOpt mcore_minitron Neural Architecture Search (NAS). Eles buscaram a melhor arquitetura, testando vários tamanhos e profundidades.
Depois, esse modelo de 2B foi "destilado" do modelo 8B (pense no 8B como o professor e o 2B como o aluno aprendendo tudo!). Essa destilação combinou duas métricas: cosine distance loss (COS) e mean squared error (MSE). Tudo isso com uma mistura de dados multilíngues e "in-domain"! O mesmo processo foi repetido para chegar ao nosso campeão de 1.14B.
O Equilíbrio NVFP4: Performance vs. Precisão
A busca por mais performance não para por aí! A compressão continua na hora de "servir" o modelo, usando a quantização para o formato NVFP4. A equipe de pesquisa da NVIDIA usou o nvidia-modelopt v0.45.0 e aplicou uma técnica chamada Quantization-Aware Distillation (QAD), principalmente para recuperar a precisão em entradas de texto mais longas.
E o resultado? A NVIDIA relata que o NVFP4 na arquitetura Blackwell pode entregar até 2x MAIS throughput (capacidade de processamento) que o BF16, mantendo mais de 99% da precisão de recuperação do BF16! É muita eficiência!
E tem mais! O modelo NVFP4 também permite tamanhos de embedding dinâmicos. Ou seja, você pode "cortar" o vetor de 2048 dimensões para 1024 ou 512, re-normalizando depois. Flexibilidade pura para adaptar o modelo às suas necessidades de performance e custo.
Por Dentro da Magia: Como Funciona o Retrieval
Antes de botar a mão na massa com código, que tal ver essa mágica em ação? Tem um explicador interativo (que você pode conferir na página original da NVIDIA) que mostra passo a passo como o Nemotron 3 Embed transforma texto em resultados de busca.
Ele anima as cinco etapas do processo: prefixação, codificação bidirecional, average pooling, normalização L2 e a pontuação por produto escalar. É a NVIDIA mostrando os bastidores do seu poder!
(O conteúdo do iframe abaixo é um demonstrativo interativo e não necessita de tradução ou reescrita, ele deve ser incorporado como está.)
Matriz de Implementação: Onde Rodar Cada um?
Como a gente viu, cada modelo tem seu "caminho" ideal para rodar, dependendo do que você precisa. Dá uma olhada na matriz para entender melhor:
| Feature | 8B-BF16 | 1B-BF16 | 1B-NVFP4 |
|---|---|---|---|
| Transformers / Sentence Transformers | Sim | Sim | Não |
vLLM para /v2/embed | 0.25.0 | 0.25.0 | 0.25.0 |
| Microarquiteturas | Ampere, Hopper, Blackwell | Ampere, Hopper, Blackwell | Ampere, Hopper, Lovelace, Blackwell |
| Hardware de Teste | A100 80GB, H100 80GB | A100 80GB, H100 80GB | GB200, RTX 6000 PRO, A100, H100, L40, L4 |
| Dados de Treinamento | 50M+ amostras | 8.5M+ (destilação) | 20k (QAD) |
Além dos modelos, a NVIDIA também lançou um microsserviço NIM otimizado para o modelo 1B. Esse serviço, baseado em Rust, se iguala ou até supera o vLLM em placas como a GB200 e RTX PRO 6000! E pra quem gosta de personalizar, as "receitas" do NVIDIA NeMo AutoModel permitem fazer fine-tuning e destilação.
Mão na Massa: Usando o Nemotron 3 Embed no Código!
Beleza, Lucas, mas como eu uso isso no meu projeto? É mais fácil do que parece!
Primeiro, lembre-se dos prefixos: query: para as suas perguntas e passage: para os documentos. Como os embeddings são normalizados em L2, o produto escalar é igual à similaridade de cosseno – o que simplifica um monte de coisa!
Olha o exemplo de como é simples usar com SentenceTransformer (você nem precisa adicionar os prefixos na mão!):
python
pip install –upgrade "transformers>=5.2.0" "sentence-transformers>=5.4.1"
import torch
from sentence_transformers import SentenceTransformer
QUERIES = ["How can someone reduce exposure to pollen during allergy season?"]
DOCUMENTS = ["People with pollen allergy can reduce exposure by staying indoors "
"on dry, windy days, avoiding early-morning outdoor activity, and "
"going outside after rain when pollen levels are lower."]
model = SentenceTransformer(
"nvidia/Nemotron-3-Embed-8B-BF16",
device="cuda",
model_kwargs={"dtype": torch.bfloat16,
use "sdpa" if FlashAttention-2 is unavailable
"attn_implementation": "flash_attention_2"},
processor_kwargs={"padding_side": "left"},)
model.max_seq_length = 32768
q = model.encode_query(QUERIES, batch_size=1, convert_to_tensor=True)
d = model.encode_document(DOCUMENTS, batch_size=1, convert_to_tensor=True)
print(model.similarity(q, d)) # card’s published q[3]/d[3] score: 0.8008
E para servir o modelo com vLLM, a coisa fica assim. Primeiro, você inicia o servidor:
bash
vllm serve nvidia/Nemotron-3-Embed-1B-NVFP4 \
–max-model-len 4096 \
–max-num-batched-tokens 4096 \
–max-cudagraph-capture-size 4096
Depois, faz a chamada em Python, e o input_type já se encarrega dos prefixos:
python
import numpy as np, requests
def embed(input_type: str, texts: list[str]) -> np.ndarray:
r = requests.post(
"http://localhost:8000/v2/embed",
json={"model": "nvidia/Nemotron-3-Embed-1B-NVFP4",
"input_type": input_type, # "query" or "document"
"texts": texts,
"embedding_types": ["float"],
"truncate": "END"},
timeout=120,
)
r.raise_for_status()
return np.array(r.json()["embeddings"]["float"], dtype=np.float32)
scores = embed("query", QUERIES) @ embed("document", DOCUMENTS).T
Casos de Uso na Vida Real: Onde o Nemotron Brilha?
Tá pensando onde tudo isso se encaixa na sua vida tech? Se liga nesses exemplos:
- Busca Empresarial Multilíngue: Imagina um time de suporte onde tickets em Hindi, Japonês e Inglês são indexados juntos. Graças à capacidade cross-lingual, uma pergunta em Alemão pode trazer uma solução em Japonês! Sem barreiras de idioma!
- Recuperação de Código: O Nemotron 3 Embed foi treinado com bases de código (
coir_apps,coir_cosqa,synthetic_text2sqle SWE-bench)! Isso significa que você pode fazer perguntas em linguagem natural ("como faço para ordenar uma lista em Python?") e ele te retorna o código mais relevante. Adeus, horas no Stack Overflow! - Memória para Agentes de IA: Com o limite de 32.768 tokens, seu agente de IA pode "memorizar" e embeddar resumos de conversas super longas sem precisar picotar tudo em pedacinhos. Mais contexto, menos perda de informação e interações mais naturais!
- RAG com Níveis de Custo: Quer otimizar recursos? Use o
1B-NVFP4para grandes volumes de busca (é mais barato e rápido!) e direcione as consultas mais complexas e que exigem alta precisão para o8B. A única ressalva é que você precisará de dois índices, já que as dimensões dos embeddings são diferentes.
Os Pontos Chave para Lembrar!
Pra fechar, vamos relembrar os pontos mais importantes dessa super novidade da NVIDIA:
- O
Nemotron-3-Embed-8B-BF16é o #1 no RTEB com uma média de 78.46 NDCG@10. Um arraso! - Temos três checkpoints abertos para escolher: 8B BF16, 1B BF16 e 1B NVFP4.
- O NVFP4 mantém mais de 99% da precisão do BF16 e ainda dobra o throughput na Blackwell. É muita eficiência!
- O modelo 1B foi criado com "poda" NAS do ModelOpt e "destilação" COS+MSE do 8B. Engenharia de ponta!
- Todos os modelos usam a licença OpenMDW-1.1 e suportam entradas de até 32.768 tokens. Flexibilidade e poder!
Você pode conferir mais detalhes no post de lançamento da NVIDIA no Hugging Face, na coleção completa do Nemotron 3 Embed e nas páginas individuais dos modelos (8B-BF16, 1B-BF16 e 1B-NVFP4).
Fiquem ligados para mais novidades, e não esqueçam de me seguir nas redes sociais e entrar para a comunidade!
Minha Visão
Gente, a NVIDIA está realmente empurrando os limites da IA para o próximo nível com o Nemotron 3 Embed! Para nós, entusiastas e desenvolvedores, isso significa acesso a ferramentas de ponta que eram exclusivas de grandes laboratórios ou exigiam um esforço imenso para serem otimizadas. A combinação de alta precisão do 8B com a eficiência do 1B-NVFP4 abre um leque GIGANTE de possibilidades para criar IAs mais inteligentes, responsivas e, acima de tudo, acessíveis. É a democratização de modelos de embedding de altíssima qualidade. Mal posso esperar pra ver o que a comunidade vai criar com isso!
E aí, o que vocês acharam dessa novidade da NVIDIA? Já estão pensando em algum projeto para usar o Nemotron 3 Embed? Compartilhem suas ideias nos comentários! Bora inovar juntos!
Referência: Matéria Original
