Mirendil Lança 1º Modelo: 10M de Contexto!

Esqueça o que você sabe sobre IA: Mirendil Fern Chega para Devorar MILHÕES de Linhas de Código!

Olá, pessoal! Aqui é o Lucas Tech, e hoje a gente vai mergulhar em uma novidade que tá fazendo um barulho ENORME no mundo da inteligência artificial! Preparados para conhecer a Fern?

Imagine uma IA que consegue "ler" um projeto de software INTEIRO de uma vez, do começo ao fim, sem perder o contexto. Pois é, a Mirendil, um laboratório de P&D de IA que chegou para agitar o mercado, acaba de lançar o Fern, o seu primeiro modelo de IA, e ele promete exatamente isso! Com uma janela de contexto simplesmente GIGANTESCA de até 10 milhões de tokens, a Fern não é só mais uma IA; ela é uma ferramenta pensada para revolucionar o trabalho com código. É tipo ter um superprogramador que absorve 23 MB de código, ou umas quinhentas mil linhas, na cabeça de uma só vez! Sério, isso é o equivalente a um projeto do tamanho do Megatron-LM todo carregado de uma vez na memória dela. Que loucura, né?

O Que é a Fern, Afinal?

Pra você que tá com pressa (eu sei como é!), aqui vai o resumo dos pontos principais e o que essa belezinha faz:

Tamanho: Entre 0.1 e 0.5 trilhão de parâmetros (a Mirendil não abriu o número exato, mas já dá pra ter uma ideia da dimensão, né?). O mais impressionante é a janela de contexto de até 10 milhões de tokens!
Disponibilidade: Por enquanto, só em acesso antecipado hospedado. Sem pesos abertos (open weights) ou versões quantizadas anunciadas. Então, por enquanto, é preciso pedir acesso para testar essa fera.
Performance Geral: Ela manda super bem na recuperação de informações em contextos longos, fica na média em codificação de agentes comparada a modelos de pesos abertos, mas ainda está atrás dos "modelos de fronteira" mais avançados.
Ponto Forte: Conseguiu 100% no teste de recuperação de "agulha única" do RULER em todas as extensões, de 32 mil até 10 milhões de tokens. Ou seja, se você esconder uma agulha num palheiro gigante, ela acha!
Ponto Fraco: Obteve 6.1% no Terminal Bench 4.0, enquanto o Claude Opus 5.5 da concorrência atingiu 66.4% na mesma tabela da Mirendil. Então, ainda tem chão em algumas áreas.

A grande sacada da Fern é que ela não é mais uma IA de bate-papo genérica (nada contra, mas já temos muitas!). Ela foi criada pensando EXCLUSIVAMENTE em P&D de IA. A Mirendil listou 6 usos principais para ela:

Trabalhar com bases de código gigantescas.
Codificação "agentic": IAs que rodam comandos e ajustam o código até os testes passarem.
Código de pesquisa: como loops de treinamento, pipelines de dados e avaliações.
Depuração de erros em processos de treinamento a partir de logs extensos e stack traces.
Analisar rastros completos de agentes ou treinamentos, de ponta a ponta.
Auditar fragmentos de pré-treinamento para identificar duplicatas, contaminação e lixo.

Como a Fern Ganhou Vida?

Mas como algo tão avançado surgiu? A história é curiosa: a Fern foi construída a partir do Mirendil-Base, um modelo que, pasmem, foi pré-treinado por UM pesquisador em apenas 3.5 meses! E o custo total de computação? Menos de 10 milhões de dólares, incluindo experimentos, gastos com tokens de agentes e processamento de dados. O mais impressionante é que agentes de IA escreveram mais de 99% do código! O pesquisador, nesse caso, atuou mais como um maestro, escolhendo o que testar e quando intervir.

Os dados de treinamento vieram APENAS de fontes públicas: GitHub, código público, páginas da web e conjuntos de dados públicos. A Mirendil garante que não usou destilação, dados sintéticos ou dados licenciados. E todo o código foi escrito do zero, usando PyTorch e JAX.

Ah, e a Fern é a menor de três modelos que a Mirendil planeja lançar. O Mirendil-Base-Large (com 0.5 a 2 trilhões de parâmetros) já está com mais de 80% do pré-treinamento concluído, e o Mirendil-Base-XL (2 a 10 trilhões de parâmetros) já passou dos 20%. Ou seja, vem coisa ainda mais gigante por aí!

Contexto Longo: É Pra Valer?

A Mirendil fez uns testes bem interessantes para ver se essa capacidade de contexto longo realmente faz diferença. Eles testaram a previsão do próximo token em seus próprios repositórios, combinados em um fluxo de 42.9 MB. Mediram a "cross-entropy" em bits por byte – quanto menor o número, melhor a previsão. E aqui, a janela é medida em bytes, não em tokens.

O resultado? A perda da Fern caiu de 0.246 (com uma janela de 32K bytes) para 0.155 (com 16M e 23M bytes). Enquanto isso, outros modelos foram avaliados até cerca de 1M de tokens, que é o limite divulgado por eles. Curiosamente, com uma janela de 1M de bytes, o Kimi-K3 fez 0.140, contra 0.165 da Fern. Então, a Fern não é a melhor preditora em igualdade de contexto. MAS, a grande vantagem dela é que a curva de aprendizado continua melhorando MUITO depois que os outros modelos já pararam. Sacou a diferença? Ela é feita para escalar!

Fern nos Testes: RULER Score!

O RULER é um benchmark padrão para testar a capacidade de contexto longo. A Mirendil rodou 5 tarefas do RULER no Mirendil-Base (o modelo antes do pós-treinamento) e os resultados são bem reveladores:

Tarefa RULER	32K	1M	4M	10M
Single needle (agulha única)	100	100	100	100
Multi-key retrieval	100	98	98	90
Multi-key, all needles	100	100	100	100
Variable tracking	100	95	75	100
Multi-hop QA (HotpotQA)	65	65	60	45

Como podemos ver, a capacidade de recuperação de informações da Fern se mantém super bem, com 100% em diversas tarefas. Porém, o raciocínio multi-hop (que exige mais "pensamento" e conexão de informações) caiu para 45% com 10M de tokens. Vale notar que cada célula de 10M usou apenas 20 exemplos, contra 100 nas outras, o que pode influenciar um pouco. A Mirendil prometeu divulgar mais resultados de contexto longo em breve!

Minha Visão

Pra mim, galera, a chegada da Mirendil Fern é mais do que apenas um novo modelo de IA. É um salto gigantesco na forma como interagimos com código e, principalmente, como pesquisamos e desenvolvemos novas IAs. A possibilidade de uma IA "entender" um repositório inteiro de código de uma vez muda TUDO. Pense na produtividade que isso pode trazer para desenvolvedores, para a depuração de erros complexos, ou para a criação de agentes de IA que realmente compreendam o contexto de um projeto.

Ela ainda tem seus desafios, como vimos em alguns benchmarks, mas o potencial de ter uma ferramenta que consegue "engolir" e processar quantidades tão massivas de informação contextualmente é simplesmente transformador. A Fern, mesmo sendo a menor, já aponta para um futuro onde as IAs não são apenas ferramentas de geração de código, mas verdadeiras parceiras que compreendem a arquitetura e a lógica por trás de sistemas inteiros. É o próximo nível da colaboração humano-IA!

E aí, o que vocês acharam dessa novidade?

Vocês acham que a Fern pode realmente revolucionar a forma como desenvolvemos software e pesquisamos IA? Deixem seus comentários aqui embaixo, quero saber a opinião de vocês!

Referência: Matéria Original