NVIDIA: O cérebro das GPUs agora é aberto. Sua IA nunca mais será a mesma!

NVIDIA Libera o Poder do Run:ai como Open Source: Suas GPUs NUNCA MAIS SERÃO AS MESMAS!

Olá, pessoal! Aqui é o Lucas Tech, e hoje trago uma notícia que vai fazer o coração de todo desenvolvedor e entusiasta de IA bater mais forte! A NVIDIA, a gigante por trás das nossas amadas GPUs, acaba de fazer um movimento GIGANTE que pode revolucionar a forma como gerenciamos e otimizamos cargas de trabalho de Inteligência Artificial. Eles liberaram a plataforma NVIDIA Run:ai como software de código aberto! Isso mesmo, o código-fonte está disponível para todo mundo no GitHub. Prepare-se para mergulhar nessa, porque suas GPUs estão prestes a ganhar um novo nível de liberdade e eficiência!

Um Resumão Rápido (TL;DR)

Pra quem tá com pressa, se liga nos pontos-chave dessa novidade:

  • Tamanho: É um monorepo completíssimo, com control plane, serviços de cluster, instalador, CLI e servidor MCP. Só pra builds locais, são uns 50 serviços Go!
  • Onde Roda: Em clusters Kubernetes ou OpenShift que tenham GPUs NVIDIA. Pra quem quer testar localmente, dá pra rodar no macOS ou Linux com 8 GPUs Tesla-A10 simuladas – ou seja, nem precisa ter uma GPU de verdade pra começar!
  • Performance: A NVIDIA não divulgou benchmarks de performance da plataforma em si para essa versão open source.
  • O Lado BOM: Um projeto relacionado, o Model Streamer, conseguiu carregar modelos de 3 a 6 vezes mais rápido em 8 VMs NVIDIA H100 no Azure. É performance de tirar o chapéu!
  • O Lado Nem Tão BOM: A edição comunitária não vem com suporte empresarial da NVIDIA. E pra quem for fazer builds locais no Linux, prepare-se: você vai precisar de 16 GB de RAM e 100 GB de espaço em disco.

Mas Afinal, o Que é o NVIDIA Run:ai?

Imagina um maestro que organiza perfeitamente todos os instrumentos de uma orquestra para tirar o melhor som possível. O NVIDIA Run:ai é basicamente isso, mas para suas cargas de trabalho de IA e suas GPUs dentro do Kubernetes. É uma plataforma de orquestração que gerencia o agendamento de tarefas de desenvolvimento, treinamento e inferência de IA em clusters de GPU compartilhados.

Ele não substitui o Kubernetes; ele se senta em cima dele, adicionando uma camada inteligente de gerenciamento de recursos. Pense nele como uma extensão superpoderosa para o seu cluster, focada em extrair o máximo das suas GPUs.

O "control plane" dele lida com a submissão de cargas de trabalho, gerenciamento de recursos e monitoramento. Já os "cluster services" rodam em cada cluster Kubernetes e adicionam um agendamento inteligente que sabe tudo sobre suas GPUs. Você pode interagir com ele através de uma interface web super intuitiva, linha de comando (CLI), API REST e até um servidor MCP para assistentes de IA!

Os Quatro Componentes Modulares: Adote o Que Precisar!

A NVIDIA pensou alto e dividiu a plataforma Run:ai em quatro componentes que você pode adotar independentemente. Isso é sensacional para quem quer flexibilidade! Se liga:

  • KAI Scheduler: Este é o coração do agendamento, nativo do Kubernetes. Ele é Apache 2.0 e já é um projeto CNCF Sandbox (ou seja, tem o selo de qualidade da comunidade!). Ele faz agendamento em lote (gang scheduling), fair-share baseado em tempo, reconhecimento de topologia, bin-packing e suporta DRA. Em outras palavras, ele é super inteligente para decidir onde e como suas cargas de trabalho rodarão nas GPUs disponíveis.
  • GPU Fractioning Operator: Essa é uma das minhas partes favoritas! Ele traz o fracionamento de GPU nativo do CUDA 13.4 para o Kubernetes. Isso significa que você pode dividir uma GPU em várias "fatias" virtuais, e o driver CUDA garante que cada carga de trabalho receba seu limite de memória exato, sem invadir o espaço do outro. A NVIDIA aposentou sua abordagem proprietária antiga para abraçar essa aqui, que é mais aberta e flexível.
  • KAI Resource Management: Gerenciar recursos em equipes grandes pode ser um caos, né? Este componente adiciona a capacidade de criar projetos, departamentos, cotas e pools de nós. Com ele, você pode, por exemplo, garantir 50% de um cluster para um time de pesquisa, enquanto o resto é compartilhado. Um controle de acesso e alocação de recursos que faz toda a diferença!
  • Workload Map: É uma biblioteca Go super útil que descreve diferentes tipos de cargas de trabalho, como PyTorchJob, RayCluster e serviços KServe. Ele funciona offline e não se mete no agendamento, fila ou autoescalonamento, mas ajuda a entender e padronizar como suas aplicações de IA são definidas.

Como Testar o NVIDIA Run:ai no Seu PC (Localmente)?

A parte mais legal para nós, desenvolvedores que gostam de pôr a mão na massa! O guia de desenvolvimento local mostra que é super fácil começar, basicamente com um script: o local-dev.sh.

Esse script faz a mágica acontecer:

  1. Ele compila cerca de 50 serviços Go diretamente do código-fonte, tudo dentro de contêineres.
  2. Depois, ele cria um cluster Kind (um Kubernetes dentro do Docker) de 5 nós, fixado no Kubernetes v1.32.5.
  3. E a cereja do bolo: um operador de GPU falso simula 8 GPUs Tesla-A10! Ou seja, você não precisa de hardware de GPU real para começar a brincar!

Requisitos para Rodar Localmente:

  • Sistemas Suportados: macOS ou Linux, em arquiteturas amd64 ou arm64. (Windows, sinto muito, ficou de fora dessa).
  • Para Hosts Linux: Você vai precisar de 4 CPUs, 16 GB de RAM e 100 GB de disco livre.
  • Para VMs Podman no macOS: No mínimo 12 GB de RAM.
  • Cuidado com o Espaço: Uma build completa pode deixar uns 44 GB de caches pra trás!

Se você tiver GPUs NVIDIA de verdade e quiser usar (apenas Linux + Docker e o NVIDIA Container Toolkit), é só ativar a flag --gpu-operator. Infelizmente, GPUs AMD e Intel não são suportadas neste modo.

E na Produção? Como Implantar o Run:ai?

Para as equipes que querem levar o Run:ai para um ambiente de produção, há duas formas principais:

  1. Do Código-Fonte ou Helm Chart: Você pode implantar diretamente do código-fonte ou usar o Helm chart disponível no NGC Community Product. Essa edição não exige assinatura paga, mas lembre-se: ela exclui o suporte empresarial da NVIDIA.
  2. Parceiros do Ecossistema DSX: Diversas empresas já estão integrando o Run:ai em suas soluções. São 8 parceiros do ecossistema DSX: Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud e vCluster.
  3. Edições Comerciais: As edições comerciais continuam disponíveis através do NVIDIA AI Enterprise, NVIDIA Mission Control e em alguns marketplaces de nuvem selecionados, se você precisar de suporte e funcionalidades adicionais.

Além do Run:ai em si, a NVIDIA também mencionou dois projetos adjacentes que arredondam a experiência:

  • Model Streamer: Esse cara é demais! Ele carrega os pesos dos modelos diretamente na memória da GPU, agilizando muito o processo. Um benchmark publicado pela Microsoft, usando 8 VMs NVIDIA H100, mostrou que ele é de 3 a 6 vezes mais rápido que o carregador padrão, mantendo uma taxa de transferência de 80 Gbps (contra 40 Gbps no caminho padrão).
  • Grove: Para quem trabalha com inferência multicomponente, o Grove orquestra essas cargas de trabalho, garantindo que componentes como prefill e decode iniciem como unidades "tudo ou nada".

Minha Visão

Gente, essa jogada da NVIDIA é um game-changer para o ecossistema de Inteligência Artificial! Ao abrir o código do Run:ai, eles estão não só democratizando o acesso a tecnologias de ponta para gerenciamento de GPUs, mas também convidando a comunidade para inovar junto. Isso significa mais poder nas mãos dos desenvolvedores para otimizar seus recursos, acelerar seus experimentos e, no fim das contas, construir soluções de IA ainda mais incríveis.

Eu acredito que essa decisão vai acelerar a inovação de uma forma que a gente ainda nem consegue imaginar. É a comunidade de IA ganhando mais ferramentas poderosas para superar desafios complexos e levar a inteligência artificial para novos patamares. Estou ansioso pra ver as soluções incríveis que vão surgir a partir disso!

E você, o que achou dessa novidade? Já pensa em usar o Run:ai nos seus projetos? Conta pra mim nos comentários!

Referência: Matéria Original

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima
Tutorial Elevenlabs