Uma das conferências anuais mais significativas na área da inteligência artificial começa nesta semana em Cingapura: a Conferência Internacional sobre Representações de Aprendizado. Como de costume, a gigante dos chips Nvidia teve uma presença marcante no evento, apresentando mais de 70 trabalhos de pesquisa de sua equipe.
Os temas abordados nos artigos vão desde a geração de música até a criação de vídeos com realismo tridimensional, passando por tarefas de treinamento de robôs e a capacidade de gerar múltiplos modelos de linguagem de grande porte com apenas um clique.
“Muitas pessoas costumam ver a Nvidia apenas como uma fabricante de chips que cria componentes excepcionais, e é claro que temos orgulho disso”, comentou Bryan Catanzaro, chefe da pesquisa em aprendizado profundo aplicado da Nvidia, em entrevista. “Mas a parte que considero mais relevante é que, para fabricarmos esses chips incríveis, precisamos realizar pesquisas como estas, pois elas nos ensinam a desenvolver todos esses sistemas.”
Os artigos apresentados esta semana, a maioria publicada no último ano no servidor de pré-impressão arXiv, variam de investigações puras a programas que oferecem ferramentas prontamente utilizáveis. Por exemplo, um projeto chamado LLaMaFlex aprimora a tarefa de gerar vários modelos de linguagem de uma única fonte. Hoje, é comum “destilar” um único e muito grande modelo de linguagem em “modelos estudantes” que herdam a capacidade do “professor”, mas ocupam menos espaço de armazenamento.
Pesquisadores da Nvidia, liderados por Ruisi Cai, notaram que o método de destilação poderia ser aprimorado usando o que denominam “pré-treinamento elástico”. Pegando um grande modelo de linguagem pré-treinado — neste caso, o Llama 3.18B da Meta Platforms — eles adicionaram uma fase de treinamento com 60 bilhões de novos tokens. O resultado foi chamado de “roteador”, um algoritmo capaz de gerar automaticamente qualquer número de modelos de linguagem de tamanhos diferentes quase instantaneamente.
Na categoria de programas mais concretos, o Fugatto 1 é um “modelo base” para síntese de áudio, um modelo de IA que pode lidar com qualquer combinação de instruções textuais e clipes sonoros, transformando o áudio de acordo com as orientações recebidas. “Estou realmente animado com o Fugatto”, afirmou Catanzaro.
Por exemplo, o Fugatto pode gerar um som sob demanda, como o miado de um gato. Ele pode desmembrar um fragmento de música para reproduzir cada vocalista separadamente ou combinar o som de água corrente com o de uma guitarra clássica, criando um som híbrido que é uma mistura dos dois.
A rede neural do Fugatto foi desenvolvida no Google em 2022 e opera em “espectrogramas”, que são sons representados como padrões de onda. A contribuição original da equipe de Rafael Valle da Nvidia foi um novo conjunto de dados e um regime de treinamento que ensina o modelo a lidar com comandos textuais complexos.
Projetos da Nvidia como o Fugatto se baseiam em muitas inovações anteriores, assim como qualquer laboratório de pesquisa. Um dos aspectos importantes que destacam os artigos de pesquisa da Nvidia é que eles tendem a fornecer mais detalhes técnicos sobre as implementações de hardware usadas nas investigações, ao contrário de outros laboratórios que frequentemente omitem essas informações.
Pesquisas como a LLaMaFlex e Fugatto cumprem múltiplas funções. Elas enfatizam as inúmeras maneiras como os chips da Nvidia podem ser utilizados, o que sempre ajuda a promover as capacidades desses componentes. Além disso, mantêm a Nvidia envolvida no que há de mais avançado em inteligência artificial, o que pode informar o desenvolvimento de seus chips. Também ajudam a atrair talentos ao mostrar projetos que podem receber prêmios e reconhecimento entre pares.
E demonstram como a potência bruta dos chips da Nvidia desempenha um papel crucial na área de inteligência artificial. A “aceleração” da IA é uma narrativa que não é tão conhecida quanto deveria, disse Catanzaro. “Acredito que muito do progresso em IA nos últimos 15 anos foi realmente impulsionado pela aceleração”, afirmou.
Consulte todas as publicações de pesquisa da Nvidia no principal site de pesquisa.
Referência: Elyse Betters Picaro / ZDNET
Posts relacionados:
Nvidia enfrentará custos de US$ 5,5 bilhões após decisão dos EUA sobre chips destinados à China
Nvidia se destaca em benchmarks de IA generativa, superando dois chips de IA concorrentes.
Os mais recentes projetos da Adobe estão recheados de agentes de IA – uma prévia exclusiva
Google se une a OpenAI na adoção do protocolo da Anthropic para conectar agentes de IA – a importância disso
