A inteligência artificial generativa finalmente encontra seu lugar ideal, afirma principal cientista da Databricks.

Se você remover todos os termos da moda sobre inteligência artificial corporativa, como “IA agente”, a realidade é que as empresas estão aprendendo na prática o que funciona enquanto experimentam essa tecnologia, de acordo com a gigante de ferramentas de dados Databricks.

Em um nível básico, a IA generativa, como os grandes modelos de linguagem, está possibilitando um novo tipo de análise empresarial, afirmou Frankle. Dados não estruturados, como arquivos do Word, imagens ou vídeos, não tinham espaço na análise de dados tradicional antes da IA generativa. Mas agora, esses dados são considerados um verdadeiro tesouro.

“Imagine a quantidade enorme de documentos não estruturados, que eram muito difíceis de analisar em um mundo pré-IAG ou pré-modelos de linguagem, e de repente você consegue extrair características significativas deles”, explicou. “Dados que eram inúteis em um mundo analítico agora têm um valor incrível aqui.”

Embora muitas pessoas se concentrem na IA generativa substituindo o código de programação real, uma aplicação mais simples seria simplesmente analisar o código de uma empresa. “Toda a documentação de todo o código da sua empresa” não era “realmente útil como fonte de dados em 2015, mas, em 2025, será incrivelmente valiosa […] apenas para responder perguntas sobre seu código para os desenvolvedores.”

Da mesma forma, “Você pode imaginar cada registro de conversa de uma aplicação de atendimento ao cliente com humanos reais, fazendo análises em alto nível sobre isso. Qual é o número médio de interações em uma conversa? Qual é o tempo médio para resolver um problema? Questões que não teriam sido possíveis há dez anos.”

O papel dos dados é central no desenvolvimento de aplicativos de IA generativa, segundo Frankle. Ele se juntou à Databricks quando a empresa adquiriu a startup de aprendizado de máquina na qual trabalhava, a MosaicML, em 2023. Enquanto a MosaicML se concentra em otimizar a infraestrutura para execução de IA, a Databricks é um dos principais fornecedores de data lakes e tecnologia para mover e moldar dados.

“A tese inteira para a aquisição era que nós tínhamos uma parte, a Databricks tinha muitas outras, e fazia muito mais sentido juntos”, disse Frankle. “Você está tentando implantar um bot de atendimento ao cliente de IA. De que dados esse bot de atendimento ao cliente está se utilizando?” Frankle explicou. “Ele está utilizando informações dos clientes, está usando sua documentação, está acessando seus bancos de dados SQL. Todo esse material está na Databricks.”

Ter os dados reunidos na Databricks é o primeiro passo para criar os novos tipos de análises que Frankle menciona. Embora os modelos de linguagem possam utilizar uma grande quantidade de dados não estruturados, não custa nada organizar os dados de uma empresa em algum tipo de estrutura beforehand.

“Se você fez o trabalho antecipadamente de usar um modelo de linguagem para pré-processar esses dados em algum tipo de formato estruturado, como SQL ou JSON, você está pedindo menos esforço da IA – você deve sempre tentar tornar as coisas o mais fáceis possível para a IA, pois esses sistemas certamente não são infalíveis.”

Um passo preparatório importante é converter os dados em algo chamado “embeddings”. Um “modelo de embedding” é um modelo de IA usado para transformar caracteres, palavras ou frases em um vetor – um grupo de números – que captura parte do conteúdo semântico desses caracteres, palavras ou frases.

Você pode pensar nos embeddings como pontuações numéricas que representam a relação entre os termos, como “maçã” e “fruta” ou “bebê” e “humano.” Modelos de linguagem simples, mesmo os relativamente pequenos, como o BERT do Google, de 2018, podem ser usados para criar embeddings. “Você não precisa de modelos enormes para obter ótimos embeddings”, disse Frankle.

Muitos modelos de embedding foram desenvolvidos na comunidade de código aberto, observou Frankle, adaptando o modelo Llama da Meta Platforms por meio do processo conhecido como fine-tuning. No entanto, “Você pode precisar treinar um modelo de embedding personalizado”, dado que os existentes são “baseados em dados da web”, tornando-os muito gerais. Em domínios específicos, como a saúde, por exemplo, um modelo de embedding personalizado pode encontrar relações entre palavras e frases melhor do que um modelo de embedding genérico.

“Estamos descobrindo que personalizar os modelos de embedding pode levar a melhorias desproporcionais na recuperação”, disse Frankle. “Acreditamos que ainda há muito a ser explorado apenas tornando-os [os modelos de embedding] mais específicos para um domínio.” Um bem-desenvolvido modelo de embedding é extremamente importante porque “eles facilitam o trabalho pesado que é realizado [pelo modelo de linguagem grande]”, afirmou.

Vários modelos de embedding também podem ser conectados, disse Frankle. Isso pode permitir que um modelo de IA utilizado em, por exemplo, busca de documentos, reduza de um grande grupo de cem documentos para apenas alguns que respondem a uma consulta. Além de ajustar um modelo de embedding, como os dados são alimentados nesse modelo é uma área de excelência própria. “Quando você fornece esses documentos a um modelo de embedding, geralmente não quer fornecer o documento inteiro de uma vez”, disse ele.

“Você muitas vezes quer dividi-lo em partes”, e a forma ideal de fazer isso também é uma questão de experimentar e tentar abordagens. Frankle acrescentou que a Databricks está “pesquisando todos esses tópicos porque, em muitos casos, não acreditamos que o estado da arte seja bom o suficiente”, incluindo embeddings. Enquanto muito pode ser “plug and play” por meio da Databricks, diz Frankle, “a parte mais complicada ainda é que há muita experimentação. Há muitos botões que precisam ser ajustados. Você deve fazer fine-tuning, ou não deve? Quantos documentos você deve tentar recuperar e colocar em contexto? Qual é o tamanho dos pedaços?”

Além das técnicas, saber quais aplicativos desenvolver é uma jornada e, de certa forma, uma expedição de pesca. “Acho que a parte mais difícil em IA é ter confiança de que isso funcionará”, disse Frankle. “Se você vem até mim e diz: ‘Aqui está um problema na área da saúde, aqui estão os documentos que tenho, você acha que a IA pode fazer isso?’ minha resposta seria: ‘Vamos descobrir.'”

A partir do que Frankle está observando com os clientes, “As aplicações que estão entrando em prática agora tendem a buscar coisas que são um pouco mais abertas”, disse ele – ou seja, o que o modelo de IA produz pode ser impreciso, não necessariamente específico. “IA é ótima em produzir uma resposta, mas nem sempre é boa em produzir a resposta correta”, observou.

“Com a IA, você pode fazer coisas imprecisas, você pode fazer entendimento de documentos de maneiras que eu nunca poderia programar em Python”, explicou Frankle. “Eu também procuro por aplicações onde é relativamente caro chegar a uma resposta, mas relativamente barato verificar a resposta.” Um exemplo é a geração automática de notas textuais para um médico a partir de gravações de exames de pacientes. “Um conjunto preliminar de anotações dos pacientes pode ser gerado, eles [o médico ou assistente] podem verificar, ajustar algumas coisas e dar por encerrado.” Essa é uma maneira útil de eliminar a tediosidade, disse ele.

Por outro lado, “Aplicações onde você precisa da resposta certa, e elas são difíceis de verificar” podem ser algo a se evitar por enquanto. Ele deu o exemplo de redigir um documento legal. “Se a IA deixar passar algo, o humano agora precisa revisar todo o documento para garantir que não deixou nada passar. Então, qual foi o ponto de usar a IA?” Frankle observou.

Por outro lado, há muito potencial para a IA realizar tarefas repetitivas para advogados e paralegais e, como resultado, ampliar o acesso que as pessoas têm a advogados. “Suponha que a IA pudesse automatizar algumas das tarefas legais mais entediantes que existem?” sugeriu Frankle, cujos pais são advogados. “Se você quisesse que a IA o ajudasse a fazer pesquisas jurídicas, ajudar a pensar em como resolver um problema ou ajudar a encontrar materiais relevantes – seria fenomenal!”

“Estamos ainda nos primeiros dias” da IA generativa, “e assim, de certo modo, estamos nos beneficiando das forças, mas ainda estamos aprendendo a mitigar as fraquezas.”

Em meio à incerteza, Frankle fica impressionado com a rapidez com que os clientes têm atravessado a curva de aprendizado. “Há dois ou três anos, havia uma quantidade significativa de explicações para os clientes sobre o que era IA generativa”, observou. “Agora, quando falo com os clientes, eles estão usando bancos de dados vetoriais.”

“Essas pessoas têm uma ótima intuição sobre onde essas coisas estão tendo sucesso e onde não estão”, disse ele sobre os clientes da Databricks. Dado que nenhuma empresa possui um orçamento ilimitado, Frankle aconselhou a começar com um protótipo inicial, de forma que o investimento prossiga apenas na medida em que fique claro que um aplicativo de IA oferecerá valor.

“Deveria ser algo que você pode montar em um dia usando o GPT-4 e uma quantidade limitada de documentos que você já possui”, sugeriu. O desenvolvedor pode envolver “algumas pessoas aleatórias de toda a empresa que podem te dizer se você está no caminho certo ou não.” Para os gerentes, Frankle recomenda que a exploração da IA generativa se torne parte regular do trabalho.

“As pessoas estão motivadas”, observou ele, referindo-se aos cientistas de dados. “Isso é ainda menos sobre o dinheiro e mais sobre simplesmente dar-lhes tempo e dizer, como parte de suas responsabilidades de trabalho, tire algumas semanas, faça um hackathon de dois dias e veja o que consegue fazer. Isso é realmente emocionante para as pessoas.” O lema na IA generativa empresarial poderia ser: de pequenos frutos crescem grandes carvalhos. Como Frankle colocou, “A pessoa que tem uma GPU no porão e está brincando com Llama é, na verdade, muito sofisticada e pode ser o especialista em IA generativa do futuro.”

Fonte: https://www.databricks.com/blog/2023/10/15/learning-curve-ai-generative-applications.html