RAG pode aumentar os riscos e reduzir a confiabilidade dos modelos de IA, aponta nova pesquisa.

Retrieval-Augmented Generation (RAG) está se destacando rapidamente como uma estrutura eficaz para organizações que desejam aproveitar todo o potencial da inteligência artificial generativa com seus dados empresariais. À medida que as empresas buscam ir além das respostas genéricas da IA e utilizar suas bases de conhecimento exclusivas, o RAG atua como uma ponte entre as capacidades gerais da IA e a expertise específica de domínio. Centenas, talvez até milhares, de empresas já estão adotando serviços de IA RAG, e a adoção desse tipo de tecnologia está se acelerando à medida que ela avança.

Mas há também um aspecto negativo. Pesquisadores de IA da Bloomberg alertam que o RAG pode aumentar significativamente as chances de obter respostas perigosas. Antes de aprofundar os riscos, vamos entender melhor o que é RAG e quais são seus benefícios.

O que é RAG?

RAG é uma arquitetura de IA que combina as forças de modelos de IA generativa – como o GPT-4 da OpenAI, o LLaMA 3 da Meta ou o Gemma do Google – com informações provenientes dos registros da sua empresa. Essa abordagem permite que grandes modelos de linguagem (LLMs) acessem e raciocinem utilizando conhecimento externo armazenado em bases de dados, documentos e fluxos de dados internos em tempo real, em vez de depender apenas do conhecimento pré-treinado dos LLMs.

Quando um usuário faz uma consulta, o sistema RAG primeiro busca as informações mais relevantes de uma base de conhecimento organizada. Em seguida, alimenta essas informações, junto com a consulta original, ao LLM. Maxime Vermeir, diretor sênior de estratégia de IA da ABBYY, descreve o RAG como um sistema que possibilita gerar respostas não apenas com base em seus dados de treinamento, mas também com o conhecimento específico e atualizado que você fornece. Isso resulta em respostas mais precisas, relevantes e adaptadas ao contexto da sua empresa.

Por que usar RAG?

As vantagens de implementar o RAG são evidentes. Embora os LLMs sejam poderosos, eles carecem de informações específicas sobre os produtos, serviços e planos da sua empresa. Por exemplo, se sua empresa atua em um setor específico, seus documentos internos e conhecimentos proprietários são muito mais valiosos para se obter respostas do que as informações disponíveis em conjuntos de dados públicos.

Ao permitir que o LLM acesse seus dados empresariais reais – sejam eles PDFs, documentos do Word ou perguntas frequentes (FAQs) – no momento da consulta, você obtém respostas muito mais precisas e diretas. Além disso, o RAG reduz as alucinações. Isso ocorre porque ancla as respostas da IA em fontes de dados externas ou internas confiáveis. Quando um usuário faz uma consulta, o sistema RAG recupera informações relevantes de bancos de dados ou documentos organizados. Ele fornece esse contexto factual ao modelo de linguagem, que então gera uma resposta com base em seu treinamento e nas evidências recuperadas. Esse processo diminui a probabilidade de a IA criar informações fictícias, pois suas respostas podem ser rastreadas de volta a suas fontes internas.

Apesar dos benefícios do RAG, é importante notar que não é uma solução milagrosa. Se seus dados forem de má qualidade, a famosa expressão "garbage in, garbage out" se aplica perfeitamente. Um problema relacionado: se você possui dados desatualizados em seus arquivos, o RAG irá extrair essas informações e tratá-las como verdades absolutas. Isso pode rapidamente gerar uma série de dores de cabeça.

Além disso, a IA não é capaz de limpar todos os seus dados sozinha. Você precisará organizar seus arquivos, gerenciar os bancos de dados vetoriais do RAG e integrá-los aos seus LLMs antes que um LLM ativado por RAG se torne produtivo.

Os novos perigos do RAG

Pesquisadores da Bloomberg descobriram que o RAG pode, na verdade, tornar os modelos menos "seguros" e suas saídas menos confiáveis. Eles testaram 11 LLMs líderes, incluindo GPT-4, Claude-3.5-Sonnet e Llama-3-8 B, utilizando mais de 5.000 consultas prejudiciais. Modelos que rejeitavam consultas inseguras em configurações padrão (não RAG) geraram respostas problemáticas quando ativados com RAG.

Os pesquisadores constataram que, mesmo modelos "seguros", apresentaram um aumento de 15 a 30% em saídas inseguras com o RAG. Além disso, documentos mais longos recuperados estavam correlacionados com um maior risco, já que os LLMs enfrentavam dificuldades para priorizar a segurança. De fato, a Bloomberg relatou que até mesmo modelos considerados muito seguros, que se recusavam a responder quase todas as consultas prejudiciais no modo não RAG, tornaram-se mais vulneráveis nessa configuração.

Que tipo de resultados "problemáticos"? A Bloomberg, como esperado, examinou resultados financeiros. Eles observaram que a IA vazava dados sensíveis de clientes, criava análises de mercado enganosas e produzia conselhos de investimento tendenciosos. Além disso, os modelos ativados por RAG eram mais propensos a gerar respostas perigosas que poderiam ser utilizadas com malware e campanhas políticas.

Em resumo, como Amanda Stent, chefe de estratégia e pesquisa em IA da Bloomberg, explicou: "Essa descoberta contraintuitiva tem implicações profundas, considerando o uso ubiquito do RAG em aplicações de IA generativa, como agentes de suporte ao cliente e sistemas de perguntas e respostas. O usuário médio da internet interage com sistemas baseados em RAG diariamente. Profissionais de IA precisam ser cuidadosos sobre como usar o RAG de forma responsável e quais salvaguardas estão em vigor para garantir que as saídas sejam apropriadas."

Como você pode agir?

A Bloomberg sugere criar novos sistemas de classificação para perigos específicos de domínio. As empresas que implementam RAG também devem melhorar suas salvaguardas, combinando verificações de lógica empresarial, camadas de validação de fatos e testes de equipe de resposta rápida. Para o setor financeiro, a Bloomberg aconselha examinar e testar suas IAs RAG em busca de possíveis vazamentos de informações confidenciais, questões de imparcialidade e condutas inadequadas em serviços financeiros. É crucial levar essas questões a sério. À medida que reguladores nos EUA e na UE intensificam a fiscalização da IA em finanças, o RAG, embora poderoso, exige protocolos rigorosos de segurança específicos para cada domínio. Por último, é fácil prever que empresas poderiam ser processadas se seus sistemas de IA fornecessem respostas e conselhos não apenas ruins, mas totalmente errados.

Referência: Link do artigo