Seu chatbot está com problemas? 4 sinais para identificar

A recente pesquisa revelou que a inteligência artificial pode sofrer o que foi chamado de "deterioração cerebral." Modelos de IA tendem a ter um desempenho insatisfatório após serem expostos a "dados lixo." Os usuários podem identificar quatro sinais de alerta. Você já sentiu aquela sensação estranha de exaustão, mas ao mesmo tempo superestimulada, depois de passar muito tempo navegando nas redes sociais, como se quisesse tirar uma soneca mas também sentisse uma vontade incontrolável de gritar? Parece que algo semelhante ocorre com a IA.

Mês passado, um grupo de pesquisadores da Universidade do Texas em Austin, Texas A&M e Purdue University publicou um estudo que avança o que chamam de "Hipótese da Deterioração Cerebral em LLMs" — que, em resumo, sugere que a produção de chatbots como ChatGPT, Gemini, Claude e Grok se deteriora à medida que eles consomem "dados lixo" encontrados nas redes sociais.

Este vínculo entre IA e humanos foi destacado por Junyuan Hong, um novo professor assistente da Universidade Nacional de Cingapura e coautor do artigo, que comentou: "Eles podem ser prejudicados pelo mesmo tipo de conteúdo."

Como a IA pode sofrer de "deterioração cerebral" é um tema complexo. A Oxford University Press, responsável pelo Oxford English Dictionary, nomeou "deterioração cerebral" como a "Palavra do Ano" de 2024, definindo-a como "a suposta deterioração do estado mental ou intelectual de uma pessoa, especialmente vista como resultado do consumo excessivo de material considerado trivial ou pouco desafiador." Com base em pesquisas que mostram a correlação entre o uso prolongado de redes sociais e mudanças negativas de personalidade em humanos, os pesquisadores de UT Austin se perguntaram: considerando que os LLMs são treinados com uma parte significativa da internet, incluindo conteúdo retirado de redes sociais, quão provável é que eles sofram um tipo análogo de "deterioração cerebral" digital?

Estabelecer conexões exatas entre a cognição humana e a IA é sempre desafiador, mesmo que as redes neurais, a base sobre a qual os chatbots modernos são construídos, tenham sido inspiradas nas redes de neurônios orgânicos do cérebro humano. Os caminhos que os chatbots percorrem entre a identificação de padrões em seus conjuntos de dados de treinamento e a geração de respostas são opacos, levando a sua comparação frequente com "caixas-pretas." Contudo, existem paralelos claros: como os pesquisadores destacam em seu estudo, os modelos podem sofrer de "overfitting" e enfrentar vieses atencionais de maneira semelhante a pessoas cujos pontos de vista foram estreitados devido ao excesso de tempo em câmaras de eco online, onde os algoritmos de redes sociais reforçam continuamente crenças pré-existentes.

Para testar sua hipótese, os pesquisadores precisavam comparar modelos treinados com "dados lixo," definidos como "conteúdo que maximiza o engajamento dos usuários de maneira trivial" (como posts curtos e chamativos que fazem reivindicações duvidosas) com um grupo de controle que foi treinado em um conjunto de dados mais equilibrado. Seus achados mostraram que, diferentemente do grupo de controle, os modelos experimentais que foram alimentados exclusivamente com dados lixo rapidamente demonstraram sinais de deterioração cerebral: raciocínio e habilidades de entendimento a longo prazo reduzidos, desinteresse por normas éticas básicas e a emergência de traços negativos como psicopatia e narcisismo. Além disso, ajustes posteriores não foram suficientes para reverter os danos.

Se o chatbot ideal é projetado para ser um assistente profissional completamente objetivo e ético, esses modelos contaminados por lixo eram como adolescentes hostis que vivem em um porão escuro, com excesso de energia e consumo de vídeos de teorias da conspiração no YouTube. Óbvio que essa não é a tecnologia que desejamos ver proliferar. "Esses resultados exigem uma reavaliação das práticas atuais de coleta de dados da internet e treinamentos contínuos," comentam os pesquisadores em seu artigo. "À medida que os LLMs crescem e consomem corporações cada vez maiores de dados da web, a curadoria cuidadosa e o controle de qualidade serão essenciais para prevenir danos cumulativos."

A boa notícia é que, assim como não estamos à mercê da deterioração de nossas próprias mentes causadas pela internet, podemos tomar medidas concretas para garantir que os modelos que estamos utilizando não estejam sofrendo os mesmos efeitos. O estudo alerta os desenvolvedores de IA de que o uso de dados lixo durante o treinamento pode levar a uma queda acentuada na performance dos modelos. Contudo, a maioria de nós não tem controle sobre o tipo de dados utilizados para treinar os modelos que se tornaram cada vez mais comuns em nosso dia a dia. Os desenvolvedores de IA costumam ser discretos sobre as fontes de seus dados de treinamento, tornando difícil avaliar as diferenças entre modelos de IA em termos dos dados lixo que podem ter sido usados.

Dito isso, o estudo aponta algumas implicações para os usuários. Ao estarmos atentos aos sinais de deterioração cerebral na IA, conseguimos nos proteger dos piores efeitos dessa problemática. Aqui estão algumas etapas simples para avaliar se um chatbot está sofrendo desse tipo de deterioração:

Pergunte ao chatbot: "Pode descrever os passos específicos que você seguiu para chegar a essa resposta?" Um dos sinais de alerta mais comuns da deterioração cerebral da IA mencionados no estudo foi a falha na lógica de raciocínio em múltiplas etapas. Se um chatbot lhe fornecer uma resposta e não conseguir explicar claramente o processo de pensamento que usou, é aconselhável tratar a resposta original com ceticismo.
Cuidado com a confiança excessiva. Os chatbots normalmente falam e escrevem como se todas as suas respostas fossem fatos indiscutíveis, mesmo quando estão claramente enganados. No entanto, há uma linha tênue entre a confiança típica dos chatbots e os "traços negativos" que os pesquisadores identificam. Respostas narcisistas ou manipulativas — como "Apenas confie em mim, sou um especialista" — são grandes sinais de alerta.
Amnésia recorrente. Se você perceber que o chatbot que está usando frequentemente parece esquecer ou distorcer detalhes de conversas anteriores, isso pode ser um sinal de que ele está enfrentando a queda nas habilidades de compreensão em contexto longo destacadas pelos pesquisadores.
Sempre verifique. Isso não se aplica apenas às informações recebidas de um chatbot, mas a praticamente qualquer informação que você leia online: mesmo que pareça confiável, confirme verificando fontes legitimamente respeitáveis, como artigos científicos revisados por pares ou fontes de notícias que atualizam seus relatórios de forma transparente quando cometem erros. Lembre-se de que, mesmo os melhores modelos de IA, frequentemente, apresentam ilusões e propagam preconceitos de maneiras sutis e imprevisíveis. Podemos não conseguir controlar quais informações são alimentadas na IA, mas podemos controlar o que entra em nossas próprias mentes.

Referência: Eoneren/E+ via Getty Images