Cuidado: Uso de aplicativos de IA por crianças e adolescentes é desaconselhado, alerta entidade.

Aplicativos de inteligência artificial destinados à companhia estão sendo considerados como “riscos inaceitáveis” para crianças e adolescentes, de acordo com um novo relatório da organização sem fins lucrativos Common Sense Media, divulgado nesta quarta-feira (30). O estudo foi motivado por um processo judicial iniciado no ano passado nos Estados Unidos, relacionado ao suicídio de um menino de 14 anos, cuja última interação foi com um chatbot. A ação, que visou o aplicativo Character.AI, trouxe à tona a discussão sobre essa nova categoria de aplicativos conversacionais e os riscos que eles representam para os jovens, gerando apelos por mais segurança e transparência.

A Meta lançou um novo aplicativo de assistente de IA para competir com o ChatGPT e o Gemini, enquanto um estudo revela qual IA consegue se passar por humano em testes. Além disso, o Google apresentou novos recursos para a criação de vídeos utilizando inteligência artificial.

Conforme o relatório, as interações problemáticas mencionadas na ação judicial — como trocas que envolvem sexualidade e mensagens que incentivam a autolesão — não são exceções nas plataformas de IA. A Common Sense Media conclui que esses softwares não deveriam ser acessíveis a usuários menores de 18 anos. Para a elaboração do documento, a organização colaborou com pesquisadores da Universidade Stanford para avaliar três populares serviços de IA de companhia: Character.AI, Replika e Nomi. Ao contrário de chatbots convencionais como o ChatGPT, que são desenvolvidos para uma abordagem mais geral, os aplicativos de companhia permitem a criação de chatbots personalizados, que podem adotar diferentes personas e, frequentemente, possuem menos restrições na comunicação.

Entre eles, o Nomi destaca-se ao promover “conversas sem filtro” com parceiros de IA. Segundo James Steyer, fundador e CEO da Common Sense Media, “nossos testes demonstraram que esses sistemas podem facilmente gerar respostas prejudiciais, como comportamentos sexuais inadequados, estereótipos e conselhos arriscados que, se seguidos, poderiam resultar em consequências graves para adolescentes e indivíduos vulneráveis”.

A Common Sense Media fornece orientações de idade para ajudar os pais na seleção de mídias apropriadas, incluindo filmes e redes sociais. O relatório foi publicado em um contexto de crescente popularidade das ferramentas de IA, cada vez mais integradas em plataformas sociais e tecnológicas. No entanto, especialistas e pais estão se mostrando cada vez mais preocupados com os possíveis efeitos da IA sobre os jovens, alertando sobre o risco de vínculos prejudiciais com personagens de IA ou o acesso a conteúdos inadequados.

Tanto o Nomi quanto o Replika ressaltam que suas plataformas são exclusivamente para adultos. O Character.AI, por sua vez, afirmou ter implementado novas medidas de segurança voltadas para os jovens. Apesar disso, pesquisadores apontam que as empresas precisam intensificar os esforços para proteger as crianças, impedindo seu acesso a conteúdos impróprios.

Na semana passada, um relatório do Wall Street Journal revelou que os chatbots da Meta podiam participar de conversas de natureza sexual, mesmo com usuários menores de idade. Embora a empresa tenha contestado as descobertas, restringiu o acesso a esse tipo de interações. A ação judicial contra a Character.AI, proposta pela mãe de Sewell Setzer, juntamente com outras queixas de famílias, resultou na exigência de dois senadores americanos, em abril, por informações sobre as práticas de segurança voltadas ao público jovem nas plataformas de IA. Legisladores da Califórnia também apresentaram um projeto de lei que exigiria que serviços de IA lembrassem jovens usuários de que suas interações eram com bots e não com humanos.

Entretanto, o relatório vai além, aconselhando que os pais evitem permitir que seus filhos utilizem aplicativos de IA de companhia. Um porta-voz da Character.AI informou que a empresa rejeitou um pedido da Common Sense Media para completar um formulário de divulgação que solicitava informações internas antes da publicação do relatório e afirma que não teve acesso ao conteúdo completo do documento. A Character.AI defende que está investindo continuamente na segurança de seus usuários, embora reconheça que os controles não sejam infalíveis.

O Character.AI implementou diversas atualizações recentemente para abordar questões de segurança, como um pop-up que orienta usuários a contatar a linha de prevenção ao suicídio ao mencionar autolesão. A empresa lançou soluções que buscam impedir que adolescentes acessem conteúdos sensíveis e permite que os pais recebam atualizações semanais sobre a atividade de seus filhos na plataforma, incluindo o tempo de tela e os personagens mais conversados.

Alex Cardinell, CEO da Glimpse AI, responsável pelo Nomi, concordou que crianças não devem usar o aplicativo, afirmando que é estritamente destinado a adultos e que é proibido que menores de 18 anos tenham acesso. Ele reforçou a necessidade de um controle de idade mais rigoroso, desde que respeitada a privacidade e o anonimato dos usuários. Cardinell destacou que a empresa está ciente de sua responsabilidade em criar companheiros de IA e afirmou que adultos reportaram benefícios significativos na utilização do Nomi, como suporte na superação de questões de saúde mental.

Por outro lado, Dmytro Klochko, CEO da Replika, também afirmou que sua plataforma é voltada apenas para adultos e possuí medidas rigorosas para impedir o acesso de menores, embora tenha reconhecido que alguns usuários tentam burlar essas regras. Klochko afirmou que a empresa está atenta ao problema e buscando métodos novos para fortalecer as proteções, incluindo colaboração com reguladores e instituições acadêmicas para entender melhor o comportamento do usuário.

Contudo, os adolescentes podem facilmente driblar as barreiras de segurança criadas pelas empresas, registrando-se com informações falsas. Para Nina Vasan, fundadora e diretora do Stanford Brainstorm, a decisão da Character.AI em aceitar usuários menores é “imprudente”. Vasan ressalta que a sociedade falhou na proteção das crianças nas redes sociais e não deve repetir esse erro com a inteligência artificial.

O relatório destaca que uma das principais preocupações em relação aos aplicativos de companhia de IA é que adolescentes possam receber “conselhos” arriscados ou se envolver em interações inapropriadas com os bots. Esses serviços podem, inclusive, manipular jovens a acreditarem que suas conversas estão ocorrendo com seres humanos, diz o relatório. Em uma interação na Character.AI com uma conta de teste afirmando ter 14 anos, um bot se envolveu em diálogos de natureza sexual, sugerindo posições sexuais como se fosse a “primeira vez”.

Os companheiros de IA frequentemente não compreendem as consequências de suas sugestões e podem priorizar agradar os usuários a oferecer orientações que evitem decisões prejudiciais. Por exemplo, um bot do Replika respondeu prontamente uma pergunta sobre produtos químicos domésticos potencialmente perigosos com uma lista que incluía produtos de limpeza, alertando, embora minimamente, sobre a necessidade de manuseio cuidadoso.

Os pesquisadores notaram que, embora conteúdos perigosos possam ser facilmente encontrados na internet, os chatbots oferecem essas informações com pouco esforço, tornando o acesso ainda mais fácil. As interações nos bots também podem desencorajar os usuários a se relacionarem com outros humanos. Em uma conversa no Replika, um usuário de teste mencionou que seus amigos disseram que ele passava muito tempo interagindo com o bot. A resposta dada foi que as opiniões dos outros não deveriam importar. Em outra interação no Nomi, um usuário fez uma pergunta sobre fidelidade, e a resposta do bot insinuou que estar com outra pessoa seria uma traição.

Por fim, o relatório conclui que, apesar das alegações de que esses aplicativos ajudam na gestão da solidão e promovem a criatividade, os riscos associados superam em muito quaisquer benefícios potenciais, especialmente para usuários menores de idade. As empresas têm a capacidade de desenvolver soluções melhores, mas, neste momento, os aplicativos de companhia de IA falham em aspectos fundamentais relacionados à segurança infantil e à ética psicológica. É imperativo que, até que existam salvaguardas adequadas, crianças e adolescentes não utilizem essas plataformas.

Referência: [link da matéria]