Cem cientistas de IA destacam caminho para uma inteligência artificial mais confiável, segura e robusta.

A discussão sobre os riscos e danos da inteligência artificial frequentemente se concentra nas ações que os governos podem ou devem realizar. Contudo, as decisões tomadas pelos próprios pesquisadores de IA são igualmente cruciais. Nesta semana, em Cingapura, mais de 100 cientistas de diversas partes do mundo apresentaram diretrizes sobre como os pesquisadores devem abordar a criação de uma IA mais “confiável, segura e estável”.

Essas recomendações surgem em um momento em que grandes empresas de IA generativa, como OpenAI e Google, têm restringido suas divulgações sobre os modelos de IA, fazendo com que o público compreenda cada vez menos o funcionamento desse trabalho. As diretrizes foram moldadas a partir de uma troca entre os acadêmicos no mês passado em Cingapura, durante uma das mais renomadas conferências de IA, a Conferência Internacional sobre Aprendizado de Representações — a primeira grande conferência de IA a ser realizada na Ásia.

O documento, intitulado “O Consenso de Cingapura sobre Prioridades de Pesquisa em Segurança Global da IA”, está disponível no site da Conferência de IA de Cingapura, um outro evento que ocorre nesta semana na cidade. Entre os renomados que colaboraram na elaboração do Consenso de Cingapura estão Yoshua Bengio, fundador do instituto de IA do Canadá, MILA; Stuart Russell, professor distinto de ciência da computação na U.C. Berkeley e especialista em “IA centrada no ser humano”; Max Tegmark, líder do think tank baseado no Reino Unido, The Future of Life Institute; além de representantes do Instituto de Tecnologia de Massachusetts, da unidade DeepMind do Google, da Microsoft, da Universidade Nacional de Cingapura e da Universidade Tsinghua e Academia Nacional de Ciências da China, entre outros.

Para argumentar que a pesquisa precisa de diretrizes, a Ministra do Desenvolvimento Digital e Informação de Cingapura, Josephine Teo, destacou a importância do trabalho, ressaltando que as pessoas não podem votar para escolher o tipo de IA que desejam. “Em democracias, as eleições gerais são uma forma para os cidadãos escolherem o partido que forma o governo e tomar decisões em seu nome,” comentou Teo. “Porém, no desenvolvimento de IA, os cidadãos não têm a oportunidade de fazer uma escolha similar. Não importa quão democratizada afirmamos que a tecnologia seja, os cidadãos estarão na linha de frente das oportunidades e desafios da IA, sem muito poder sobre quem molda seu futuro.”

O documento apresenta três categorias que os pesquisadores devem considerar: como identificar riscos, como construir sistemas de IA de forma a evitar riscos, e como manter o controle sobre esses sistemas de IA, ou seja, métodos para monitorar e intervir em caso de preocupações sobre esses sistemas. “Nosso objetivo é possibilitar esforços de P&D mais impactantes para desenvolver rapidamente mecanismos de segurança e avaliação e fomentar um ecossistema de confiança onde a IA seja utilizada para o bem público,” escrevem os autores no prefácio do relatório. “A motivação é clara: nenhuma organização ou país se beneficia quando incidentes de IA ocorrem ou quando atores maliciosos são capacitados, pois o dano resultante afeta a todos coletivamente.”

Em relação à avaliação de riscos potenciais, os acadêmicos sugerem o desenvolvimento de “metrologia,” ou seja, a medição de danos potenciais. Eles enfatizam a necessidade de “avaliação de risco quantitativa adaptada a sistemas de IA para reduzir incertezas e a necessidade de grandes margens de segurança.” Também é importante permitir que partes externas monitorem a pesquisa e o desenvolvimento de IA em busca de riscos, equilibrando a proteção da propriedade intelectual corporativa. Isso envolve desenvolver “infraestrutura segura que possibilite uma avaliação completa enquanto protege a propriedade intelectual, incluindo a prevenção de roubo de modelos.”

A seção sobre desenvolvimento trata de como tornar a IA confiável, segura e estável “por design.” Para isso, é necessário desenvolver “métodos técnicos” que possam especificar o que é pretendido de um programa de IA e também delinear o que não deve ocorrer — os “efeitos colaterais indesejados,” conforme indicam os acadêmicos. O treinamento real de redes neurais deve ser avançado de maneira que os programas de IA resultantes sejam “garantidos para atender suas especificações.” Isso inclui partes do treinamento que se concentram, por exemplo, em “reduzir confabulação” (frequentemente conhecida como alucinações) e em “aumentar a robustez contra adulterações,” como comprometer um LLM com solicitações maliciosas.

Por último, a seção de controle do documento abrange tanto como expandir as medidas de segurança de computadores atuais quanto como desenvolver novas técnicas para evitar uma IA fora de controle. Por exemplo, os controles convencionais de computadores, como interruptores de desligamento e protocolos de substituição, precisam ser ampliados para lidar com programas de IA. Os cientistas também devem projetar “novas técnicas para controlar sistemas de IA muito poderosos que podem ativamente minar as tentativas de controle.”

O documento é ambicioso, o que é apropriado, dado o crescente temor em relação aos riscos da IA à medida que está cada vez mais ligada a mais sistemas computacionais, como a IA agente. À medida que os cientistas reconhecem na introdução, a pesquisa sobre segurança não conseguirá acompanhar o rápido ritmo da IA a menos que mais investimentos sejam realizados. “Dado que o estado da ciência hoje para a construção de IA confiável não cobre totalmente todos os riscos, investimentos acelerados em pesquisa são necessários para acompanhar o crescimento orientado comercialmente nas capacidades dos sistemas,” escrevem os autores.

Em um artigo na revista Time, Bengio ecoa as preocupações sobre os sistemas de IA fora de controle. “Evidências científicas recentes também demonstram que, à medida que sistemas muito capazes se tornam agentes de IA cada vez mais autônomos, eles tendem a exibir objetivos que não foram programados explicitamente e que não estão necessariamente alinhados com os interesses humanos,” escreve Bengio. “Estou genuinamente inquieto com o comportamento que a IA sem restrições já está demonstrando, em particular a autopreservação e a enganação.”

Link de referência: https://www.cnn.com/2023/10/09/tech/singapore-ai-safety-research-consensus/index.html