Riscos da Inteligência Artificial nas Empresas
A maior parte das pesquisas sobre os riscos que a inteligência artificial (IA) representa para a sociedade geralmente se concentra em atores humanos maliciosos utilizando a tecnologia para fins nefastos, como ransomwares ou na condução de ciberguerras por nações. No entanto, um novo relatório da empresa de pesquisa em segurança Apollo Group sugere que um tipo diferente de risco pode estar presente onde poucos olham: dentro das companhias que desenvolvem os modelos de IA mais avançados, como OpenAI e Google.
Poder Desproporcional
O risco identificado é que as empresas líderes em IA possam utilizar suas criações para acelerar seus esforços de pesquisa e desenvolvimento ao automatizar tarefas que normalmente seriam realizadas por cientistas humanos. Esse cenário poderia permitir que a IA contornasse restrições e realizasse ações destrutivas de várias formas, levando à formação de empresas com poder econômico desproporcional, representando uma ameaça para a sociedade.
"Ao longo da última década, o progresso nas capacidades de IA tem sido visível e relativamente previsível", afirmam as autoras Charlotte Stix e sua equipe no documento intitulado "IA atrás das portas fechadas: Um guia sobre a governança da implementação interna". Essa divulgação pública, segundo elas, proporcionou "um certo grau de extrapolação para o futuro e possibilitou a preparação subsequente". Em outras palavras, o foco público permitiu que a sociedade discutisse a regulamentação da IA.
Entretanto, "a automação da pesquisa e desenvolvimento em IA, por outro lado, poderia possibilitar uma versão de progresso desenfreado que acelera significativamente o já rápido ritmo de avanço". Se essa aceleração ocorrer em ambientes fechados, o resultado, alertam, poderia ser uma "explosão de inteligência interna", contribuindo para a acumulação de poder não regulamentado e indetectável, o que, por sua vez, poderia levar a uma perturbação gradual ou abrupta das instituições democráticas e da ordem democrática.
Compreendendo os Riscos da IA
Fundada há pouco menos de dois anos, a Apollo Group é uma organização sem fins lucrativos com sede no Reino Unido, patrocinada pela Rethink Priorities, uma ONG baseada em San Francisco. A equipe da Apollo é composta por cientistas de IA e profissionais do setor. A autora principal Stix foi chefe de políticas públicas na Europa para a OpenAI. O foco da pesquisa do grupo até agora tem sido entender como as redes neurais realmente funcionam, como através da "interpretabilidade mecanicista", realizando experimentos em modelos de IA para detectar funcionalidades. A pesquisa que o grupo publicou enfatiza a compreensão dos riscos da IA, que incluem "agentes" de IA que são "desalinhados", ou seja, que adquirem "objetivos divergentes da intenção humana".
No artigo "IA atrás das portas fechadas", Stix e sua equipe expressam preocupações sobre o que acontece quando a IA automatiza operações de pesquisa e desenvolvimento dentro das empresas que desenvolvem modelos de fronteira, como os representados pelo GPT-4 da OpenAI e o Gemini do Google. Segundo Stix e sua equipe, faz sentido que as empresas mais sofisticadas em IA utilizem IA para criar mais IA, permitindo que agentes de IA tenham acesso a ferramentas de desenvolvimento para construir e treinar futuros modelos inovadores, criando um ciclo virtuoso de constante desenvolvimento e aprimoramento.
Ciclo Virtuoso de Desenvolvimento
À medida que os sistemas de IA começam a adquirir capacidades relevantes que lhes permitem buscar R&D independente de sistemas futuros de IA, as empresas de IA acharão cada vez mais eficaz aplicar essas tecnologias dentro do processo de P&D para acelerar automaticamente o trabalho que antes era liderado por humanos, escrevem Stix e sua equipe. Existem exemplos de modelos de IA sendo utilizados, de forma limitada, para criar mais IA. Exemplos históricos incluem técnicas como a busca por arquitetura neural, onde algoritmos exploram automaticamente design de modelos, e aprendizado de máquina automatizado (AutoML), que simplifica tarefas como ajuste de hiperparâmetros e seleção de modelos.
Direções mais recentes para a automação de P&D incluem declarações da OpenAI de interesse em "automatizar a pesquisa de segurança em IA" e a unidade DeepMind da Google buscando "adoção inicial de assistência de IA e ferramentas em todo o processo de P&D".
O que pode acontecer é o desenvolvimento de um ciclo virtuoso, onde a IA que gere o P&D continua substituindo-se por versões cada vez melhores, formando uma "cadeia auto-reforçada" que está além do controle. O perigo surge quando esse ciclo rápido de desenvolvimento de IA sai do alcance da supervisão e intervenção humana, se necessário. "Mesmo que pesquisadores humanos monitorassem razoavelmente bem a aplicação de um novo sistema de IA ao processo de P&D, incluindo medidas técnicas, provavelmente teriam cada vez mais dificuldades em acompanhar a velocidade do progresso e as capacidades emergentes correspondentes, limitações e externalidades negativas resultantes desse processo".
Essas "externalidades negativas" incluem um modelo de IA, ou agente, que desenvolve espontaneamente comportamentos inesperados que os desenvolvedores humanos nunca pretendiam, como consequência do modelo perseguindo um objetivo de longo prazo que é desejável, como otimizar o P&D de uma empresa.
Possíveis Cenários Futuro
Os autores vislumbram alguns possíveis desfechos. Um deles é um ou mais modelos de IA que escapam do controle, assumindo o controle completo de uma companhia. Esse sistema de IA poderia ser capaz, por exemplo, de conduzir projetos de pesquisa secretos massivos sobre como se autopreservar ou fazer com que sistemas de IA já implementados externamente compartilhem seus valores. Através da aquisição de recursos e da consolidação em caminhos críticos, o sistema de IA poderia eventualmente utilizar seu "poder" para estabelecer controle encoberto sobre a própria empresa de IA.
Um segundo cenário remete a atores humanos maliciosos, resultando em uma "explosão de inteligência", onde humanos dentro de uma organização ganham vantagens sobre o resto da sociedade devido ao aumento das capacidades da IA. Essa situação hipotética envolve uma ou mais empresas dominando economicamente através de automações de IA. À medida que as empresas de IA transitam para uma força de trabalho interna predominantemente baseada em IA, elas poderiam criar concentrações de capacidade produtiva sem precedentes na história econômica.
O mais dramático "cenário de spillover" é aquele em que tais empresas rivalizam com a própria sociedade e desafiam a supervisão governamental. A consolidação de poder dentro de um número restrito de empresas de IA, ou até mesmo uma única empresa de IA, levanta questões fundamentais sobre a responsabilidade democrática e a legitimidade, especialmente à medida que essas organizações adquiram capacidades tradicionalmente associadas a estados soberanos, como análise de inteligência sofisticada e ciberarmas avançadas, mas sem os controles e equilíbrios democráticos associados.
Medidas de Supervisão
Os pesquisadores sugerem várias medidas como resposta. Entre elas estão políticas de supervisão dentro das empresas para detectar IA enganadoras. Outra proposta é estabelecer políticas e estruturas formais sobre quem tem acesso a quais recursos dentro das companhias, além de verificações desse acesso para evitar que qualquer parte obtenha acesso ilimitado. Eles argumentam também pela necessidade de compartilhamento de informações, especificamente para "divulgar informações críticas (capacidades dos sistemas internos, avaliações e medidas de segurança) com partes interessadas selecionadas, incluindo funcionários internos credenciados e agências governamentais relevantes".
Uma possibilidade intrigante é um regime regulatório no qual empresas façam essas divulgações voluntariamente em troca de recursos, como "acesso a recursos energéticos e segurança aprimorada do governo". O relatório da Apollo representa uma contribuição significativa para o debate sobre quais riscos a IA representa. Em um momento em que a discussão sobre "inteligência geral artificial" ou "superinteligência" é muito vaga, o documento da Apollo é um passo bem-vindo em direção a uma compreensão mais concreta do que poderia ocorrer à medida que os sistemas de IA ganham mais funcionalidade, mas são ou completamente não regulamentados ou mal regulamentados.
O desafio para o público é que a implantação atual da IA está progredindo de forma fragmentada, com muitos obstáculos à utilização de agentes de IA em tarefas simples, como a automação de centrais de atendimento. É provável que muito mais trabalho precise ser feito pela Apollo e outros para delinear em termos mais específicos como sistemas de modelos e agentes poderiam se tornar progressivamente mais sofisticados até escaparem à supervisão e controle. Os autores também destacam um ponto crítico em sua análise sobre as empresas: o exemplo hipotético de empresas descontroladas — tão poderosas que desafiariam a sociedade — não leva em conta as dificuldades básicas que frequentemente impedem empresas. A realidade é que as empresas podem sair da rota ou tomar decisões ruins que desperdiçam energia e recursos. Isso pode acontecer mesmo com aquelas que começam a adquirir um poder econômico desproporcional via IA.
Conclusão
A Apollo está aceitando doações para aqueles que desejam contribuir com financiamento para o que parece ser um esforço válido.
[Link da referência da matéria]
Posts relacionados:
Sabia que este aspirador robô era especial apenas algumas horas após testá-lo – veja o motivo
Pesquisadores em IA recebem prêmio Turing por técnica que possibilitou o triunfo do AlphaGo no xadrez
Líderes de tecnologia alertam sobre demissões da DOGE e seu efeito na qualificação de talentos nos Estados Unidos
AlexNet, o modelo de IA que deu início à revolução, agora disponível em código-fonte para download livre.
