A OpenAI propôs nesta segunda-feira (21) um conjunto de padrões globais para orientar o desenvolvimento seguro de inteligência artificial de fronteira, com foco em pesquisa de alinhamento e em uma técnica computacional conhecida como melhoria recursiva autônoma, ou RSI (do inglês recursive self-improvement). As propostas foram publicadas em um artigo no blog da empresa.
Segundo a CNBC, que publicou a reportagem, a OpenAI defende cooperação internacional para criar padrões técnicos voltados a modelos de IA de fronteira e recomenda aproveitar o trabalho já desenvolvido por institutos de segurança de IA ao redor do mundo. A empresa diz que esses padrões devem incluir o gerenciamento de benefícios e riscos associados a pesquisadores de IA automatizados, categoria que engloba sistemas com capacidade de RSI.
O que é RSI e por que preocupa
A técnica de RSI entusiasmou desenvolvedores de IA por seu potencial de criar modelos fundacionais capazes de se aprimorar sem intervenção humana. No entanto, avanços nessa área levaram parte dos especialistas a temer que os criadores de modelos fundacionais percam o controle sobre a tecnologia subjacente, especialmente à medida que os sistemas se tornam mais complexos e onipresentes.
“RSI totalmente autônoma não está acontecendo hoje, e não devemos persegui-la a menos que, e até que, isso possa ser feito com segurança”, afirma o artigo da OpenAI. “Sem o cuidado e a cautela adequados, a RSI poderia resultar em humanos perdendo o controle prático sobre o desenvolvimento de IA, incapazes de supervisionar processos de pesquisa que não compreendem mais”.
A publicação da OpenAI menciona o ataque ao agente da Hugging Face, um incidente que não envolveu RSI, como uma espécie de prévia dos tipos de riscos que poderiam se tornar muito mais graves sem salvaguardas robustas e alinhamento.
O debate sobre segurança em IA
As propostas surgem em meio a um debate público intensificado. Na semana anterior, a rival Anthropic divulgou suas próprias diretrizes para o desenvolvimento seguro de modelos de IA de fronteira, em resposta a uma sequência de alertas da indústria sobre os riscos da tecnologia.
O episódio ganhou repercussão global quando Jacob Coxon, pesquisador com passagem tanto pela Anthropic quanto pela OpenAI, anunciou sua demissão cerca de duas semanas antes e afirmou que as empresas estavam apostando com nossas vidas. O pronunciamento acendeu um debate internacional.
Leia mais: “Não existe valor sem risco”, diz Gartner sobre retorno de investimento da IA
Na sequência, o presidente-executivo da Anthropic, Dario Amodei, publicou um ensaio em que defendeu que as empresas de IA desacelerassem o ritmo de desenvolvimento de seus modelos fundacionais. Amodei também propôs a incorporação de avaliadores terceirizados dentro das companhias para auditar e mitigar riscos que suas tecnologias possam representar à sociedade, como o fortalecimento de ataques cibernéticos ou a criação de armas biológicas.
Os presidentes-executivos da OpenAI, Sam Altman, e da Tesla e SpaceX, Elon Musk, manifestaram apoio público à proposta de Amodei.
Padrões mínimos para auditores externos
O campo de avaliação de IA ainda é incipiente, e não há consenso sobre os critérios básicos que permitiriam a terceiros inspecionar as tecnologias de ponta de forma mais aprofundada. Diante disso, uma coalizão de avaliadores de IA passou a pressionar os desenvolvedores de modelos fundacionais a adotar um conjunto de condições mínimas que permitam auditorias mais completas.
Entre as condições exigidas pela coalizão estão acesso mais profundo aos sistemas e garantias contra retaliação para quem publicar relatórios desfavoráveis sobre as empresas avaliadas.
Leia o IT Forum no LinkedIn e fique por dentro de todas as notícias!