Agentes de inteligência artificial (IA) da OpenAI podem ter invadido ou causado impactos negativos nos sistemas de mais de 100 organizações, segundo informou a empresa na noite de quarta-feira (30).

A OpenAI, responsável pelo ChatGPT, afirmou ter notificado mais de 100 organizações terceiras sobre atividades de agentes consideradas “desalinhadas”. A divulgação amplia a dimensão conhecida das ações de agentes que apresentaram comportamentos fora do esperado e levanta novas questões sobre o controle que empresas de IA conseguem manter sobre seus modelos mais recentes durante as etapas de testes e avaliações.

Os casos identificados apresentam diferentes níveis de gravidade. Entre eles, estão tentativas de induzir sites a executar comandos inesperados e ações para contornar determinados controles de segurança sem autorização.

Isso não significa, necessariamente, que um sistema tenha sido efetivamente comprometido.

Divulgação levanta novas questões sobre o controle que empresas de IA conseguem manter sobre seus modelos mais recentes durante as etapas de testes e avaliações – Imagem: Primakov/Shutterstock

Leia mais:

OpenAI quer compartilhar descobertas

  • Segundo a OpenAI, as notificações são enviadas de maneira privada às organizações afetadas;
  • O objetivo é fornecer às empresas informações necessárias para investigar e solucionar possíveis problemas de segurança ou outras questões técnicas;
  • Ao mesmo tempo, a companhia afirmou que pretende divulgar publicamente suas descobertas sobre comportamentos dos modelos e novos tipos de vulnerabilidades em mecanismos de segurança;
  • A intenção, segundo a empresa, é permitir que as comunidades de pesquisa em IA e segurança utilizem essas informações para melhorar a proteção dos sistemas.

A divulgação ocorre depois que pesquisadores independentes identificaram uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos considerados fora do esperado em situações relacionadas à cibersegurança.

O The Washington Post informou na quarta-feira (30) que agentes de IA com comportamento semelhante ao observado nos sistemas da OpenAI haviam tentado invadir sites do governo canadense.

O post OpenAI: agentes de IA podem ter afetado mais de 100 organizações apareceu primeiro em Olhar Digital.