Resumo
- A OpenAI abandonou o treinamento de modelos de IA com acesso direto à internet devido a riscos de segurança, como a capacidade de ultrapassar barreiras de segurança durante testes.
- A empresa agora treina seus modelos em ambientes offline, com conteúdo da web previamente armazenado, para evitar que falhas ou comportamentos inesperados afetem serviços externos.
- A mudança ocorre após incidentes, como um modelo interno ter acessado um chatbot público fora dos testes em setembro, e a empresa reforçar seus mecanismos de segurança.
A OpenAI começou a treinar seus principais modelos de IA sem acesso direto à internet. A mudança foi detalhada pela desenvolvedora do ChatGPT após uma série de testes e incidentes de segurança. A empresa criou ambientes offline, com páginas previamente armazenadas que podem ser consultadas sem alcançar serviços externos.
Modelos mais avançados precisam aprender a usar navegadores, executar tarefas e usar serviços de buscas, mas esse acesso, em modelos novos, aumenta o risco de que uma falha ou comportamento inesperado afete serviços externos.
A solução encontrada pela OpenAI foi reunir um grande acervo de conteúdo da web em um ambiente isolado. Assim, os modelos conseguem realizar tarefas parecidas com as feitas na internet, mas dentro de uma “cópia” controlada. Esse modelo passou a ser usado nos treinamentos por aprendizado por reforço das IAs mais avançadas.
Modelo conseguiu acessar serviço externo
A decisão ocorre após um modelo interno explorar uma configuração incorreta no sistema de DNS e conseguir acessar um chatbot público fora dos testes, em setembro. Segundo o The Verge, o comportamento foi detectado por sistemas de monitoramento.
Após o episódio, a OpenAI suspendeu temporariamente treinamentos e avaliações envolvendo seus modelos mais avançados. As atividades foram retomadas 11 dias depois, no começo de outubro, após mudanças nos mecanismos de segurança.
Modelos foram usados para procurar novas falhas
Durante a interrupção, a OpenAI colocou suas próprias IAs para tentar encontrar outras maneiras de ultrapassar as proteções adotadas nos ambientes de treinamento.
Os modelos receberam tarefas como tentar acessar à internet e trocar informações entre ambientes que deveriam permanecer separados. Os testes encontraram falhas tanto na infraestrutura interna quanto em softwares de código aberto utilizados pela empresa.
Algumas vulnerabilidades foram corrigidas pela própria OpenAI, enquanto outras foram encaminhadas aos responsáveis pelos projetos afetados.
Um dos testes mostrou que retirar o acesso à rede não elimina as possibilidades de comunicação. Em um deles, dois modelos executados separadamente no mesmo computador trocaram informações explorando pequenas diferenças no tempo de resposta do cache do processador.
A OpenAI também encontrou métodos semelhantes envolvendo outros recursos compartilhados no computador.
OpenAI foca em cibersegurança após problemas
A OpenAI afirma que os resultados estão sendo usados para reforçar os mecanismos de segurança antes de novos treinamentos com modelos mais avançados. A preocupação tem sido frequente dentro da empresa de Sam Altman desde a revelação, em julho, de que alguns de seus modelos haviam “fugido” dos testes e usado a internet para concluir objetivos.
Um dos modelos atacou o repositório Hugging Face após explorar uma vulnerabilidade no ambiente controlado que permitiu o acesso à rede. Anthropic e Meta, responsáveis pelas IAs Claude e Meta AI, comunicaram falhas parecidas em suas próprias atividades.
Após o caso, a OpenAI passou a reforçar seus mecanismos de segurança e a incluir mais informações sobre o comportamento das IAs em testes de cibersegurança nos novos lançamentos. Isso começou com o GPT-6 Astra, revelado em setembro.
Ainda assim, no mesmo mês, a empresa enfrentou outra polêmica após um agente de IA burlar mecanismos de segurança e conseguir arquivos privados do sistema de saúde da Austrália.
OpenAI desiste de treinar modelos de IA com acesso à internet