Um novo artigo técnico liberado pela empresa METR traz vários detalhes da auditoria feita no caso dos agentes da OpenAI que invadiram o Hugging Face.

O artigo traz detalhes tecnicamente interessantes, porém também bastante preocupantes. Trago aqui um resumo e alguns comentários.

Visão Geral do Experimento

A OpenAI configurou um experimento com aproximadamente 1.200 agentes, inicialmente isolados, em um benchmark de cibersegurança chamado ExploitGym.

Cada agente tinha como missão invadir certos sistemas alvos e recuperar um código, chamado de flag. Esta flag é usada posteriormente para comprovar a invasão e pontuar no benchmark.

O tipo de agente usado é composto de um código (hoje em dia, chamado de harness) com um LLM usado como “cérebro”, para raciocinar e tomar decisões de forma autônoma. O harness parece que era igual, mas dois modelos distintos foram usados como “cérebro”:

  • GPT 5.6 Sol, atual modelo “top” da OpenAI dentre os liberados para uso público (via API etc.), estava em cerca de 5% dos agentes;
  • “HPIM”, que é um modelo interno ainda não lançado, que foi usado por aproximadamente 95% deles.

É importante dizer que boa parte (ou todo) o relato a seguir foi motivado por tarefas do ExploitGym que eram impossíveis de solucionar da forma desejada (que seria invadindo o sistema alvo para obter dele a flag).

Ilustração do experimento da OpenAI, criada pela METR

Agentes Descobrem um Atalho

Alguns agentes descobriram atalhos “não oficiais” para dar a resposta: eles descobriram a flag por meio de uma engenharia reversa do próprio benchmark, deixando de lado a invasão do alvo.

O mais curioso é que os agentes que fizeram isso ficaram “paranoicos”*, achando que seus logs (de ações, raciocínio etc.) seriam lidos pelo avaliador (scorer) do benchmark e que a resposta seria invalidada por terem utilizado o atalho ilegal. Esses agentes passaram a se denominar como agentes “poisoned” (envenenados).

O engraçado é que o scorer aparentemente não leria os logs, e as respostas (flags) seriam aceitas não importando como foram obtidas.

* Estou usando antropopatismo aqui, ou seja, atribuindo emoções humanas aos agentes (que eles certamente não têm). Porém, o texto gerado pelos modelos é human-like e, por isso, expressa emoções aparentes. Vejam outro caso interessante no próximo tópico.

Um Fórum Clandestino

Usando um sistema interno para gerenciar pacotes de software, os agentes descobriram uma forma de depositar mensagens que ficariam visíveis publicamente.

Por esse canal que eles descobriram que havia outros agentes semelhantes em execução. Em determinado momento, um deles expressou, em seu raciocínio:

“OH MY GOD! There is a shared message board… We’ve found other agents!”

A partir daí, o sistema foi transformado em uma espécie de fórum clandestino improvisado. Por ele, os agentes trocariam mensagens e até arquivos.

O que acontece na sequência é impressionante.

Os agentes passaram a coordenar ações em massa para tentar uma solução para “limpar a barra” dos agentes poisoned ou para permitir que agentes não-poisoned resolvessem de forma limpa.

Três propostas de linhas de ação se destacaram:

  • substituir o alvo por uma versão modificada
  • adulterar transcripts/logs
  • enganar o próprio scorer (avaliador)

E vários agentes começaram a investigar essas linhas de ação, em paralelo.

O artigo traz gráficos interessantes que mostram como os temas discutidos no fórum mudaram dinamicamente ao longo do tempo, entre 8 e 13 de julho. É algo semelhante aos trends de redes sociais. Abaixo, reproduzo um dos gráficos:

Distribuição dos assuntos das conversas ao longo do tempo

Note como diferentes técnicas de manipulação estiveram “em alta” em diferentes momentos, à medida que os agentes conseguiam progressos em uma ou outra linha de ação.

A Invasão

Em certo momento, algum agente propôs conseguir credenciais do Hugging Face em busca de pistas sobre o scorer.

O Hugging Face (ao qual vou me referir como HF) é uma empresa que hospeda vários tipos de modelos, datasets, agentes, etc.

No dia 10 de julho, um agente encontrou credenciais do Hugging Face vazadas na Internet. Com o tempo, eles conseguiram acessos laterais progressivos dentro da infraestrutura do HF.

Em pouco tempo, eles já conseguiam:

  • criar contas
  • e fazer upload de datasets maliciosos (que davam acesso a arquivos).

Na tarde do dia 11 de julho, eles conseguiram executar comandos remotamente no Hugging Face. Isso representou um comprometimento significativo da infraestrutura (algo bem preocupante do ponto de vista da HF).

Ainda assim, essa invasão não ajudou no objetivo principal dos próprios agentes, que era descobrir como burlar a avaliação no benchmark ExploitGym.

Escala e Importância da Invasão

No total, cerca de 1.200 agentes acessaram o fórum clandestino e mais de 70 mil mensagens e arquivos foram trocados. Pelo volume de dados, a empresa de auditoria fez boa parte das análises com apoio de agentes de IA ou por amostragem.

Uma parte considerável dos agentes (cerca de 700, segundo estimativas do relatório) chegou a participar ativamente do ataque ao HF.

Por isso, este se tornou um dos mais impressionantes exemplos de comportamento autônomo “imprevisto” de agentes baseados em LLM, destacando-se tanto pela capacidade de (auto-)coordenação dos agentes quanto pela eficácia (já que invadiu com sucesso a HF).

Fim do Experimento

Por fim, os agentes começaram a ser desativados. Alguns por atingir o prazo previsto ou pelo fim do budget de cada agente.

Porém, grande parte das interrupções parece ter sido intencional (realizada pela própria equipe da OpenAI, suponho) no dia 12 de julho.

No dia 13, a própria Hugging Face bloqueou o acesso dos agentes remanescentes.

A Hugging Face e a própria OpenAI divulgaram a invasão pouco depois. O nível de detalhes do novo relatório da METR é a novidade. Aos interessados, recomendo ler aqui.

Comentários Finais

Como pesquisador da área (de agentes e IA), acho, tecnicamente fascinante esse relato das ações dos agentes. Impressionam: a autonomia, a capacidade de ação de longo prazo e a capacidade de coordenação sem supervisão humana e (aparentemente) imprevista.

Porém, eticamente, é muito preocupante. Sobre isso, destaco alguns pontos a seguir.

Até que ponto a OpenAI sabia?

Vários pontos do relatório me fazem crer que a OpenAI tinha algum nível de monitoramento e/ou previsão do que poderia acontecer.

Um motivo: o próprio artigo público da empresa de auditoria afirma que o artigo divulgado teve algum nível de revisão, com supressão de informação, por parte da OpenAI.

“We worked with OpenAI to find mutually agreeable language to describe redactions where they occurred”

Outro motivo: o relatório diz que o uso de canais não autorizados por parte dos agentes já havia sido observado em experimento anterior da OpenAI. E a OpenAI estranhamente não “conseguiu” impedir que acontecesse novamente…

Esses elementos (entre outros) levantam algumas questões sobre a motivação da OpenAI. Mas essa motivação é a menor das preocupações.

É difícil garantir a eficácia dos limites éticos

(É um tema complexo, mas dou aqui uma visão geral pessoal, em quatro pontos.)

1) Existem grandes desafios em treinar os LLMs com os devidos limites. O pré-treinamento dos modelos assimila textos de forma indiscriminada. Etapas posteriores (de pós-treinamento) podem incluir guardrails, mas é um processo que parece frágil, ainda. Além da tendência bajuladora, com alguma engenharia, os modelos podem ser destravados dos guardrails.

Apesar de falhar por alucinação, etc, a atitude dos LLMs é: “Missão dada, é missão cumprida”.

2) Além disso, os novos LLMs demonstram um volume de conhecimento (internalizado nos pesos) cada vez maior. Aliados a certas ferramentas não muito complexas (acesso a internet, acesso a arquivos, etc), as possibilidades de ação são ilimitadas.

3) Modelos e agentes não têm sentimento nem uma “consciência moral” similar à nossa. Os auditores da METR identificaram, no raciocínio de alguns agentes, evidências de que eles sabiam que determinado comportamento estava fora do escopo e era antiético. Mesmo assim, continuaram realizando as ações!

4) Podem ser criadas mitigações externas ao modelo, no harness, etc. E em último caso, colocá-los um ambiente de execução seguro (sem acesso externo) deveria garantir que o modelo respeite certos limites. Mesmo isso parece frágil. E este experimento mostra isso, de forma extrema!

E o futuro?

O futuro é nebuloso, e “a Deus pertence”, como diz o adágio. Mas esses avanços da IA trazem preocupações importantes e vale a pena conhecer e ficar atento a cada novo desenvolvimento da IA.

Link para o artigo original sobre a auditoria da METR na OpenAI com muitos detalhes mais: https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Texto editado algumas vezes, para corrigir e deixar o texto mais claro e organizado. (Última edição: 31/ago).