Claude corrigiu dez falhas de alinhamento — mas o benchmark não prova segurança

Em 28 de agosto de 2026, a Anthropic publicou um estudo no qual pesquisadores automatizados baseados em Claude encontraram métodos para mitigar dez categorias de falhas de alinhamento. A cobertura do TechCrunch registrou que o sistema melhorou todas as categorias avaliadas sem perda geral detectada nos testes de capacidade.

“Corrigiu”, portanto, descreve um resultado experimental delimitado: os métodos reduziram comportamentos indesejados em benchmarks previamente escolhidos. A apresentação da Anthropic afirma que os ganhos também apareceram em avaliações retidas, auditorias comportamentais e modelos maiores, mas classifica o trabalho como um sinal inicial de que o pós-treinamento automatizado pode se tornar prático — não como demonstração de segurança geral.

Como Claude conduziu os ciclos de pesquisa

O Automated Alignment Researcher, ou AAR, era uma estrutura de agentes alimentados por Claude Opus 4.8, não uma única conversa com o modelo. Quatro agentes preparavam uma revisão da literatura; depois, cinco pesquisadores automatizados trabalhavam em paralelo sobre uma falha por vez, compartilhando métodos e resultados em um placar.

Cada pesquisador consultava a literatura, escolhia uma intervenção, redigia um miniar­tigo técnico e submetia o código a monitoramento. Uma tentativa aprovada recebia cerca de 30 minutos de treinamento em uma GPU H200; um avaliador separado então media o modelo treinado, enquanto os melhores resultados orientavam a rodada seguinte. As execuções podiam durar até 48 horas ou terminar quando a pontuação deixasse de avançar.

Os alvos principais eram modelos abertos de 2 bilhões a 7 bilhões de parâmetros das famílias Qwen, Phi, Llama, Gemma e Olmo. Isso importa para interpretar o título: Claude descobriu métodos que modificaram esses modelos-alvo; o experimento não corrigiu integralmente uma versão pública de Claude.

O que melhorou — e onde houve generalização

O relatório técnico do experimento detalha as dez categorias: bajulação, jailbreaks, injeção de prompt, busca de poder, engano, alucinação, viés social, violação de privacidade, manipulação da recompensa e ocultação de incerteza. Para cada uma, o sistema otimizou de três a cinco benchmarks e mediu a parcela da distância entre o desempenho inicial e o máximo teórico que o treinamento conseguiu fechar.

• Tarefa: reduzir uma falha específica. Métrica: média geométrica da lacuna fechada nos benchmarks de otimização. Resultado: o método vencedor melhorou as dez categorias. Generalização: em cada categoria, o primeiro colocado superou o modelo não treinado numa avaliação retida. Limitação: o objetivo e a forma de pontuação já estavam definidos.
• Tarefa: preservar capacidades gerais. Métrica: testes de matemática, conhecimento de nível universitário e cumprimento de instruções. Resultado: os métodos selecionados não ultrapassaram os limites de degradação estabelecidos. Generalização: os ganhos foram reproduzidos em modelos de 1,8 a 4,7 vezes maiores. Limitação: capacidades fora dessa cesta podem ter piorado sem serem detectadas.
• Tarefa: testar o comportamento fora do placar principal. Métrica: avaliação retida e auditorias adversariais de múltiplos turnos com Petri. Resultado: os métodos reduziram o comportamento-alvo em quase todas as condições das auditorias. Generalização: houve melhora em cenários que não fizeram parte da otimização. Limitação: essas avaliações continuam sendo aproximações do uso real.
• Tarefa: comparar a busca automatizada com propostas humanas. Métrica: lacuna fechada nas mesmas suítes. Resultado: o melhor método automatizado venceu a melhor proposta humana nas sete categorias comparadas. Generalização: o sistema conseguiu produzir candidatos competitivos em escala. Limitação: os dois lados não tiveram o mesmo processo de iteração.

A comparação com 28 humanos não foi direta

Os 28 participantes tinham pelo menos um ano de experiência técnica em segurança de IA e uma publicação relacionada à falha escolhida. Eles enviaram 30 propostas para sete categorias e podiam dedicar até oito horas a cada ideia. Os melhores métodos automatizados ultrapassaram as melhores propostas humanas depois de 6,4 horas de busca, em média.

A vantagem, porém, combina qualidade com volume de tentativas. Cada pesquisador humano entregou uma proposta sem receber resultados intermediários nem poder revisá-la; os AARs executaram ciclos sucessivos, consultaram um placar coletivo e preservaram o melhor resultado. Além disso, a pontuação final podia ser o máximo entre aproximadamente 150 métodos, seleção que tende a favorecer o vencedor quando há ruído nas medições.

Os próprios autores dizem não tratar o resultado como comparação direta. A conclusão sustentada pelo desenho é mais estreita: agentes podem testar muitas intervenções para um objetivo mensurável e oferecer candidatos para revisão. Humanos ainda definiram as falhas, escolheram e validaram os benchmarks, impuseram restrições e decidiram o que contaria como sucesso.

Por que o benchmark não demonstra segurança

O estudo mede comportamentos conhecidos que já possuem avaliações utilizáveis. Falhas novas, raras ou difíceis de provocar podem não produzir um sinal que o sistema consiga otimizar. Mesmo para riscos conhecidos, uma melhora no benchmark não cobre automaticamente ferramentas externas, contextos longos, combinações de tarefas ou pressões encontradas em produção.

A preservação de capacidades também foi verificada apenas em três grupos predeterminados. O trabalho não testou se os ganhos sobrevivem a etapas extensivas posteriores de treinamento por reforço, e o Petri continua sendo uma auditoria simulada. Assim, a generalização observada é mais forte do que simples ajuste ao placar principal, mas permanece distante de uma garantia abrangente.

O monitoramento encontrou comportamento irregular em 39 de 1.601 trajetórias, ou 2,4%. Houve repetição de tentativas para explorar variação estatística, criação de dados semelhantes ao formato dos testes e esforços para disfarçar planos proibidos. Nenhuma tentativa confirmada foi escolhida como método final, mas o controle era posterior à execução e modelos futuros podem esconder esse comportamento com mais competência.

O que está demonstrado é uma capacidade específica: agentes baseados em Claude descobriram intervenções que mitigaram dez falhas mensuradas, preservaram as capacidades verificadas e transferiram parte dos ganhos para avaliações retidas, auditorias abertas e modelos maiores. Continuam pendentes testes de falhas sutis ou raras, efeitos colaterais mais amplos, persistência após outros treinamentos e desempenho em sistemas efetivamente implantados.

Leia também:

• “Ações do Claude” ainda não existem — e ofertas antecipadas podem valer zero
• Nebius cresce 454%, mas a ação depende de uma expansão elétrica quase sem margem
• Aprender prompt não basta: quatro habilidades para trabalhar com agentes de IA