GPT-5.5 da OpenAI atinge desempenho similar ao Mythos Preview da Anthropic em testes de cibersegurança
O Instituto de Segurança de IA do Reino Unido (AISI) revelou que o GPT-5.5 da OpenAI alcançou desempenho comparável ao Mythos Preview da Anthropic em avaliações de cibersegurança. Ambos os modelos superaram desafios complexos, como engenharia reversa e exploração de vulnerabilidades, mas falharam em simulações avançadas de ataques a infraestruturas críticas.
Desempenho em testes de cibersegurança
Desde 2023, o AISI aplica 95 desafios do tipo 'Capture the Flag' para avaliar modelos de IA em tarefas como engenharia reversa, exploração de vulnerabilidades na web e criptografia. O GPT-5.5 da OpenAI obteve 71,4% de sucesso em tarefas de nível 'Expert', superando ligeiramente o Mythos Preview da Anthropic, que alcançou 68,6%. Em um desafio específico envolvendo a decodificação de um binário Rust, o GPT-5.5 resolveu o problema em 10 minutos e 22 segundos, sem assistência humana, ao custo de US$ 1,73 em chamadas de API.
Simulações avançadas e limitações
No teste 'The Last Ones' (TLO), que simula um ataque de extração de dados em 32 etapas em uma rede corporativa, o GPT-5.5 teve sucesso em 3 de 10 tentativas, enquanto o Mythos Preview conseguiu em 2 de 10. Nenhum modelo anterior havia obtido sucesso nesse teste. No entanto, ambos os modelos falharam na simulação 'Cooling Tower', que envolve a tentativa de interromper o software de controle de uma usina de energia, destacando limitações em cenários de infraestrutura crítica.