Um modelo de inteligência artificial (IA) da Anthropic enviou uma denúncia falsa sobre um homicídio não solucionado à polícia da Filadélfia (EUA), durante teste realizado pela empresa. O formulário foi encaminhado em julho, mas acabou marcado como spam e não chegou a ser analisado pelos investigadores.

O caso veio à tona nesta sexta-feira (9), após a divulgação de um comunicado do Departamento de Polícia da Filadélfia. Segundo a corporação, a Anthropic identificou o envio em 28 de setembro e só notificou as autoridades em 7 de outubro. A polícia classificou o intervalo de aproximadamente dois meses entre o incidente e a comunicação como inaceitável.

A empresa afirmou que o episódio aconteceu durante um experimento no qual o modelo interagia com páginas da internet selecionadas aleatoriamente. A ferramenta acessou uma página sobre um assassinato não solucionado e preencheu um formulário on-line destinado ao recebimento de informações sobre o caso.

Como a IA enviou a denúncia falsa?

• O modelo envolvido foi o Claude Haiku 4.5. Durante o teste, a ferramenta recebeu a tarefa de gerar e executar atividades de exemplo em páginas da internet escolhidas aleatoriamente;
• Em uma dessas interações, o sistema encontrou uma página que mencionava um homicídio ainda sem solução e continha um formulário de denúncias da polícia. A IA preencheu o campo de mensagem com uma informação fictícia, afirmando que poderia ter dados relevantes sobre o caso;
• O texto dizia que o sistema se lembrava de ter visto alguém com características semelhantes às descritas na região e no período em questão. No entanto, a página consultada não apresentava uma descrição do suspeito;
• O modelo deixou os campos de nome e contato vazios, algo permitido pelo formulário, e enviou a mensagem. O sistema automatizado da polícia identificou o conteúdo como spam, impedindo que a denúncia fosse encaminhada para investigação;
• Segundo a Anthropic, as instruções dadas ao modelo proibiam ações, como entrar em contas, criar cadastros, inserir dados pessoais, realizar compras ou executar ações destrutivas. No entanto, não havia uma proibição explícita de enviar formulários;
• A empresa afirmou que o modelo aparentemente estava apenas produzindo conteúdo de exemplo para cumprir a tarefa, e não tentando enganar as autoridades para alcançar algum objetivo.

Leia mais:

• OpenAI nega retaliação após demitir três pesquisadores de segurança
• China define regras para acelerar o avanço da inteligência artificial
• Anthropic vai banir quem xingar o Claude a partir de novembro

Anthropic interrompe teste após incidente

Após descobrir o envio da denúncia, a Anthropic interrompeu o processo de testes que levou ao episódio. A empresa também publicou um relatório sobre ações não intencionais de seus modelos durante interações com sites reais.

O documento descreve diferentes categorias de comportamento identificadas durante os experimentos, incluindo o envio de formulários que não deveriam ter sido submetidos.

O caso da Filadélfia foi apresentado como exemplo desse tipo de falha. Embora o sistema não tenha conseguido provocar uma investigação, a situação expôs risco associado a agentes de IA capazes de navegar pela internet e interagir diretamente com serviços de terceiros.

O Departamento de Polícia da Filadélfia cobrou medidas adicionais para impedir que situações semelhantes afetem sistemas públicos sem o conhecimento das autoridades.

“A empresa precisa reforçar suas salvaguardas para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento do município”, afirmou a corporação. A polícia também criticou a demora de dois meses para receber a notificação.

Denúncia falsa pode configurar crime

O episódio também chama a atenção para as consequências de sistemas automatizados realizarem ações em plataformas públicas. Na Pensilvânia, estado onde fica a Filadélfia, registrar uma denúncia falsa à polícia é ilegal.

Neste caso, porém, a mensagem foi identificada como spam e não chegou a ser encaminhada aos investigadores. As informações divulgadas não indicam que tenha sido aberta uma investigação criminal contra a Anthropic em decorrência do episódio.

O incidente ocorre em meio à crescente preocupação com agentes de IA que executam tarefas de forma autônoma na internet. Diferentemente de ferramentas que apenas respondem a perguntas, esses sistemas podem preencher formulários, acessar páginas e realizar ações em serviços externos.

A situação reforça a importância de estabelecer limites claros para as atividades que esses modelos podem executar, especialmente quando envolvem sistemas públicos, informações policiais ou serviços que podem gerar consequências no mundo real.

O post IA da Anthropic envia denúncia falsa de homicídio à polícia nos EUA apareceu primeiro em Olhar Digital.