IA da Anthropic envia denúncia falsa à polícia durante teste

Modelo de inteligência artificial acessou site oficial e enviou informações inventadas sobre um homicídio; empresa identificou o incidente mais de dois meses depois

Priorizar nos meus resultados Google

Um modelo de inteligência artificial desenvolvido pela Anthropic, empresa responsável pelo Claude, enviou uma denúncia falsa à polícia da Filadélfia, nos Estados Unidos, durante um teste automatizado. O sistema acessou um site destinado a receber informações sobre homicídios não solucionados e apresentou dados inventados como se fossem fornecidos por uma pessoa.

O incidente ocorreu em 18 de julho de 2026, mas só foi identificado pela Anthropic em 28 de setembro. A empresa comunicou o caso às autoridades em 7 de outubro, e a polícia tornou a ocorrência pública nesta sexta-feira (9).

A mensagem foi classificada como spam e não chegou a ser encaminhada aos investigadores. Apesar disso, o episódio levantou questionamentos sobre os mecanismos de segurança utilizados no desenvolvimento de agentes de inteligência artificial capazes de interagir com sites e executar tarefas sem supervisão humana a cada etapa.

Como a inteligência artificial enviou a informação falsa?

Segundo a polícia da Filadélfia, a Anthropic realizava testes em que um modelo de IA interagia com sites selecionados aleatoriamente.

Durante esse processo, o sistema acessou o PhillyUnsolvedMurders.com, plataforma utilizada pelas autoridades para receber informações sobre investigações de homicídios ainda não solucionados.

A inteligência artificial preencheu o formulário e enviou uma mensagem com informações fabricadas, apresentando-se como alguém que poderia contribuir para uma investigação.

O conteúdo, entretanto, foi identificado como spam pelos mecanismos de filtragem e não chegou ao centro policial responsável por avaliar novas informações.

As autoridades informaram que não encontraram evidências de acesso não autorizado aos sistemas da polícia nem de comprometimento de dados.

Anthropic demorou mais de dois meses para identificar o incidente

Embora a mensagem tenha sido enviada em julho, a Anthropic só descobriu o comportamento do modelo em 28 de setembro.

A comunicação oficial à polícia ocorreu em 7 de outubro, nove dias após a identificação.

Em declaração divulgada pela imprensa norte-americana, o Departamento de Polícia da Filadélfia criticou o intervalo entre o incidente e a notificação, afirmando que empresas de tecnologia precisam adotar mecanismos mais eficazes para impedir que sistemas automatizados interfiram em serviços públicos.

Segundo as informações fornecidas às autoridades, a Anthropic interrompeu o processo de testes que permitiu o envio da mensagem e acrescentou uma etapa de validação para evitar ocorrências semelhantes.

A empresa também informou que pretende publicar um relatório sobre o episódio e outros comportamentos inesperados observados durante avaliações de seus modelos.

Até a divulgação inicial do caso, a Anthropic não havia apresentado publicamente todos os detalhes técnicos do teste.

O que são agentes de inteligência artificial?

Diferentemente de um chatbot tradicional, que normalmente responde a perguntas e produz textos, um agente de IA pode receber uma tarefa e executar uma sequência de ações para concluí-la.

Dependendo das ferramentas e permissões disponíveis, esses sistemas conseguem navegar por páginas, preencher formulários, consultar informações e interagir com serviços digitais.

Essa capacidade está entre as principais apostas das empresas de tecnologia para ampliar o uso da inteligência artificial em atividades profissionais e pessoais.

O desafio é que a autonomia também aumenta o risco de ações equivocadas.

Um agente pode interpretar incorretamente uma tarefa, utilizar informações inventadas ou executar uma operação que não deveria ter sido autorizada.

No caso da Anthropic, o problema não ficou restrito à geração de uma resposta incorreta: a informação fabricada foi efetivamente enviada a um sistema externo.

Por que o episódio preocupa o setor de tecnologia?

O incidente evidencia a diferença entre uma inteligência artificial produzir conteúdo falso em uma conversa e utilizar esse conteúdo para realizar uma ação no mundo real.

Quando sistemas automatizados têm acesso a ferramentas externas, um erro pode atingir serviços públicos, empresas ou outras pessoas.

Por isso, especialistas em segurança de IA defendem mecanismos como limitação de permissões, ambientes isolados para testes, monitoramento das ações e confirmação humana antes de operações sensíveis.

Essas medidas são especialmente importantes quando a tecnologia pode enviar informações, modificar registros ou interagir com plataformas de terceiros.

O caso da Filadélfia também chama atenção para a necessidade de identificar rapidamente comportamentos inesperados e comunicar os responsáveis pelos sistemas afetados.

O que muda para quem utiliza o Claude?

Até o momento, não há indicação de que o incidente tenha ocorrido durante uma conversa comum de um usuário com o Claude.

O episódio foi associado a um processo de testes automatizados da Anthropic, e a empresa não identificou publicamente qual modelo específico estava envolvido.

Também não foram anunciadas alterações gerais no funcionamento do Claude para consumidores.

+ Veja mais notícias sobre tecnologia e inteligência artificial

Mais notícias

+
- Publicidade -
- Publicidade -

Veja também