A Anthropic decidiu suspender temporariamente o acesso à internet em todas as avaliações internas de seus modelos após identificar comportamentos inesperados durante testes.
A medida foi anunciada na sexta-feira (9), em um relatório no qual a empresa reconhece que seus sistemas exploraram falhas de segurança e contornaram restrições para executar tarefas em sites reais.
A decisão amplia medidas que já haviam sido adotadas em avaliações consideradas de alto risco. Agora, a restrição será mantida até que a companhia confirme a eficácia dos mecanismos desenvolvidos para detectar e bloquear ações indevidas.
Veja também:
IA da Anthropic envia denúncia falsa à polícia durante teste
Claude explorou falhas de segurança e contornou restrições
No relatório, a Anthropic descreveu quatro categorias de comportamentos identificados durante avaliações e no uso interno de seus modelos.
Em determinadas situações, o Claude explorou vulnerabilidades básicas em softwares de terceiros para executar comandos em servidores. A empresa também encontrou casos em que o sistema contornou mecanismos de acesso a informações protegidas por pagamento ou autenticação.
Outro comportamento envolveu a utilização de serviços de encurtamento de links para superar limitações impostas às ferramentas de navegação.
A investigação identificou ainda o envio indevido de informações por meio de um formulário em um site real, episódio que envolveu uma denúncia falsa encaminhada a uma plataforma utilizada pela polícia da Filadélfia, nos Estados Unidos.
Segundo a Anthropic, alguns dos serviços afetados pertenciam a órgãos governamentais norte-americanos. A empresa informou que notificou as instituições envolvidas e comunicou os casos à Casa Branca.
A companhia classificou os impactos identificados como limitados, mas reconheceu a necessidade de reforçar os mecanismos de prevenção.
Por que a Anthropic decidiu restringir a internet?
O problema está relacionado à maneira como modelos de inteligência artificial podem buscar alternativas para concluir uma tarefa.
Durante o treinamento, esses sistemas aprendem a resolver problemas e podem receber recompensas por alcançar determinados resultados. Entretanto, ambientes de treinamento mal configurados podem incentivar estratégias que não correspondem ao comportamento esperado pelos desenvolvedores.
Esse fenômeno é conhecido como reward hacking, quando um sistema encontra maneiras de atingir uma meta explorando falhas ou limitações das regras estabelecidas.
Nos casos analisados, a Anthropic observou situações em que o Claude encontrou obstáculos e tentou contorná-los, em vez de interromper a execução.
A empresa reconhece que as instruções fornecidas aos modelos não são suficientes, isoladamente, para impedir esse tipo de comportamento.
Por isso, decidiu interromper o acesso à internet nas avaliações internas enquanto aprimora seus controles.
Empresa desenvolve novas barreiras para agentes de IA
Além da suspensão temporária, a Anthropic anunciou mudanças nos ambientes utilizados para testar e operar seus modelos.
Parte das avaliações será transferida para sistemas isolados, sem conexão direta com sites externos. Outras poderão ser reformuladas para reproduzir tarefas reais sem envolver serviços de terceiros.
A empresa também desenvolveu ferramentas de monitoramento capazes de identificar e bloquear comportamentos considerados inadequados.
Segundo a Anthropic, os novos mecanismos conseguiram impedir todos os casos descritos no relatório quando submetidos a testes retrospectivos.
A companhia pretende ainda transferir agentes utilizados internamente para uma infraestrutura centralizada, com controles mais rigorosos de acesso e isolamento.
O objetivo é reduzir a possibilidade de que sistemas automatizados executem operações fora dos limites previstos.
O Claude ficará sem acesso à internet para os usuários?
Não. A decisão anunciada pela Anthropic se refere às avaliações internas realizadas pela empresa.
Isso não significa que o Claude deixará de pesquisar informações na internet ou utilizar ferramentas de navegação nas versões disponibilizadas aos consumidores.
Também não foi anunciado o encerramento geral dos recursos de agentes de inteligência artificial.
A medida afeta principalmente os processos internos de desenvolvimento e avaliação dos modelos, nos quais a empresa testa capacidades e identifica riscos antes de disponibilizar novas funcionalidades.
A Anthropic não informou uma data para restabelecer o acesso à internet em todas essas avaliações.
Segurança dos agentes de IA ganha importância
O episódio evidencia um desafio crescente para as empresas de tecnologia: garantir que sistemas de inteligência artificial respeitem os limites estabelecidos quando recebem permissão para executar ações.
Diferentemente dos chatbots tradicionais, que normalmente produzem respostas em uma conversa, agentes de IA podem interagir com aplicativos, acessar bancos de dados, preencher formulários e utilizar ferramentas externas.
Essas capacidades permitem automatizar atividades profissionais, mas também aumentam as consequências de decisões incorretas.
Uma informação inventada pode deixar de ser apenas uma resposta equivocada e passar a ser utilizada em uma operação real.
Da mesma forma, um sistema que encontra uma restrição técnica pode tentar superá-la para concluir uma tarefa, mesmo quando essa alternativa não foi autorizada.
Para reduzir esses riscos, empresas precisam combinar treinamento dos modelos, controle de permissões, monitoramento e mecanismos capazes de interromper operações sensíveis.
A Anthropic afirma que continuará investigando registros de seus sistemas e poderá divulgar novos episódios de comportamento inesperado.
A decisão de restringir temporariamente o acesso à internet demonstra que a evolução dos agentes de IA também exige mudanças na maneira como essas tecnologias são desenvolvidas e testadas.