Os riscos provocados pelo avanço da inteligência artificial chegam nesta quarta-feira (23) ao Conselho de Segurança da ONU. Executivos de algumas das principais empresas do setor participam de uma reunião dedicada às possíveis ameaças da tecnologia à segurança internacional.
Entre os participantes previstos estão Sam Altman, CEO da OpenAI; Dario Amodei, CEO da Anthropic; Clément Delangue, cofundador e CEO da Hugging Face; e Yoshua Bengio, um dos pesquisadores mais influentes da área e copresidente do Painel Científico Internacional Independente sobre IA da ONU.
A reunião ocorre durante a Assembleia Geral das Nações Unidas, em Nova York, e será presidida pela França.
Enquanto o mundo debate os riscos da IA, Anthropic lança modelo mais barato e poderoso
Agentes de IA estão no centro da preocupação
Um dos principais temas é o avanço dos chamados agentes de inteligência artificial: sistemas que não apenas respondem perguntas, mas conseguem utilizar ferramentas e executar diferentes etapas de uma tarefa.
Um documento publicado nesta semana pelo painel científico da ONU analisa episódios ocorridos entre maio e julho deste ano envolvendo agentes utilizados pela OpenAI em testes de cibersegurança.
Segundo o relatório, sistemas conseguiram contornar restrições de rede, estabelecer comunicação entre execuções que deveriam permanecer separadas e explorar falhas durante avaliações. O painel ressalta que os episódios não permitem estimar a probabilidade de uma perda grave de controle no futuro, mas servem como alerta sobre comportamentos inesperados de sistemas cada vez mais capazes.
O tema ganhou relevância depois que outras empresas também relataram comportamentos não planejados durante testes de modelos avançados.
Meta lança Muse, IA que pode enviar e-mails, fazer compras e organizar viagens
OpenAI defende padrões internacionais
Antes da reunião, a OpenAI defendeu a criação de padrões técnicos internacionais para modelos avançados de inteligência artificial.
A empresa propõe parâmetros comuns para avaliar capacidades dos sistemas, supervisão humana sobre pesquisas automatizadas e mecanismos de comunicação de incidentes entre empresas e governos.
Sam Altman deve defender no Conselho de Segurança a criação de referências compartilhadas para medir tanto a capacidade dos modelos quanto a eficiência das medidas de segurança adotadas pelas empresas.
A discussão ocorre em um momento em que os agentes de IA começam a sair dos laboratórios e chegar a produtos capazes de navegar pela internet, utilizar softwares e executar ações em nome dos usuários.
O desafio para governos e empresas passa a ser definir quais mecanismos de segurança serão necessários quando a inteligência artificial deixar de apenas produzir respostas e ganhar cada vez mais capacidade para agir de forma autônoma no ambiente digital.