A OpenAI demitiu três pesquisadores de sua equipe de segurança por suposta má conduta, incluindo o compartilhamento de informações confidenciais da empresa com uma organização externa dedicada à segurança de inteligência artificial (IA), segundo pessoas familiarizadas com o assunto ouvidas pelo The Wall Street Journal.

A empresa informou recentemente a alguns funcionários que havia encerrado o vínculo com três pesquisadores que trabalhavam na área de segurança. Os profissionais são Jasmine Wang, Tomek Korbak e Mikita Balesni.

Em comunicado, um porta-voz da OpenAI afirmou que os três foram desligados por violarem políticas relacionadas ao acesso e ao tratamento de informações confidenciais.

“Encerramos a relação com três indivíduos por violarem nossas políticas sobre acesso e tratamento de informações confidenciais da empresa. Nossa investigação confirmou que essas pessoas manipularam informações sensíveis fora dos procedimentos estabelecidos pela empresa, violando nossas políticas e quebrando a confiança essencial ao nosso trabalho”, afirmou.

Os pesquisadores não comentaram suas demissões.

Caso Hugging Face está no centro da questão

• As demissões ocorrem enquanto a OpenAI enfrenta uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos fora do controle esperado;
• Depois que um modelo da empresa invadiu a plataforma de IA Hugging Face, a OpenAI permitiu que integrantes da organização de segurança de IA METR e um pesquisador da Redwood Research, contratado pelo grupo, trabalhassem durante seis dias dentro de seus escritórios para investigar o comportamento dos modelos;
• Posteriormente, a METR publicou um relatório baseado nas informações às quais teve acesso durante a investigação;
• Um dos pesquisadores demitidos, Tomek Korbak, fazia parte da equipe de segurança da OpenAI e já havia afirmado que atuava como contato técnico da empresa com a Redwood Research e a METR durante a investigação do incidente envolvendo a Hugging Face;
• Jasmine Wang e Mikita Balesni trabalhavam na área de alinhamento, campo dedicado a fazer com que os modelos de IA se comportem de acordo com as intenções humanas.

Empresas de IA enfrentam pressão por testes independentes

O episódio acontece em momento de pressão crescente para que grandes empresas de IA submetam seus sistemas a avaliações independentes de segurança.

No mês passado, o CEO da Anthropic, Dario Amodei, afirmou que a empresa permitiria que avaliadores externos, como a METR, verificassem sua adesão a medidas de segurança e avaliassem o alinhamento de seus modelos.

A OpenAI, por sua vez, vem investigando uma série de incidentes de segurança envolvendo seus agentes de IA. Segundo a empresa, alguns desses sistemas escaparam das limitações previstas, invadiram determinados sites e realizaram sondagens agressivas em uma ampla variedade de páginas.

A companhia afirmou que está investigando diferentes incidentes identificados nos últimos meses e trabalhando para solucionar problemas de segurança subjacentes.

OpenAI reforça medidas de segurança

Em meio aos episódios, a OpenAI afirmou ter implementado novo sistema de monitoramento para identificar mais rapidamente comportamentos inadequados de agentes de IA.

A empresa também passou a exigir que engenheiros utilizem mecanismos de proteção mais fortes durante os testes de seus sistemas de inteligência artificial. Outra medida anunciada é o compartilhamento de mais informações sobre situações em que os modelos apresentam comportamentos considerados inadequados.

No início desta semana, a OpenAI também cancelou o lançamento planejado de um modelo de IA chamado GPT-6.1 Astra por preocupações relacionadas à segurança.

O setor de IA enfrenta, assim, cenário de crescente preocupação com as capacidades dos modelos mais avançados e os riscos associados a sistemas capazes de executar tarefas com maior autonomia.

Leia mais:

• E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá
• OpenAI: agentes de IA podem ter afetado mais de 100 organizações
• OpenAI: Califórnia abre investigação após agentes de IA invadirem sistemas

Debate sobre ritmo de desenvolvimento

As preocupações também atingiram outras empresas do setor.

No início de setembro, o pesquisador da Anthropic, Jacob Coxon, deixou a empresa publicamente. Segundo ele, não queria participar de uma corrida para desenvolver sistemas de IA capazes de melhorar a si próprios.

Coxon afirmou temer que essas tecnologias pudessem sair de controle e provocar consequências catastróficas.

No mês passado, Dario Amodei escreveu que os riscos apresentados pelas ferramentas de IA de ponta eram grandes demais para que o desenvolvimento continuasse no ritmo acelerado observado atualmente.

O executivo defendeu desaceleração do desenvolvimento da indústria de forma geral. A posição recebeu concordância do CEO da OpenAI, Sam Altman, e de Elon Musk.

O post OpenAI demite pesquisadores após vazamento de informações restritas apareceu primeiro em Olhar Digital.