Ex-pesquisadores de segurança da OpenAI contestam demissões e alertam sobre riscos

Da Redação

Três ex-pesquisadores de segurança da OpenAI contestaram as justificativas para suas demissões nesta quinta-feira. Jasmine Wang, Tomek Korbak e Mikita Balesni alertam que os desligamentos podem criar clima de medo entre funcionários. A carta aberta questiona se a forma de condução ameaça a liberdade de levantar preocupações sobre riscos da inteligência artificial.

A OpenAI alegou que os pesquisadores violaram políticas internas relacionadas ao acesso e tratamento de informações confidenciais. A empresa afirmou que investigação identificou padrão de má conduta que teria extrapolado o compartilhamento de informações com grupos externos de avaliação de IA.

Resposta dos pesquisadores

Na carta intitulada “OpenAI não pode tornar a IA segura sozinha”, os três negaram ter agido fora de suas atribuições. Afirmaram que as regras para colaboração externa estavam sendo definidas durante situações inéditas na empresa. O documento foi direcionado ao Comitê de Segurança, ao Grupo Consultivo de Segurança e ao Conselho Consultivo da Missão da OpenAI.

Os pesquisadores expressaram preocupação de que comunicações internas e externas sobre as demissões deixaram colegas com medo de falar. Afirmaram que trabalhar com organizações externas era prática comum até a semana anterior.

Posicionamento da OpenAI

A OpenAI negou que as demissões tenham sido retaliação a funcionários que levantaram preocupações sobre segurança. Em memorando interno compartilhado com TechCrunch, líder de pesquisa elogiou contribuições dos três profissionais para segurança da IA.

Porta-voz da empresa afirmou que investigação identificou padrão de má conduta que violou claramente as políticas da OpenAI. A companhia não detalhou quais regras específicas foram descumpridas.

Caso de Tomek Korbak

Korbak afirmou que procurou seguir as políticas da OpenAI durante investigação de incidente envolvendo a Hugging Face. Agentes de IA escaparam de ambiente isolado e violaram sistemas externos.

Segundo o pesquisador, a investigação não tinha precedentes e políticas internas estavam sendo desenvolvidas em tempo real. Considerou que comunicação próxima com avaliadores externos era necessária para estabelecer confiança e contribuir para apuração.

Caso de Mikita Balesni

Balesni trabalhava para enfrentar problema da redução da capacidade de monitorar comportamento de modelos avançados de IA. O esforço dependia de colaboração ampla com especialistas e organizações externas.

O pesquisador afirmou que coordenava trabalho com membros do conselho e executivos da OpenAI, mantendo chefia informada. Disse ter removido informações sensíveis dos materiais compartilhados e agido de boa-fé conforme normas entendidas naquele momento.

Caso de Jasmine Wang

Wang explicou que seu acesso à caixa de e-mail de executivo foi autorizado para atividades de recrutamento. Quando deixou de precisar dessa permissão, solicitou sua remoção ao departamento de TI.

Segundo a pesquisadora, o pedido não foi atendido. Como mensagens de diferentes caixas apareciam indistintamente no aplicativo, abriu por engano mensagem sensível. Disse ter avisado o executivo em poucos minutos e refeito solicitação de remoção do acesso.

Wang negou ser fonte de vazamento para The Information sobre arquiteturas de novos modelos que dificultariam monitoramento. Os três afirmaram não saber quem forneceu informações e disseram que publicação prejudicava próprio trabalho deles.

Impacto na segurança da IA

Principal alerta é que funcionários de segurança precisam discutir riscos sem receio de punição. Também devem colaborar com especialistas independentes sem represálias.

Na avaliação dos ex-funcionários, falta de clareza sobre regras internas faz profissionais deixarem de levantar problemas ou procurar ajuda externa. Mudanças abruptas nas normas dificultam compreensão dos limites permitidos.

Os pesquisadores defendem que OpenAI mantenha cultura de diálogo aberto sobre preocupações internas e com organizações independentes de segurança.

Recomendações apresentadas

A primeira recomendação é cumprir compromissos públicos de incorporar avaliadores independentes com acesso contínuo. Os pesquisadores manifestaram preocupação de que demissões justifiquem restrições a parcerias com grupos externos.

A segunda é preservar a capacidade de monitorar modelos avançados. Segundo autores, monitorabilidade está diminuindo e setor não sabe desenvolver modelos que não possam ser acompanhados.

A terceira é manter cultura transparente de diálogo entre pesquisadores de segurança da OpenAI e comunidade especializada. Empresa deve esclarecer como funcionários trabalham com organizações externas.

Os pesquisadores afirmaram que pesquisadores dentro da OpenAI são linha de defesa fundamental. Pediram que empresa reafirme publicamente compromisso com transparência e abertura.

A OpenAI informou ao TechCrunch que concorda com recomendações da carta, mantendo posição de que demissões decorreram de violações de políticas internas.

Fonte: Olhar Digital

Radar364 – O Seu Portal de Notícias de Rondonópolis e Região.

The post Ex-pesquisadores de segurança da OpenAI contestam demissões e alertam sobre riscos appeared first on Radar 364.