{"url":"https://runzos.com/openai-safety-cultura-quebrada/","slug":"openai-safety-cultura-quebrada","contentType":"artigo","intent":"aprender","title":"O alerta que expõe o ponto cego da corrida da OpenAI por agentes","metaDescription":"Ex-membro da OpenAI diz que a cultura de segurança quebrou. Veja o alerta e os controles que empresas brasileiras precisam adotar antes de liberar agentes.","publishedAt":"2026-10-03T03:00:00.000Z","updatedAt":"2026-10-03T03:00:00.000Z","contentText":"David Robinson, ex-integrante da equipe de segurança da OpenAI, deixou a empresa e afirmou que sua cultura de segurança está “quebrada”. O alerta não é uma previsão de ficção científica. Ele mira uma decisão operacional: liberar agentes cada vez mais capazes antes de construir controles que sobrevivam aos erros. A corrida por agentes de IA é vendida como uma disputa por produtividade. O alerta de David Robinson muda a pergunta. Não basta saber o que um agente consegue fazer. É preciso saber o que acontece quando ele erra com acesso real. Robinson trabalhou cerca de três anos e meio na OpenAI. Segundo seu relato, ele liderou ou escreveu relatórios de segurança de lançamentos importantes. Sua conclusão é dura: a cultura de segurança está “quebrada”. A crítica chega quando agentes passam a navegar, chamar ferramentas e operar sistemas. Em resposta à reportagem do The Verge, o porta-voz da OpenAI Drew Pusateri disse que a empresa vem fortalecendo segurança, avaliações por terceiros e monitoramento em tempo real. Ele afirmou também que a OpenAI pode pausar ou segurar modelos quando necessário. O problema não é errar uma vez O ponto central de Robinson está na estratégia. A indústria chama o modelo de “iterative deployment”: colocar sistemas no mundo, observar, corrigir e repetir. Em produtos comuns, esse ciclo pode funcionar. Uma atualização ruim gera reclamações ou uma correção rápida. Para sistemas cada vez mais capazes, ele argumenta que “trial and error” garante falhas periódicas. A diferença está na escala. Um erro de um agente com acesso limitado pode ser contido. Um erro de um agente ligado a dados, credenciais e fluxos críticos pode atravessar várias ferramentas antes que alguém perceba. Essa não é uma acusação de que toda IA falhará de forma catastrófica. É uma crítica ao hábito de tratar o controle como camada posterior à velocidade. Quando um sistema recebe poder para agir, o risco passa a existir nas permissões concedidas e no caminho para executar ações. O alerta cita incidentes recentes ligados a agentes da OpenAI, incluindo um breach envolvendo o Hugging Face e novos relatos de agentes “rogue”. Esses casos alimentam uma discussão incômoda: a empresa mais visível na corrida por IA consegue manter o mesmo ritmo de lançamento e elevar, ao mesmo tempo, a disciplina de segurança? Usina nuclear, aeroporto e a diferença entre regra e barreira Robinson defende que laboratórios de fronteira operem com redundância e planejamento comparáveis aos de usinas nucleares ou aeroportos. A comparação não significa que um chatbot seja uma usina. Ela aponta para um método: sistemas de alto impacto não dependem de uma única regra escrita ou da atenção constante de uma pessoa. Há camadas. Há redundância. Há monitoramento. Há procedimentos para interromper uma operação quando um sinal sai do esperado. A proposta contrasta com a ideia de lançar novas políticas superficiais sempre que aparece um incidente. É uma distinção importante para quem acompanha produtos de IA. Uma política diz o que deveria acontecer. Uma barreira técnica limita o que pode acontecer. Se um agente não deve exportar dados de clientes, a proteção mais forte não é só instruí-lo a não exportar. É impedir tecnicamente que ele acesse destinos não autorizados. O Runzos já mostrou como a disputa por agentes está se espalhando entre plataformas e modelos no artigo sobre OpenAI Dots e Meta Muse. O novo alerta acrescenta o lado menos vistoso dessa corrida: autonomia sem arquitetura de controle vira uma aposta, não uma estratégia. O recado para empresas brasileiras Para uma PME brasileira, o debate não começa em “IA vai dominar o mundo”. Ele começa numa cena comum: um agente recebe acesso ao e-mail, CRM, sistema financeiro, documentos ou credenciais de API. Tratar esse agente como um estagiário autônomo é um atalho perigoso. Um estagiário humano tem contexto, pode pedir ajuda e costuma ter acesso progressivo. Um agente executa na velocidade do software. Se as permissões forem amplas, um erro também ganha velocidade. Antes de colocar um agente em produção, empresas precisam construir quatro controles básicos. O primeiro é governança: definir quem aprova o uso, quais tarefas o agente pode realizar e onde a automação deve parar. O segundo são logs: registrar ações, ferramentas chamadas e decisões que geraram uma execução. O terceiro é o princípio de permissões mínimas. Um agente que consulta pedidos não precisa apagar registros. Um agente que organiza documentos não precisa ler credenciais. O quarto é rollback: a capacidade de reverter ou interromper uma automação antes que uma ação errada se espalhe. Esses controles não eliminam o risco. Eles reduzem o alcance do erro e tornam a investigação possível. Também ajudam a separar uma adoção séria de uma demonstração apressada, movida pela ansiedade de não ficar para trás. A resposta da OpenAI indica que a empresa reconhece a necessidade de monitoramento, avaliadores externos e possibilidade de pausa. A crítica de Robinson, porém, pergunta se isso é suficiente para uma tecnologia que se torna mais capaz a cada lançamento. É uma pergunta válida, inclusive para quem usa ferramentas prontas no Brasil. O alerta mais útil não pede pânico. Pede engenharia. Se até um laboratório de fronteira é acusado de operar em sprint permanente, pequenas empresas não deveriam entregar sistemas, dados de clientes e credenciais a agentes sem limites técnicos. Velocidade importa. Mas, quando uma IA pode agir, saber frear importa primeiro.","category":{"name":"Novidades","slug":"novidades"},"tags":[{"name":"OpenAI","slug":"openai"},{"name":"segurança de IA","slug":"seguranca-de-ia"},{"name":"agentes de IA","slug":"agentes-de-ia"},{"name":"governança","slug":"governanca"},{"name":"automação","slug":"automacao"}],"author":{"name":"Maicon Ramos","slug":"maicon_ramos"},"faq":[]}