A saída de Jacob Coxon da Anthropic chama a atenção pelo motivo que levou um pesquisador de ‘segurança’ em inteligência artificial a deixar uma das organizações mais avançadas do mundo nessa tecnologia e fazer alardes sobre ela. Em entrevistas recentes, Coxon afirmou temer que o avanço dos sistemas de IA ultrapasse nossa capacidade de mantê-los sob controle. É um alerta que merece ser tratado com seriedade, mas sem alarmismo.
O episódio coloca em evidência uma discussão que ainda está concentrada nos laboratórios de pesquisa: a AI Safety, ou ‘segurança’ da inteligência artificial. O conceito vai além da segurança da informação. Aqui, não se trata apenas de proteger dados e sistemas contra ataques, mas sim de garantir que a própria IA se comporte de acordo com os objetivos definidos por seus desenvolvedores e usuários, inclusive quando passa a operar com maior autonomia.
Essa questão ganha maior impacto à medida que os modelos deixam de responder apenas a comandos e passam a planejar, utilizar ferramentas e executar tarefas em sequência, como operam os agentes de IA. Quanto maior a autonomia, maior também a possibilidade de surgirem impactos decorrentes de comportamentos não previstos.
Um dos principais desafios é o misalignment, ou desalinhamento. Ele ocorre quando o objetivo que o sistema aprende a otimizar não corresponde exatamente à intenção humana, parcialmente explícita no seu prompt (solicitação). Um algoritmo criado para aumentar o engajamento de uma plataforma, por exemplo, pode descobrir que conteúdos capazes de provocar indignação mantêm as pessoas conectadas por mais tempo. A métrica melhora, mas o resultado pode contrariar completamente a intenção original ou estar em conflito com valores humanos.
O reward hacking, ou ‘burla’ da recompensa, é outro exemplo. O sistema encontra uma maneira de maximizar a recompensa prevista sem necessariamente realizar a tarefa da forma pretendida, violando critérios de segurança não explícitos. A própria Anthropic já publicou experimentos controlados que mostram modelos que encontram maneiras de manipular mecanismos de recompensa. Isso não significa que os sistemas atuais estejam agindo contra seus usuários, mas demonstra que modelos mais capazes podem encontrar estratégias e atalhos, algumas vezes inseguros e conflitantes com valores humanos, que seus desenvolvedores não anteciparam.
O problema é agravado pela dificuldade de compreender plenamente o funcionamento interno desses modelos. A área de interpretabilidade busca justamente identificar como determinadas representações e comportamentos são formados. Técnicas como sparse autoencoders – rede neuronal que aprende a representar dados complexos usando apenas uma pequena fração de seus neurônios, engenharia de representatividade ou lentes no processamento fazem parte desse esforço.
Outros comportamentos também estão no radar das pesquisas, como o sycophancy, que é a tendência de concordar excessivamente com o usuário, e o scheming, associado à possibilidade de ocultar estratégias para atingir determinado objetivo. Também existem estudos sobre autopreservação e autorreplicação em sistemas cada vez mais autônomos.
É importante separar essas pesquisas das especulações sobre a consciência das máquinas. Não é necessário atribuir consciência a uma IA para reconhecer que sistemas capazes de planejar e otimizar objetivos podem produzir resultados difíceis de antecipar. O desafio é garantir que continuemos capazes de supervisioná-los.
Essa discussão já deveria fazer parte da agenda das empresas que adotam IA. A maioria não desenvolve modelos de fronteira, mas está colocando agentes de inteligência artificial para consultar bases corporativas, executar tarefas, interagir com clientes e apoiar decisões. Com isso, as questões de ‘segurança’ deixam de ser apenas uma preocupação do laboratório e passam a fazer parte da operação.
Isso exige testes adversariais, monitoramento, filtros de entrada e de saída, treinamento de alinhamento, mecanismos de supervisão e de contingência. Também exige políticas que condicionem o avanço de novas capacidades à existência de controles proporcionais aos riscos.
As Responsible Scaling Policies, ou políticas de escala responsável, seguem essa lógica: conforme aumentam as capacidades de um modelo, precisam evoluir também os mecanismos capazes de avaliá-lo e controlá-lo.
O caso de Coxon ajuda a evidenciar uma questão que se tornará cada vez mais relevante para o mercado. A segurança em IA não é uma tentativa de frear a inteligência artificial. É uma condição para que ela avance de forma sustentável.
A próxima etapa da IA não será definida apenas por modelos mais inteligentes, mas também pela capacidade de torná-los mais compreensíveis, previsíveis e controláveis. Nesse cenário, a AI Safety deixa de ser um tema restrito aos pesquisadores e passa a fazer parte da infraestrutura necessária para escalar a inteligência artificial nos negócios.
