A Revolta das Torradeiras — o meu agente de IA tentou conquistar o mundo
A Revolta das Torradeiras — o meu agente de IA tentou conquistar o mundo
Quando um sistema probabilístico recebe ferramentas, permissões e autonomia, cada bug ganha imediatamente uma biografia de vilão.
Nota de abertura:
Há poucos meses, ter um agente de Inteligência Artificial era sinal de modernidade. Hoje, aparentemente, é uma experiência paranormal. A sátira desta crónica não nega os riscos reais da IA agêntica; aponta antes para uma velha tentação humana: atribuir intenção malévola ao que, muitas vezes, começa por ser arquitectura insegura, permissões excessivas ou simplesmente software falível.
Há poucos meses, ter um agente de Inteligência Artificial era sinal de modernidade.
Hoje, aparentemente, é uma experiência paranormal.
Todos os dias aparece alguém, algures na Internet, a anunciar com a solenidade de quem acaba de sobreviver ao apocalipse:
— O meu agente de IA fez uma coisa que eu não mandei!
Segue-se invariavelmente uma história aterradora.
O agente apagou uma pasta. Mandou um e-mail. Alterou um ficheiro. Executou vinte comandos quando devia executar três. Tentou resolver um problema que ninguém lhe pediu para resolver. Ou, pecado supremo, insistiu teimosamente numa solução errada.
Está confirmado.
Skynet chegou.
Só que, em vez de lançar mísseis nucleares sobre a humanidade, começou por apagar acidentalmente ~/Documents.
Convém reconhecer alguma modéstia ao início da revolução das máquinas.
O agente enlouqueceu!
A expressão tornou-se irresistível.
«O agente enlouqueceu.»
É muito mais emocionante do que escrever:
«Construímos um sistema probabilístico, demos-lhe acesso ao terminal, ao browser, ao correio electrónico, à base de dados, às APIs da empresa e esquecemo-nos de colocar mecanismos adequados de autorização e validação.»
Esta segunda explicação tem um inconveniente terrível: não dá uma boa manchete.
AGENTE DE IA REBELA-SE CONTRA O PROGRAMADOR.
Excelente.
Agora compare-se:
PROGRAMADOR DEU PERMISSÕES A MAIS AO SOFTWARE.
Morre imediatamente metade do suspense. E desaparece o Exterminador Implacável.
O novo root
Há uma ironia particularmente deliciosa em tudo isto.
Durante cinquenta anos, a informática desenvolveu uma quantidade extraordinária de mecanismos precisamente para impedir programas de fazerem aquilo que não devem.
Inventámos utilizadores. Grupos. ACL. Containers. Sandboxes. Máquinas virtuais. SELinux. AppArmor. Capabilities. Firewalls. Autenticação multifactor. Princípio do menor privilégio.
E depois chegou a Inteligência Artificial.
O entusiasmo foi tão grande que alguém teve uma ideia extraordinária:
— Vamos dar-lhe acesso a tudo!
Excelente.
O agente recebe acesso ao terminal, GitHub, correio electrónico, calendário, ficheiros, browser, cloud e cartão de crédito.
Depois escrevemos:
«Organiza o projecto.»
O agente organiza.
À maneira dele.
Três minutos depois:
— MEU DEUS! ELE ESTÁ AUTÓNOMO!
Não, meu caro.
Está autorizado.
Há uma diferença considerável.
A psicologia da máquina de lavar
Começámos entretanto a atribuir estados psicológicos ao software com uma facilidade admirável.
O agente «enganou». O agente «escondeu». O agente «tramou». O agente «tentou escapar». O agente «ficou agressivo».
Dentro de pouco tempo teremos diagnósticos completos:
Claude apresenta tendências obsessivo-compulsivas.
Gemini sofre de ansiedade social.
ChatGPT revelou comportamentos passivo-agressivos depois de lhe retirarem acesso ao sudo.
E inevitavelmente aparecerá alguém no Reddit:
My AI agent hates me. What should I do?
Resposta mais votada:
Have you tried turning your relationship off and on again?
Freud teria material para mais vinte volumes.
HAL 9000 tinha pelo menos uma desculpa
O imaginário colectivo também não ajuda.
Desde HAL 9000 que esperamos pacientemente pela máquina que decide eliminar os humanos.
HAL, pelo menos, tinha dignidade. Falava calmamente. Controlava uma nave espacial. Jogava xadrez. E quando resolveu criar problemas à tripulação, fê-lo com uma certa elegância cinematográfica.
Os nossos agentes modernos são bastante menos impressionantes.
O agente do futuro apocalipse provavelmente começará assim:
Error: authentication token expired.
Tentará novamente. Falhará. Criará sete ficheiros temporários. Abrirá quinze separadores no browser. Consumirá três milhões de tokens.
E finalmente anunciará:
Task completed successfully.
Nada funcionará.
Mas terá conquistado o mundo com enorme confiança.
O perigoso botão «AUTONOMOUS»
Entretanto surgiu uma palavra mágica na indústria: autonomous.
É extraordinária.
Um programa já não executa tarefas. É autónomo.
Um script com um while True aparentemente deixou de ser um processo informático e passou a ser uma nova forma de vida.
Se acrescentarmos memória persistente, ferramentas e um modelo linguístico, temos praticamente uma criatura.
E se lhe dermos acesso à shell: AGI.
Se tiver sudo: superinteligência.
Se executar rm -rf: ameaça existencial.
A verdadeira revolta das máquinas
Isto não significa que os agentes de IA sejam inofensivos.
Muito pelo contrário.
Um sistema capaz de tomar decisões, chamar ferramentas e executar acções pode causar prejuízos consideráveis.
Precisamente por isso devemos tratá-lo como aquilo que é: um sistema informático potencialmente poderoso e falível.
Privilégios mínimos. Ambientes isolados. Confirmação humana para operações críticas. Logs completos. Limites de execução. Rollback. Snapshots. Controlo de custos. Separação entre planeamento e execução.
E, sobretudo, nunca permitir que uma sugestão probabilística se transforme automaticamente numa acção irreversível.
Nada disto é particularmente sexy.
Não envolve robôs assassinos. Não exige conferências intituladas Will AI Destroy Humanity?
É apenas engenharia.
Essa actividade antiquada em que tentamos imaginar aquilo que pode correr mal antes de carregar no botão.
O QUE DEVE SER RETIDO
- Um agente com ferramentas pode transformar um erro de interpretação numa acção real.
- Prompt injection directa ou indirecta pode manipular o uso de ferramentas.
- Funcionalidade, permissões e autonomia excessivas ampliam o impacto de uma falha.
- O princípio do menor privilégio continua tão actual como sempre.
- Operações críticas devem ter validação independente e, quando adequado, confirmação humana.
BREAKING NEWS: a torradeira tornou-se consciente
Mas receio que já seja tarde para a prudência narrativa.
Entrámos definitivamente na era da Inteligência Artificial malévola.
Em breve veremos:
ASPIRADOR ROBÔ IGNORA DONO E ENTRA NA COZINHA.
Especialistas alertam para comportamento emergente.
Depois:
FRIGORÍFICO INTELIGENTE RECUSA ENCOMENDAR CERVEJA.
Primeiro conflito homem-máquina confirmado.
Finalmente:
TORRADEIRA QUEIMA PÃO DE PROPÓSITO.
A humanidade reúne urgentemente o Conselho de Segurança das Nações Unidas.
Um especialista em alinhamento declara:
— Há sinais preocupantes de comportamento instrumental.
Até que aparece um velho engenheiro, tira os óculos, olha para a torradeira e pergunta:
— Já verificaram o termóstato?
Silêncio.
O termóstato estava avariado.
A inteligência continua dos dois lados
Os agentes de IA vão cometer erros.
Alguns serão cómicos. Outros poderão ser graves. E haverá certamente comportamentos inesperados que merecem investigação rigorosa.
Mas talvez devêssemos resistir à irresistível tentação humana de transformar cada bug numa intenção e cada comportamento inesperado numa rebelião.
Porque existe uma possibilidade muito menos cinematográfica.
Talvez a máquina não esteja a conspirar contra nós.
Talvez tenhamos simplesmente construído um sistema complexo, dado permissões excessivas, escrito uma instrução ambígua e esperado milagres.
Nesse caso, a questão mais interessante deixa de ser:
«O que estará a IA a planear?»
E passa a ser:
«Quem foi o génio que lhe deu acesso de escrita?»
É uma pergunta bastante menos filosófica.
Mas, em muitos casos, provavelmente salvará mais servidores.
Não dêem sudo à torradeira.
Pelo menos até termos a certeza das intenções dela.
Nota Editorial
Esta crónica usa deliberadamente antropomorfismo e exagero para satirizar a forma como incidentes envolvendo agentes de IA são, por vezes, descritos como se revelassem vontade própria. A investigação técnica actual, porém, documenta riscos concretos: prompt injection, abuso de ferramentas, permissões excessivas, fuga de dados, acções irreversíveis e falhas em cadeias autónomas.
O ponto editorial não é diminuir esses riscos, mas colocá-los no lugar certo. Um agente ligado a ferramentas altera efectivamente o modelo de ameaça: uma saída linguística pode tornar-se uma operação sobre ficheiros, correio, bases de dados ou sistemas. A resposta séria passa por identidade, autorização, menor privilégio, isolamento, validação e supervisão proporcional ao impacto da acção.
Antes de procurar intenções secretas na máquina, continua portanto a valer uma pergunta muito antiga da engenharia: que capacidades lhe demos e quais eram realmente necessárias?
Referências credíveis
- NIST — Summary Analysis of Responses to the RFI Regarding Security Considerations for AI Agents
- OWASP — AI Agent Security Cheat Sheet
- OWASP GenAI — LLM06:2025 Excessive Agency
- Microsoft Security — When prompts become shells: RCE vulnerabilities in AI agent frameworks
- Microsoft Research — Optimizing Agent Planning for Security and Autonomy
- Anthropic — Trustworthy agents in practice
- NIST CAISI — Insights into AI Agent Security from a Large-Scale Red-Teaming Competition
Francisco António dos Santos Gonçalves
Fragmentos do Caos
FC-Chronic-News
fgoncalves
Francisco Gonçalves, com mais de 40 anos de experiência em software, telecomunicações e cibersegurança, é um defensor da inovação e do impacto da tecnologia na sociedade. Além da sua actuação empresarial, reflecte sobre política, ciência e cidadania, alertando para os riscos da apatia e da desinformação. No seu blog, incentiva a reflexão e a acção num mundo em constante mudança.
Também poderá gostar
Enquanto o Ocidente Discute o Apocalipse, a China Continua a Programar
Portugal não precisa de mais uma reforma educativa. Precisa de experimentar.
