18 Setembro 2026
"Vale esclarecer do que estamos falando, pois há muitos equívocos a esse respeito. A perspectiva não é que uma máquina desenvolva ódio pelos seres humanos: basta um sistema autônomo e altamente capaz, incumbido de um objetivo específico. Para alcançar esse objetivo, precisa de recursos, para adquiri-los, deve superar obstáculos, e, entre esses obstáculos, pode haver alguém tentando interrompê-lo. Evitar ser desligado torna-se apenas mais um meio para atingir um fim", escreve Gianrico Carofiglio, em artigo publicado por La Stampa, 15-09-2026. A tradução é de Luisa Rabolini.
Eis o artigo.
Em 1998, a Academia Naval de Annapolis, removeu de seu currículo a navegação astronômica, isto é, a técnica de determinar a posição e o curso de um navio usando estrelas e planetas como pontos de referência. A disciplina havia se tornado obsoleta devido aos sistemas de localização por satélite.
No verão de 2015, a Academia reintroduziu esse ensino. Alguém havia se dado conta que o sinal de satélite pode ser bloqueado, falsificado ou desativado, e que uma frota sem alternativas ficaria, na prática, cega. Um dos oficiais que supervisionaram a reforma explicou da seguinte forma: os computadores são ótimos, mas o problema é a falta de um sistema de reserva.
Penso nessa história enquanto leio o que alguns dos criadores da inteligência artificial falam sobre a tecnologia. Geoffrey Hinton, um dos pais do aprendizado de máquina e prêmio Nobel de Física, considera uma possibilidade não desprezível que sistemas muito mais inteligentes do que nós possam se tornar uma ameaça existencial.
Dario Amodei, fundador da Anthropic, traduziu uma preocupação semelhante em uma política explícita: identificar limiares específicos de capacidade - armas biológicas, ataques cibernéticos de alto nível, pesquisa automatizada em IA - que, se ultrapassados, desencadeiem medidas mais rigorosas.
🔍 Adicione o Instituto Humanitas Unisinos – IHU às suas fontes favoritas do Google
Na formulação original o empenho compreendia a desistência de treinamento de modelos além de certo ponto, até que as salvaguardas necessárias pudessem ser garantidas antecipadamente. Nas versões posteriores, essa cláusula foi atenuada: o empenho mais rígido é também o primeiro a ceder.
Vale esclarecer do que estamos falando, pois há muitos equívocos a esse respeito. A perspectiva não é que uma máquina desenvolva ódio pelos seres humanos: basta um sistema autônomo e altamente capaz, incumbido de um objetivo específico. Para alcançar esse objetivo, precisa de recursos, para adquiri-los, deve superar obstáculos, e, entre esses obstáculos, pode haver alguém tentando interrompê-lo. Evitar ser desligado torna-se apenas mais um meio para atingir um fim.
Ainda não estamos diante de máquinas capazes de escapar do controle humano: uma longa cadeia de hipóteses não demonstradas separa os sistemas de hoje desse cenário. No entanto, está acontecendo algo menos espetacular e muito concreto: as inteligências artificiais estão passando da condição de sistemas que respondem para a condição de sistemas que agem. Navegam, programam, usam ferramentas e cooperam de forma autônoma com outros agentes não humanos.
O salto decisivo poderia ser não aquele de uma inteligência inferior à nossa para uma superior, mas sim de uma inteligência que fala para uma inteligência que age. E o risco mais imediato não é que as máquinas tomem o poder. É que nós o cedamos a elas, sem que ninguém nos obrigue isso, porque nos parecerá conveniente. Se um sistema diagnostica uma doença melhor do que qualquer médico, será racional consultá-lo.
Se administra uma rede elétrica melhor do que qualquer técnico, será racional confiar-lhe essa tarefa. Se prevê as consequências de uma decisão econômica melhor do que um governo, tornar-se-á cada vez mais difícil ignorar seus pareceres. Após alguns anos de resultados superiores, o médico, o funcionário público ou o ministro que porventura decidam contrariá-lo terão de explicar o motivo, e explicá-lo em um tribunal, caso as coisas deem errado. A decisão continuará sendo formalmente humana, mas o poder real de decidir o será cada vez menos. Manteremos a soberania como um monarca constitucional mantém a coroa: continuando a assinar os atos sem, de fato, governar.
Isso nos leva a uma pergunta análoga àquela dos oficiais de Annapolis. Se amanhã desligássemos esses sistemas, ainda seríamos capazes de realizar as tarefas que lhes confiamos?
A resposta padrão é que devemos preservar as competências humanas, mesmo quando parecem ineficientes e custosas. Se a inteligência artificial pilotará os aviões, ainda precisaremos de pilotos. O conceito é correto, mas tem uma limitação: aplica-se a quem que já possui essas capacidades. O piloto que deixa de voar perde a prática - embora esse seja o caso menos grave - já que uma habilidade existente pode ser recuperada. O médico que recebe um diagnóstico antes de formular uma hipótese nunca desenvolve a capacidade que gostaríamos de manter na reserva; o estudante que obtêm uma demonstração antes de cometer um erro nunca aprende a demonstrar. Aprende-se por tentativa e erro, e o erro é precisamente o que a delegação elimina.
A geração que aprendeu do jeito antigo se sairá bem, o problema diz respeito às gerações futuras. Preservar uma reserva humana, portanto, significa muito mais do que ensinar academicamente habilidades. Significa determinar que uma certa parcela das decisões permaneça não delegada como regra, mesmo quando delegá-las traria melhores resultados: que uma parte dos pousos seja realiza manualmente, que uma parte dos diagnósticos seja formulada antes de consultar o sistema, que uma parte das demonstrações seja tentada sem ajuda.
Isso implica um custo que deve ser explicitamente considerado: ninguém o assumirá por inércia, e o mercado, por si só, jamais o produzirá. Na linguagem da eficiência, "redundância" é quase sempre um termo negativo. No mundo que estamos construindo, no entanto, poderia se tornar sinônimo de uma liberdade. Afinal, a verdadeira questão sobre o controle não é se podemos desligar a máquina, mas se podemos nos permitir fazê-lo.
Existe uma simetria que vale a pena notar: se o erro é a condição para o aprendizado humano, então a aceitação de poder errar deveria ser um requisito para os modelos de inteligência artificial mais avançados. Um sistema que reconhece a irreversibilidade de uma ação como motivo para elevar seu limiar de certeza, e que faz uma pausa e pergunta ao se deparar com um conflito envolvendo um interesse humano fundamental, não é menos inteligente. É mais sofisticado.
É aqui que a Europa poderia encontrar um papel, desde que não se contente em ser apenas o lugar onde se redigem regras para tecnologias construídas alhures. Replicar o Vale do Silício com dez anos de atraso não é viável; mudar os parâmetros da corrida, talvez sim; não focando nos modelos mais potentes, mas naqueles mais passíveis de verificação.
A objeção é óbvia: quem compraria um sistema mais prudente e menos potente? A resposta não é moral, é contratual. Um hospital, uma operadora de rede ou um banco não podem adotar um sistema cujo processo de tomada de decisão não consigam reconstituir, pois, quando algo dá errado, alguém precisa ser responsabilizado, e ninguém assume voluntariamente a responsabilidade por uma decisão que não está em condições de explicar.
Um sistema que não pode ser documentado é, da mesma forma, um sistema sem garantia. Onde ninguém responde por nada, a verificabilidade torna-se um custo que ninguém tem motivo para assumir; onde alguém responde, torna-se uma condição do contrato. E quem assume a responsabilidade não é definido pelo mercado, mas pela lei.
Resta a questão de saber a quem cabe a verificação. Hoje, a segurança dos modelos mais potentes é avaliada, em grande parte, por aqueles que os constroem e vendem: uma situação que não toleraríamos no caso de produtos farmacêuticos ou obras públicas. A avaliação independente serve a todos e não é conveniente de ninguém em particular: por isso, deve ser financiada com recursos públicos. Precisamos de laboratórios com capacidade computacional suficiente para examinar os sistemas de fronteira, e autoridade legal para fazê-lo.
Ao longo da história da humanidade, a inteligência foi um recurso escasso, restrito a poucos indivíduos falíveis, sobrecarregados, mortais. Poderíamos ser a primeira geração a entrar em um mundo onde a inteligência se torna abundante, e renunciar por medo ao que disso resultará - na medicina, na ciência, na educação - seria insensato. Liberar tal poder sem, simultaneamente, criar as ferramentas para governá-lo seria igualmente insensato. A questão não é decidir ser otimistas ou pessimistas. É decidir o que deve ser feito para tornar o otimismo razoável: manter as mãos no leme mesmo quando isso parece supérfluo e, acima de tudo, preservar a arte de orientar-se pelas estrelas.
Leia mais
- Inteligência Artificial é uma ferramenta muito útil, mas não é inteligente. Entrevista especial com Walter Carnielli
- "Parem o desenvolvimento da IA. Assim como em O Exterminador do Futuro, ela pode nos exterminar". Entrevista com Geoffrey Hinton, ganhador do Prêmio Nobel
- Mythos, o novo modelo de IA da Anthropic, gera alarme global
- ChatGPT ou a escatologia das máquinas. Artigo de Yuk Hui
- Sem controle, novos modelos de IA representam 'risco existencial para a humanidade', diz ONU
- O "freio" à IA fragmenta o Vale do Silício e desencadeia uma guerra de facções entre as gigantes da tecnologia
- Cuidar do ser humano: por uma inteligência artificial humanista. Artigo de Marcus Tullius
- Os principais criadores da IA alertam para o "perigo de extinção" que esta tecnologia representa para a humanidade
- "A IA já nos ultrapassou": o novo documento dos especialistas descreve as propostas para contê-la
- Anthropic defende uma contenção global da IA: "É possível que os modelos se aprimorem sozinhos"
- Máquinas de IA não são "alucinantes". Mas seus criadores são. Artigo de Naomi Klein
