O perigo da IA está na desumanidade

O PERIGO DA IA ESTÁ NA DESUMANIDADE

Crônica

Por Vinicio Moreira da Silva Filho

“Mon ami, dit Valentine, le comte ne vient-il pas de nous

dire que l’humaine sagesse était tout entière dans ces deux mots :

— Attendre et espérer !”

(Alexandre Dumas, Le Compte de Monte Cristo)

Esperar e ter esperança. É assim que Alexandre Dumas encerra seu livro mais icônico: O Conde de Monte Cristo. Muitas questões podemos levantar dessa assertiva. E da obra inteira, esbarramos várias vezes nas questões da ganância e do poder. Sutilezas que se transformam em tempestades e trazem para superfície o que os corações estão repletos. Há perguntas que parecem simples quando as fazemos, mas que vão crescendo dentro de nós depois que uma conversa termina. Foi assim que, recentemente, me peguei diante de uma delas: a tecnologia, desenvolvendo-se na velocidade em que se desenvolve, poderá um dia acabar com a humanidade?

Não sei exatamente em que momento essa pergunta deixou de parecer uma fantasia de ficção científica e passou a me parecer uma questão concreta do nosso tempo. Era algo que me angustiou quando participei de um processo seletivo para mestrado em Defesa Nacional em 2026 e se acentuou por completo com as declarações de Evan Hubinger e Jacob Coxon nas redes sociais e em entrevistas em setembro deste mesmo ano. Talvez tenha sido quando percebi que já não estamos falando apenas de máquinas que calculam mais rápido do que nós ou de programas capazes de executar determinadas tarefas. Estamos falando de sistemas capazes de conversar, escrever, traduzir, produzir imagens, analisar enormes quantidades de informação, auxiliar pesquisadores, programar, organizar conhecimento e, em alguma medida, participar de processos que antes dependiam exclusivamente da inteligência humana. A inteligência artificial generativa entrou em nossas casas de maneira quase silenciosa. Ela está nos computadores, nos telefones, nas empresas, nas universidades, nos escritórios, nas salas de aula e, inevitavelmente, passou a fazer parte de praticamente todos os aspectos da vida contemporânea de forma veloz. E agora, ela será capaz de se auto aperfeiçoar sozinha e supera todas as capacidades humanas, num ciclo que se repete e se acelera independentemente de qualquer intervenção humana.

E talvez seja justamente por isso que a pergunta precise ser reformulada. Em vez de perguntar se a inteligência artificial destruirá a humanidade, talvez devêssemos perguntar se a humanidade será capaz de utilizar uma tecnologia tão poderosa sem destruir a si mesma.

A diferença entre as duas perguntas é enorme.

Quando pensamos no futuro da inteligência artificial, nossa imaginação frequentemente nos conduz para uma cena cinematográfica: máquinas conscientes, robôs tomando cidades, computadores decidindo que os seres humanos são uma ameaça e, finalmente, a revolta das criaturas contra seus criadores. É uma imagem fascinante e, confesso, até literariamente sedutora. Mas existe outra possibilidade, muito menos cinematográfica e talvez justamente por isso mais preocupante. Não precisamos imaginar uma máquina que odeie o ser humano. Basta imaginar seres humanos utilizando máquinas extraordinariamente poderosas para perseguir seus próprios interesses, suas ambições, seus devaneios e sua eterna disputa por dinheiro, influência e poder.

A história da humanidade oferece exemplos suficientes para nos deixar atentos.

Toda grande tecnologia foi, de alguma maneira, uma ampliação das possibilidades humanas. Vou tomar aqui o exemplo do fogo. O controle do fogo foi um avanço tecnológico, não nos termos plásticos que entendemos tecnologia (robôs, máquinas, etc), mas no termo antropológico da palara. Foi a descoberta de uma tecnologia: o fogo nos permitiu cozinhar, aquecer nossos corpos e transformar materiais, mas também poderia consumir uma floresta, destruir uma aldeia e promover guerras, matanças e genocídios. A pólvora, outra tecnologia, transformou a guerra. A imprensa multiplicou a capacidade de disseminação das ideias, o armazenamento e difusão do conhecimento e ajudou a transformar e evoluir sociedades inteiras, mas também tornou possível a circulação massiva de propaganda que resultou em guerras e justificaram o ódio e o extermínio de povos. O rádio aproximou pessoas separadas por continentes, levou músicas, informação, alento e entretenimento à milhões de pessoas e ao mesmo tempo em que regimes totalitários descobriram sua extraordinária capacidade de alcançar milhões de indivíduos, manipular massas e controlar populações. A televisão alterou a política, a cultura e os hábitos sociais. A internet praticamente dissolveu as antigas fronteiras da informação e hoje veicula todas as funções e produções da humanidade, levando desde universidades, conhecimento, entretenimento, aproximação de pessoas até à disseminação de fake news massivamente.

Nenhuma dessas tecnologias acordou certa manhã e decidiu fazer o mal. Nenhuma!

Foram os seres humanos que escolheram a forma de utilizá-las.

Acredito que essa seja uma das primeiras coisas que precisamos compreender sobre a inteligência artificial: uma ferramenta extraordinariamente poderosa não carrega necessariamente uma finalidade moral própria. Ela pode ampliar aquilo que fazemos de bom, mas também pode ampliar aquilo que fazemos de ruim. E, quanto maior a capacidade da ferramenta, maior pode ser a escala das consequências.

É isso que me inquieta. Muito me inquieta!

A inteligência artificial pode muito bem ser utilizada para descobrir uma nova molécula capaz de combater uma doença, melhorar a eficiência energética de uma cidade, reduzir desperdícios de água, prever enchentes, auxiliar na recuperação de florestas degradadas ou ajudar pesquisadores a compreender fenômenos climáticos. Vou ser otimista aqui e vou imaginar que no lugar de ficar criando imagens aleatórias, uma criança que vive em uma pequena cidade brasileira possa, pela primeira vez, conversar com uma ferramenta capaz de explicar matemática, história, literatura ou física de maneira personalizada. Pense em pesquisadores de diferentes países trabalhando juntos, traduzindo instantaneamente seus conhecimentos e acelerando descobertas científicas.

É difícil não enxergar aí uma possibilidade extraordinária de progresso. É um cenário incrível.

Mas agora vou mudar este cenário.

Imagine a mesma tecnologia sendo utilizada para vigiar populações inteiras, produzir desinformação em escala industrial, aperfeiçoar ataques cibernéticos contra hospitais ou redes de energia, desenvolver sistemas de armas cada vez mais autônomos ou produzir milhões de mensagens destinadas a manipular pessoas sem que elas sequer saibam que estão sendo alvo de uma operação coordenada.

Não seria necessário que ela tivesse uma vontade própria de destruir a humanidade. Não seria necessário que a máquina tivesse ódio. Seria suficiente que alguém ou um grupo de pessoas tivesse decidido utilizá-la para esse fim.

É aí que a discussão sobre inteligência artificial deixa de ser apenas uma discussão tecnológica e se transforma em uma discussão sobre política, Direito, ética e, principalmente, PODER.

O poder sempre esteve no centro da história humana. Desde os primeiros agrupamentos, o homem busca por ferramentas capazes de aumentar a força, o alcance e a capacidade de controlar o ambiente e, muitas vezes, outras pessoas. O arco e flecha foi uma tecnologia que permitiu que um homem atingisse um animal ou um inimigo a uma distância maior. O navio permitiu atravessar oceanos, comercializar mercadorias, transportar pessoas, diminuir distâncias mas… teve sua utilização para conquistar territórios, travar guerras apoteóticas em alto mar, carregar escravizados. A máquina a vapor modificou a economia mundial. A bomba atômica colocou nas mãos de alguns Estados uma capacidade de destruição que nenhuma geração anterior havia conhecido, enquanto a tecnologia nuclear é capaz de realizar feitos benéficos se bem orientada.

A inteligência artificial acrescenta algo particularmente delicado a essa história porque ela atua justamente sobre aquilo que consideramos uma das características mais importantes da espécie humana: a capacidade de produzir e manipular conhecimento.

É como se estivéssemos construindo ferramentas capazes de multiplicar nossa própria capacidade intelectual. E aliada aos robôs, essas ferramentas podem nos colocar em um conforto mundial nunca antes visto na humanidade, ou trazer um caos apocalíptico, dependendo do direcionamento que for tomado.

E isso nos coloca diante de uma espécie de paradoxo civilizatório. Durante séculos, aperfeiçoamos nossa capacidade de criar instrumentos. Agora talvez precisemos aperfeiçoar, com a mesma velocidade, nossa capacidade de governá-los. E fica a questão, como seres humanos, limitados, conseguiremos aperfeiçoar nossa capacidade de governá-los?

A humanidade já enfrentou problemas semelhantes, embora nenhum seja perfeitamente equivalente.

Quando a energia nuclear surgiu, descobrimos simultaneamente uma fonte extraordinária de energia e uma capacidade terrível de destruição. A solução não foi abandonar a física nuclear. Criamos tratados, instituições, mecanismos de inspeção, sistemas de segurança e canais diplomáticos. Criamos regras porque compreendemos que determinadas tecnologias eram poderosas demais para serem deixadas exclusivamente à mercê da boa vontade de cada Estado.

Talvez precisemos pensar na inteligência artificial de maneira semelhante.

Não imagino um mundo no qual os governos simplesmente proíbam a inteligência artificial. Isso seria tão pouco realista quanto tentar impedir que a eletricidade existisse porque ela pode provocar incêndios. A questão é outra. Precisamos construir uma arquitetura de segurança e governança capaz de acompanhar a evolução tecnológica.

Antes de colocar determinados sistemas extremamente poderosos em circulação, poderíamos exigir avaliações independentes de segurança. Sistemas capazes de produzir riscos significativos poderiam ser submetidos a testes rigorosos envolvendo cibersegurança, manipulação, autonomia, capacidade de produzir determinados tipos de informação perigosa, interação com sistemas críticos e outras categorias de risco que ainda estamos aprendendo a compreender.

Também precisaríamos de auditorias independentes. Não parece razoável que uma empresa seja, simultaneamente, a responsável por desenvolver uma tecnologia, determinar seus próprios critérios de segurança e declarar ao mundo que ela é segura. Em áreas de grande impacto, a sociedade criou há muito tempo mecanismos de fiscalização justamente porque compreendeu que o interesse privado e o interesse público nem sempre coincidem.

Não seria necessário impedir a inovação. Seria necessário estabelecer responsabilidades proporcionais ao poder da tecnologia.

E isso nos conduz inevitavelmente ao Direito Internacional.

A inteligência artificial não respeita fronteiras nacionais. Um modelo desenvolvido em um país pode ser utilizado em outro. Um ataque cibernético pode atravessar continentes em segundos. Uma campanha de desinformação pode atingir dezenas de sociedades simultaneamente. Uma tecnologia desenvolvida em um laboratório privado pode produzir consequências econômicas e estratégicas em países que sequer participaram de sua criação.

Como regular uma realidade assim exclusivamente dentro das fronteiras de cada Estado?

Talvez, em algum momento, precisemos de algo semelhante a um regime internacional de governança da inteligência artificial. Não necessariamente uma gigantesca burocracia mundial, nem uma instituição que controle toda e qualquer utilização de IA. Penso que possa ser algo mais específico: mecanismos multilaterais destinados a lidar com os sistemas e usos capazes de produzir riscos transnacionais ou sistêmicos.

Poderíamos imaginar padrões internacionais mínimos de segurança, procedimentos para comunicar incidentes graves, auditorias para sistemas de alto risco, cooperação científica, mecanismos de investigação e, principalmente, espaços permanentes de negociação entre os Estados.

É curioso perceber que, quanto mais avançamos tecnologicamente, mais antigas se tornam algumas das ferramentas de que necessitamos: Tratados, diplomacia, Direito, negociação, confiança, responsabilidades.

Parece quase uma ironia: estamos criando máquinas cada vez mais sofisticadas e velozes e, para impedir que elas se transformem em instrumentos de nossa própria destruição, talvez precisemos recorrer a algumas das instituições mais antigas da civilização e de estruturação lenta.

Aí é que entra uma dificuldade adicional que considero particularmente perigosa: a corrida tecnológica.

Imagine duas grandes potências desenvolvendo sistemas cada vez mais avançados. Uma delas teme que a outra alcance uma capacidade superior e, por isso, acelera seus programas. A segunda percebe a aceleração da primeira e conclui que também precisa acelerar. Nenhuma necessariamente deseja iniciar uma catástrofe, mas ambas têm medo de ficar para trás.

Esse mecanismo é conhecido nas relações internacionais. A lógica da competição pode produzir resultados que nenhum dos participantes desejava inicialmente.

Foi assim que muitas corridas armamentistas se desenvolveram.

Get Vinicio Moreira Filho’s stories in your inbox

Join Medium for free to get updates from this writer.

Remember me for faster sign in

A inteligência artificial pode introduzir uma nova dimensão nesse problema porque sua evolução é extraordinariamente rápida e porque suas aplicações atravessam simultaneamente a economia, a defesa, a ciência, a comunicação e a própria estrutura do Estado. Os próprios desenvolvedores entregam que a IA independente irá se retro-alimentar constantemente, se auto aprimorar em uma velocidade avassaladora.

É justamente nesse ponto que a diplomacia pode se tornar uma das ferramentas mais importantes do século XXI. Diplomacia não significa ingenuidade. Não significa acreditar que todos os países possuem os mesmos interesses. Diplomacia significa reconhecer que Estados diferentes podem ter interesses conflitantes e, ainda assim, precisar construir mecanismos para evitar que esses conflitos produzam consequências desastrosas.

Talvez precisemos aprender a fazer isso com a inteligência artificial antes que a competição se torne maior do que nossa capacidade de administrá-la.

Mas há outra questão que não podemos ignorar: quem ficará com os benefícios dessa revolução?

Se os sistemas mais avançados estiverem concentrados nas mãos de poucas empresas e de poucos países, a inteligência artificial poderá produzir uma nova forma de desigualdade global. Não apenas uma desigualdade de renda, mas uma desigualdade de capacidade tecnológica.

Imagine um mundo em que alguns países tenham acesso às melhores máquinas, aos melhores chips, aos maiores centros de processamento e aos maiores volumes de dados, enquanto outros apenas consomem os produtos desenvolvidos por aqueles que controlam a tecnologia.

Seria uma espécie de nova hierarquia internacional do conhecimento.

Isso seria particularmente grave para países do Sul Global. A América Latina, a África e outras regiões em desenvolvimento não deveriam ser condenadas a repetir uma história em que as tecnologias fundamentais são produzidas em determinados centros de poder e os demais países apenas as importam.

A inteligência artificial deveria ser uma oportunidade para democratizar o conhecimento, não para criar uma nova forma de dependência.

Precisaremos, portanto, falar também de educação, ciência, infraestrutura digital, pesquisa pública, formação de pesquisadores e transferência tecnológica. Precisaremos garantir que jovens brasileiros, africanos, asiáticos e latino-americanos possam não apenas utilizar a inteligência artificial, mas também participar da construção de seu futuro.

E há ainda uma questão que me parece profundamente humana: o que acontecerá conosco enquanto aprendemos a conviver com máquinas capazes de produzir seu próprio conhecimento?

Talvez o maior risco não seja que deixemos de pensar completamente, mas que comecemos lentamente a pensar menos.

Quando uma máquina pode escrever um texto, resumir um livro, traduzir uma língua, calcular uma equação, organizar informações ou produzir uma imagem em segundos, existe uma tentação natural de entregar a ela cada vez mais partes do nosso trabalho intelectual.

Isso não é necessariamente ruim. A calculadora não destruiu a matemática. O computador não destruiu o pensamento. A fotografia não acabou com a pintura. As tecnologias modificam nossas habilidades e nos obrigam a descobrir quais capacidades continuam sendo essencialmente nossas.

Talvez, no futuro, não seja tão importante saber decorar milhares de informações quanto saber fazer as perguntas certas. Talvez seja mais importante compreender argumentos do que simplesmente acumulá-los. Talvez a capacidade de verificar uma fonte, reconhecer uma manipulação e perceber uma mentira se torne mais valiosa do que nunca.

Minha amiga e pesquisadora Gabriela Anacleto, desenvolveu um estudo com base na IA degenerativa, ou seja, qual seria o ponto que separa a IA generativa, daquela que vai degradar as relações humanas e controlar as massas populacionais? Quando li seu artigo, fiquei cheio de questionamentos no que tange ao uso da IA para manipulação da forma de consumo, da invasão da privacidade, da má orientação política, enfim, de como pessoas ou grupos controlariam outras pessoas e grupos através da velocidade que cresce essas tecnologias e o pior, e quando isso saísse do controle humano, como seria?

Em uma sociedade na qual qualquer pessoa poderá produzir imagens, vídeos, vozes e textos artificialmente convincentes, uma pergunta aparentemente simples poderá se transformar em uma das maiores ferramentas de defesa da sociedade.

Como sabemos que isso é verdade?

Essa pergunta talvez seja uma das grandes necessidades educacionais do século XXI.

Precisaremos ensinar inteligência artificial nas escolas, mas não apenas ensinar crianças a utilizá-la. Precisaremos ensiná-las a desconfiar dela quando necessário. Precisaremos ensiná-las a verificar, comparar, interpretar e pensar.

Porque uma sociedade tecnologicamente sofisticada, mas intelectualmente incapaz de distinguir realidade de manipulação, será extremamente vulnerável.

No fundo, talvez seja esse o grande paradoxo de nossa época: quanto mais inteligente se torna a tecnologia, mais precisamos desenvolver uma qualidade humana que não pode ser reduzida à capacidade de calcular.

A sabedoria.

Conhecimento é saber como alguma coisa funciona. Inteligência é conseguir utilizar esse conhecimento para resolver problemas. Sabedoria talvez seja compreender quando determinada capacidade deve ou não ser utilizada.

Uma sociedade pode ser muito inteligente e, ainda assim, cometer enormes erros.

É por isso que não tenho medo da inteligência artificial tanto quanto tenho medo daquilo que seres humanos podem fazer quando recebem instrumentos extraordinariamente poderosos sem possuir instituições igualmente poderosas para controlá-los. No interior do Estado de São Paulo é muito comum ver os mais velhos dizerem que não tem medo de assombração, eles tem medo de gente viva.

A máquina não precisa odiar o homem. O homem pode utilizar a máquina contra o próprio homem. Essa é, talvez, a parte mais desconfortável de toda essa história. Mas também é a parte que me dá esperança.

Porque, se o problema é exclusivamente tecnológico, talvez estejamos diante de algo que não conseguimos controlar. Mas, se o problema envolve nossas escolhas políticas, econômicas e éticas, então ainda existe espaço para decisão. Ainda podemos estabelecer regras, negociar, construir instituições, criar tratados estabelkecendo limites.

Ainda podemos escolher que determinadas tecnologias não sejam utilizadas para determinadas finalidades e decidir que os benefícios da inteligência artificial serão compartilhados de maneira mais ampla.

E talvez seja justamente essa capacidade de escolha que diferencia uma civilização de uma simples acumulação de tecnologia.

O fato de podermos realizar alguma coisa não significa que devamos realizá-la.

Não acredito que devamos ter medo do futuro. Também não acredito que devamos confiar cegamente nele. Entre o medo e a ingenuidade existe um caminho muito mais difícil: a responsabilidade.

Penso que a humanidade esteja diante de uma das maiores oportunidades de sua história. Uma tecnologia capaz de ampliar o acesso ao conhecimento, acelerar a ciência, ajudar na preservação ambiental, transformar sistemas de saúde, melhorar cidades, aproximar culturas e permitir que pessoas que antes estavam distantes dos grandes centros de conhecimento tenham acesso a ferramentas extraordinárias.

Seria uma tragédia transformar tudo isso em uma corrida pelo domínio absoluto.

Seria igualmente trágico imaginar que a solução consiste em impedir o avanço tecnológico.

O desafio é outro.

Precisamos aprender a avançar sem perder de vista aquilo que desejamos preservar e construir uma tecnologia que sirva à humanidade, e não uma humanidade submetida à tecnologia.

E talvez seja por isso que, quando volto àquela pergunta inicial “se a tecnologia poderá acabar com a humanidade”, eu já não consiga respondê-la simplesmente com um sim ou um não.

Não sei.

Ninguém sabe.

Existem riscos concretos, existem hipóteses plausíveis e existem também cenários que ainda pertencem mais à especulação do que ao conhecimento científico. O importante, entretanto, não é fingir que temos certeza sobre aquilo que ainda não sabemos. É reconhecer a incerteza e, justamente por isso, agir com prudência.

Não esperamos que um avião caia para estabelecer padrões de segurança ou que uma guerra nuclear se inicie para criar mecanismos de controle de armas.

Por que deveríamos esperar uma catástrofe tecnológica para começar a construir as instituições necessárias para evitá-la?

Talvez seja decidido em parlamentos, universidades, laboratórios, tribunais, empresas, organizações internacionais e salas de negociação diplomática. Pode ser que seja decidido também nas escolas, onde uma nova geração aprenderá não apenas a utilizar máquinas inteligentes, mas a pensar criticamente sobre elas.

Na minha utopia, a maior tecnologia de que precisaremos não seja de uma máquina ainda mais inteligente. Creio que precisemos de uma humanidade mais sábia… esta sim precisa evoluir tanto quanto a IA. Atravessar mais essa etapa como um ser tão… cheio de caminhos. Parafraseando meu amado João Guimarães Rosa: “Travessia”.

Brasília, 16 de setembro de 2026.

Vinicio Moreira da Silva Filho é escritor, advogado, paisagista e se mete com algumas artes de vez em quando.