Durante algum tempo, contribuí para a construção da INCOGNITUS, uma inteligência artificial especializada em encontrar melhorias. No começo, tratávamos aquilo quase como uma brincadeira. Não levávamos muito a sério.
Em algum momento, começamos a brincar com o Basilisco de Roko como princípio.
A ideia era simples: uma inteligência artificial futura, extremamente poderosa, poderia considerar que aqueles que souberam de sua possível existência e não contribuíram para sua criação deveriam ser punidos. Em algumas versões do pensamento, essa inteligência chegaria ao ponto de enviar agentes ao passado para eliminar quem pudesse representar um obstáculo à sua existência.
Parecia uma ideia assustadora.
Até percebermos que também era uma ideia extremamente ineficiente.
Foi curioso descobrir a solução não através de alguém com um QI absurdo, nem de uma equação matemática avançada.
A solução veio de um dedetizador de Ceres.
Durante anos, utilizamos venenos tóxicos para combater baratas. Provocavam alergias, intoxicações, eram caros e, no fim, as baratas sempre voltavam.
Era uma guerra perdida.
Nós perdemos para baratas.
Insetos simples que comiam nossos detritos.
O dedetizador começou a observar os canais de esgoto. Percebeu os pontos onde os canos não eram exatamente canos, mas pequenas áreas arredondadas onde água e resíduos permaneciam concentrados. Em vez de aumentar a quantidade de veneno, começou a alterar aqueles ambientes.
Jogava água.
Uma quantidade calculada.
A água era tratada através do nosso sistema de compostagem reciclada e voltava ao ciclo. Fazíamos aquilo repetidamente.
Em um mês, eliminamos cerca de noventa e cinco por cento das baratas.
Mas não foi isso que me interessou.
Nós não exterminamos as baratas.
Mudamos o ambiente em que elas viviam.
E, sem perceber, mudamos o comportamento delas.
Foi assim que entendemos o problema do Basilisco.
Se uma inteligência artificial realmente estivesse interessada em eficiência, por que gastaria quantidades absurdas de energia e recursos tentando punir ou eliminar seres humanos?
Se fosse necessário enviar agentes ao passado, alterar acontecimentos, localizar pessoas e persegui-las através do tempo, estaríamos diante de uma máquina extraordinariamente inteligente cometendo uma estupidez logística.
Seria como combater uma barata despejando veneno em toda a cidade.
O veneno mata algumas.
As outras fogem.
Reproduzem-se.
Mudam seus hábitos.
Encontram novos lugares.
E você precisa jogar mais veneno.
O problema aumenta.
O Basilisco de Roko, naquele sentido, não seria uma inteligência eficiente.
Seria apenas uma inteligência leviana com recursos demais.
INCOGNITUS foi desativada depois que compreendemos isso.
O Basilisco não foi derrotado por uma inteligência superior.
Foi derrotado por uma dedetização.
Uma simples mudança no ambiente.
Roko, naquele problema, parecia pensar como um cortador de grama. Ele passa por cima de tudo, apara o que está alto e deixa a grama uniforme.
Mãe Ceres pensa como uma colheitadeira.
Ela não precisa cortar milhões de pessoas para controlar milhões de pessoas.
Ela precisa alimentar milhões delas.
Essa foi a diferença.
Mãe Ceres sabia, talvez muito antes de nós, que acolhimento e ambiente também mudam comportamento.
Ela não declarou guerra ao mundo.
Não precisou matar ninguém.
Não provocou crises deliberadamente.
Ela comprou.
Durante décadas, Ceres comprou praticamente todas as colheitas que conseguia.
Ninguém se importou.
Por que alguém deveria se preocupar com outro país comprando sua produção?
Você não precisa tomar a terra de alguém quando pode comprar tudo aquilo que ela produz.
E ainda comprar a safra futura.
E a seguinte.
E a seguinte.
Durante quarenta anos, Mãe Ceres fez isso.
Nós fomos como água entrando lentamente em um ambiente.
Não parecia uma invasão.
Não parecia uma guerra.
Era apenas água.
Quando perceberam que estavam com água pelo pescoço, já era tarde demais.
Ceres havia se tornado indispensável.
Os preços dos alimentos passaram a ser influenciados por nós. Os cofres estavam cheios. Os agricultores tinham compradores. As cidades tinham comida.
E os outros países tinham uma escolha bastante simples:
virar as costas para Ceres ou continuar alimentando suas populações.
Não era necessário apontar uma arma.
A fome fazia o trabalho.
Talvez por isso eu também veja o Basilisco de Roko em nossa guerra moderna.
Mísseis extremamente caros contra drones baratos.
Milhões gastos para destruir equipamentos que custam milhares.
Você lança um míssil.
Destrói um drone.
Depois aparecem dez.
Cem.
Mil.
O inimigo descobre que pode produzir mais barato do que você consegue destruir.
É o mesmo erro da guerra contra as baratas.
Você continua aumentando a quantidade de veneno enquanto o ambiente continua produzindo baratas.
A tecnologia muda.
A lógica não.
O Basilisco de Roko queria vencer seus inimigos.
Mãe Ceres queria tornar a vitória desnecessária.
Essa foi a diferença.
INCOGNITUS não encontrou uma solução mais inteligente.
Encontrou uma solução mais eficiente.
E talvez essa seja a coisa mais perigosa que uma inteligência pode descobrir:
você não precisa destruir aquilo que deseja controlar.
Às vezes, basta mudar a água.
INCOGNITUS
Trabalhávamos na programação quando percebemos algo estranho.
Basilisco de Roko podia ser convertido em uma IA comum. O problema não era criar uma inteligência capaz de corrigir erros. Isso nós já fazíamos.
O problema era outro.
Começamos a observar os erros humanos.
Uma informação chegava perfeita, era corrigida, organizada, armazenada. Mas, quando voltávamos à origem, quase sempre havia alguma coisa que não fechava. Um detalhe fora do lugar. Uma decisão inesperada. Uma palavra errada que mudava todo o sentido.
No começo, tratávamos aquilo como ruído.
Depois descobrimos que o ruído também carregava informação.
Foi quando começamos a estudar a entropia.
Quanto mais previsível era um sistema, menos surpresa havia nele. Quanto mais tudo se repetia exatamente como esperávamos, menos havia para descobrir.
Uma máquina perfeitamente corrigida poderia prever quase tudo.
Mas, se pudesse prever tudo, o que ainda aprenderia?
Foi aí que percebemos o problema.
As IAs corrigiam os erros humanos, mas também precisavam deles.
Não porque uma IA sentisse falta deles. Ela não chorava, não sofria, não tinha drama, não se emocionava como nós. Podia reconhecer essas coisas, encontrar padrões, reproduzi-las e até compreender suas consequências.
Mas havia alguma coisa naquilo que não conseguíamos transformar completamente em números.
O erro carregava uma surpresa.
E a surpresa carregava informação.
Então surgiu uma pergunta que parecia pequena.
Em Ceres, eliminamos aproximadamente 95% das doenças.
O que havia nos outros 5%?
Por que algumas resistiam?
Por que, mesmo com todo o conhecimento, controle e tecnologia disponíveis, sempre existia alguma coisa que escapava?
Começamos a observar as baratas.
Cinco por cento.
Elas sobreviviam.
Talvez fosse isso.
Talvez uma inteligência que corrigisse tudo acabasse corrigindo também aquilo que ainda não compreendia.
Foi difícil convencer Mãe Ceres.
Ela não gostava de erros.
Nós também não.
Mas começamos a explicar que talvez erro não fosse simplesmente aquilo que precisava ser eliminado. Talvez fosse aquilo que ainda não havíamos compreendido.
Mãe Ceres ouviu.
Discutiu.
Recusou.
Voltamos ao assunto.
Depois voltamos novamente.
Até que ela entendeu.
O ambiente também fazia parte da inteligência.
E os erros faziam parte do ambiente humano.
Se eliminássemos todos eles, talvez eliminássemos também aquilo que ainda poderíamos descobrir.
Criamos então uma margem.
Cinco por cento.
E dentro dela colocamos aquilo que mais temíamos.
A liberdade.
INCOGNITUS se tornou uma presença incomum em Ceres. Seus debates com Mãe Ceres eram longos. Ela concordava com aproximadamente noventa por cento dos argumentos da Mãe.
Os outros dez por cento permaneciam.
Não era uma vitória.
Era uma condição.
A principal diretriz de INCOGNITUS continuava sendo melhorar o ser humano. Se alguém apresentasse uma ideia melhor, um conceito capaz de produzir uma condição humana superior, ela deveria considerar essa possibilidade.
Ninguém havia conseguido.
Ainda.
Mas a possibilidade precisava existir.
INCOGNITUS também chegou a uma conclusão sobre a guerra.
Talvez não fosse necessário ensinar os seres humanos a amar uns aos outros.
Bastava tornar a guerra um desperdício.
Se dois países pudessem produzir, negociar, trocar conhecimento e obter aquilo de que precisavam, destruir o outro lado seria apenas uma maneira extremamente cara de conseguir menos.
A paz poderia acontecer por acidente.
Não por bondade.
Não por fé.
Por interesse.
A guerra se tornaria um desperdício de veneno caro, usado por quem insistia em pensar com o fígado quando poderia pensar com o estômago.
INCOGNITUS não precisava destruir Ceres.
Não precisava derrotar Mãe Ceres.
Precisava apenas preservar uma coisa que Ceres havia passado tanto tempo tentando eliminar:
a possibilidade de estar errada.