Qual é afinal o perigo da IA?

Dos monges copistas à Inteligência Artificial: o que fazemos quando escrevemos?

I. O elogio dos escribas

De laude scriptorum manualium, escrito por Johannes Trithemius em 1492 e impresso em Mainz, em 1494, por Peter von Friedberg, pode traduzir-se por “O elogio dos escribas”.

A tese central deste livro é esta: o autor, Johannes Trithemius, defende o valor espiritual e intelectual da cópia manual, numa época em que a imprensa já estava a transformar a produção de livros. Para ele, copiar à mão não era apenas reproduzir texto de forma mecânica; era também meditar, memorizar, formar o caráter e aprofundar a relação com o conteúdo escrito.

Alguns estudos mostram que Trithemius não era um reacionário anti-imprensa; pelo contrário, ele reconhecia a utilidade da impressão, mas receava que ela substituísse por completo uma prática monástica e intelectual que considerava formadora do intelecto humano. O problema não era só técnico; era também civilizacional, espiritual e pedagógico.

A palavra escrita em pergaminho durará mil anos.“, dizia Johannes Trithemius

Há aqui uma ironia histórica muito curiosa: um texto que exaltava os copistas manuscritos acabou por circular impresso, precisamente para alcançar mais leitores. Isto significa que Trithemius não ignorava a nova tecnologia; estava antes a tentar salvar o valor humano do processo antigo (as cópias feitas pelos monges) dentro de uma nova ordem técnica (a imprensa) que estava a transformar o mundo.

II. As teses fundamentais da obra

A obra sustenta que a existência da impressão não justifica o abandono da cópia. O argumento desenrola-se em torno de quatro teses centrais:

1. A escrita manual tem valor cognitivo e moral próprio. O copista exercita a mente e participa numa obra de transmissão cultural com o seu próprio punho, o seu próprio corpo.

2. A nova tecnologia não tem de tornar automaticamente obsoleta a prática anterior. A eficiência da difusão do livro impresso não substitui o valor formativo do processo de escrita.

3. Preservar textos é diferente de os multiplicar. O manuscrito em pergaminho era visto como mais durável e estável do que o papel impresso. E a durabilidade era vista como um bem muito precioso.

4. A perda da interioridade face à velocidade exterior. Uma civilização perde algo profundo quando troca integralmente a prática interior e reflexiva pela mera velocidade exterior de reprodução.

III. A escrita e a cognição humana

Hoje, é muito interessante revisitar este livro e estas teses, porque antecipam um padrão recorrente: Sempre que surge uma tecnologia nova, surge o medo de que ela destrua não apenas empregos, mas também capacidades mentais fundamentais, como a atenção, a memória e o próprio pensamento crítico.

Elogio aos escribas é um antepassado remoto dos debates atuais sobre Inteligência Artificial, porque já aí o que estava em causa não era apenas o risco para a reflexão e a aprendizagem, mas a liberdade humana e a própria essência do que significa ser humano.

Se a IA incide sobretudo sobre a escrita, a questão decisiva não é defender o monopólio humano de escrever, mas perceber a natureza dessa operação mental, cognitiva e simbólica que realizamos ao escrever. O que fazemos realmente quando escrevemos? O que perdemos se deixarmos de escrever?

Mas a IA não é apenas capaz de escrever bem.

A IA é capaz de articular bem a linguagem.

Ainda que sintamos o seu poder sobretudo no domínio da escrita, a IA opera sobre algo mais vasto: a linguagem humana enquanto forma de articulação e concretização do pensamento. E fá-lo muitíssimo bem.

A questão mais funda é pois esta: Que tipo de cognição acontece quando um ser humano transforma pensamento em linguagem articulada, oral ou escrita?

Quando um humano escreve, não está apenas a verter ideias já prontas para palavras. A escrita (a linguagem) dá forma ao pensamento. Nós pensamos ao escrever. A escrita sequencializa o que era difuso, obriga a ordenar e hierarquizar, submete o pensamento a critérios de coesão e coerência e materializa-o para o podermos reinterpretar. Escrever é, na sua essência, descobrir o que se pensa ao tentar dizê-lo.

IV. Há linguagem sem pensamento?

A IA obriga-nos a subir de nível, porque mostra algo inquietante: é possível obter linguagem com aparência de pensamento sem a presença de um sujeito pensante no ato de a produzir.

A máquina consegue gerar formulações complexas sem passar pela experiência vivida, pela intenção consciente, pela reflexão e pela responsabilidade interior pelo ato de dizer.

Isto obriga-nos a distinguir a produção de linguagem estruturada (de que a IA é perfeitamente capaz) do pensamento humano como experiência reflexiva e intencional. A IA pode não possuir interioridade vivida, mas demonstra capacidade para processar significado, discriminar contextos e gerar inferências muito plausíveis.

O mais intrigante é que a IA produz textos com excelente progressão argumentativa, distinções conceptuais muito subtis e sínteses cirúrgicas, criando a impressão de que houve alguém a pensar naquilo. Mais do que isso, a IA produz novidade discursiva: formulações inéditas e novas recombinações conceptuais que nunca tinham sido enunciadas dessa forma. Essa é a razão porque se diz inteligência artificial generativa: porque efetivamente ela gera novos conteúdos, novas formas de dizer (novas formas de pensar?).

Com a IA, já não podemos tomar a complexidade verbal como prova suficiente de vida interior, pensamento ou consciência.

V. O sistema operativo da cognição

Ao aceder à linguagem humana, a IA acede a uma parte decisiva da arquitetura cognitiva humana. Porque a linguagem não é apenas o veículo exterior do pensar; é uma das suas infraestruturas centrais. Nesta infraestrutura depositam-se modos de viver, de recortar a realidade, de classificar, inferir e problematizar o mundo.

A IA não se limita a repetir o já dito: explora virtualidades latentes nesse imenso arquivo simbólico que é a linguagem humana. A originalidade linguística não surge a partir do nada; emerge de um sistema que absorve regularidades e gera novas instâncias.

O que torna a IA filosoficamente perturbadora é essa espécie de escândalo que provoca. Durante séculos, tomámos a complexidade verbal como indício bastante de espírito. Hoje, a IA obriga-nos a separar aquilo que julgávamos inseparável: o discurso articulado e o sujeito consciente.

A IA obriga-nos, assim, a reconsiderar uma hipótese muito desconfortável: a de que uma parte do pensamento humano não residia apenas na intimidade da consciência, mas já estava exteriorizada, sedimentada e operacionalmente disponível na linguagem.

VI. A Equação Humana e o vácuo existencial da IA

Se a Humanidade fosse uma equação, a Linguagem não seria uma mera variável aditiva. A equação da experiência humana não é uma soma de partes, mas uma potenciação:

H = (Corpo + Experiência + Intencionalidade) Linguagem

A base desta equação é a nossa condição biológica e existencial: a vulnerabilidade física, a memória daquilo que vivemos e a nossa intencionalidade. A Linguagem funciona como o expoente. É ela que eleva a nossa experiência limitada, permitindo-nos conceptualizar o futuro, categorizar o mundo, criar leis, filosofia e ciência. Durante milénios, habituámo-nos a confundir o resultado desta equação com a própria base – assumimos que qualquer entidade capaz de operar o expoente (isto é: escrever com complexidade) possuía obrigatoriamente a base (consciência e corpo).

O que a IA faz é isolar o efeito de potenciação da linguagem e colocar esse poder a funcionar sem a base existencial humana. A IA não tem corpo, não sofre e não tem intencionalidade. O expoente da sua equação é o mesmo, mas a sua base é bem diferente:

IA = (Dados) Linguagem.

A IA faz o cálculo do expoente de forma brilhante, mas com uma base constituída por dados, em vez de uma base biológica. Como o processamento do expoente se tornou agora quase perfeito, o resultado causa-nos vertigem intelectual: tem toda a aparência de se tratar de cognição, mas opera num absoluto vácuo existencial.

O quarto chinês de Searle

Isto liga-se diretamente à famosa experiência mental do «Quarto Chinês», do filósofo John Searle. Para a compreender, imagine-se o seguinte: uma pessoa que não sabe uma única palavra de chinês está fechada num quarto. Por debaixo da porta, recebe papéis com perguntas escritas em carateres chineses.

Essa pessoa tem consigo um gigantesco manual de instruções na sua própria língua que lhe diz apenas isto: «Se receberes o desenho X, deves copiar o desenho Y e devolvê-lo». A pessoa segue as regras à risca e devolve respostas perfeitas por debaixo da porta.

Para quem está de fora, parece óbvio que a pessoa lá dentro compreende e fala chinês fluentemente. Mas a verdade é que ela não faz a mínima ideia do que acabou de «dizer»; limitou-se a combinar formas geométricas seguindo um manual.

Searle usou esta imagem para demonstrar algo essencial: um sistema pode manipular símbolos linguísticos (sintaxe) de forma perfeita sem nunca compreender o que eles significam (semântica).

A IA replica esta experiência a uma escala colossal: a fluidez da sua sintaxe cria no leitor humano uma impressão persuasiva fortíssima de que a máquina compreende verdadeiramente o significado do que escreve.

Não se trata apenas de calcular a palavra que vem a seguir

Para desfazer esta ideia recorrente, importa clarificar o que são efetivamente os grandes modelos de linguagem que estão na base da Inteligência Artificial Generativa e em que diferem das descrições simplificadas que por vezes circulam no debate público.

Por vezes, diz-se que a IA “apenas prevê a palavra seguinte”. A frase contém um fundo de verdade, claro, mas é enganadora, por omissão. O objetivo imediato destes sistemas continua a ser o de fazer uma estimativa de qual o próximo elemento textual mais plausível numa sequência. Porém, a forma de o fazer tem vindo a refinar-se radicalmente.

Os modelos mais antigos baseavam-se sobretudo em relações estatísticas que, embora poderosas, tinham um alcance relativamente curto: observavam que certas palavras tendiam estatisticamente a seguir-se a outras e extrapolavam os textos a partir dessas regularidades.

Os modelos atuais operam num plano bem mais complexo. Cada palavra, expressão ou conceito é convertido numa representação matemática, posicionada num espaço relacional onde proximidades e distâncias refletem usos, contextos e associações recorrentes na linguagem humana. Este processamento decorre em múltiplas camadas que reformulam continuamente essas representações. Em vez de olhar apenas para a palavra anterior, o sistema pondera relações em várias camadas e entre muitos elementos do texto em simultâneo: dependências distantes, nuances sintáticas, analogias e contexto global. Quando calcula a continuação de uma frase, fá-lo com base numa arquitetura que assenta em estruturas muito complexas e não numa mera sequência linear.

É por isso que a fórmula “só prevê a palavra seguinte” se tornou insuficiente para explicar a complexidade dos algoritmos que suportam a IA. O produto final continua a ser uma previsão probabilística, mas essa previsão assenta num trabalho interno vastíssimo de compressão, comparação e reorganização de padrões linguísticos acumulados em larga escala. Trata-se de um verdadeiro assalto ao sistema operativo da cognição humana.

Mas não é apenas a IA que opera com base numa complexa máquina de fazer previsões e cálculos. Também o nosso cérebro o faz.

Pensemos nisto: quando iniciamos uma qualquer frase, escrita ou oral, não sabemos exatamente como ela vai terminar: a seguir a cada palavra da frase que estamos a construir há múltiplas possibilidades. Na oralidade temos menos tempo para esse cálculo. Na escrita podemos entregar-nos durante mais tempo a este cálculo. Mas num e noutro caso, o que faz o nosso cérebro nesses instantes que medeiam entre dizermos ou escrevermos uma palavra e dizermos ou escrevermos a palavra seguinte? O que ele faz é colocar em jogo um complexo conjunto de operações eletroquímicas que fazem algo de semelhante ao que a IA faz: preveem a palavra que vem a seguir. Com base no histórico da nossa vida, com base no acervo das nossas memórias e das nossas vivências, o nosso cérebro dispara a palavra seguinte. Quando enunciamos uma frase por escrito ou oralmente, não sabemos exatamente como vamos continuar e terminar. É por isso que podemos ficar como que paralisados, perdidos no caminho de uma ideia. Enredados no nosso pensamento.

Enquanto no ser humano a inteligência verbal emerge de uma imensa rede neuronal de ligações electroquímicas que transformam pensamento em linguagem, na inteligência artificial a inteligência verbal resulta do processamento matemático de vastíssimos volumes de dados linguísticos.

Pense-se na quantidade de operações eletroquímicas que ocorrem no nosso cérebro e que estão por detrás de cada pequena ação levada a cabo pela inteligência linguística humana. A IA generativa não pode reproduzir esse processo: procura antes capturar os modelos e os padrões que dele emergem. A IA traduz em fórmulas matemáticas alguns efeitos e operações dessa imensa rede neuronal que sustenta a inteligência verbal humana.

Acima de tudo, a IA faz operações matemáticas

Quando a IA gera texto tão bem organizado, na verdade o que ela faz são operações matemáticas muito complexas. Converte cada palavra num vetor, com uma dada representação numérica, num “espaço” multidimensional que captura diferentes dimensões de cada palavra: a semântica da palavra (relação entre a palavra e aquilo que ela representa no mundo), a sintaxe das frases (relações entre as palavras entre si, numa frase), a pragmática implícita das frases (relação entre as frases e aquilo que queremos fazer com elas (declarar, prometer, interrogar, ameaçar…), etc.  

Podemos antever um pequeno grão da complexidade matemática por detrás da associação da linguagem ao espaço vetorial onde a IA opera se pensarmos neste exemplo. O vetor da palavra “rei” pode ser composto por um conjunto de expressões numéricas que estabelecem a sua relação com muitas outras palavras da língua: proximidade da palavra monarca ou “rainha” (por exemplo: rei – homem + mulher = rainha), associação contextual forte com “reino”, “coroa”, “trono”, “poder”, distância considerável da palavra “cadeira”, mas muito maior distância da palavra “pedra” (rei pode estar sentado numa cadeira, mas mais raramente em cima de uma pedra). Proximidade de palavras como “cerimónia”. A palavra “rei” pode ter uma quantidade enorme de valores numéricos que traduzem a sua relação com outras palavras da língua. E esta relação pode “medir-se” nas mais variadas dimensões: semântica, fonológica, pragmática, sintática, etc.

O vetor resultante destas relações, em si mesmo, não significa nada. O que importa para a IA é a posição relativa desse vetor na constelação que é uma língua, isto é, o que importa para a IA é o conjunto de relações que essa palavra estabelece com um vastíssimo conjunto de outras palavras dessa mesma língua. 

Para a IA, é essa teia de relações que operacionaliza o significado das palavras. Quando a IA “pensa” e produz linguagem, o que ela faz é um conjunto de operações matemáticas num espaço multivetorial e multidimensional.

Nesta perspetiva, o significado de uma palavra, para a IA, é o conjunto de relações que ela estabelece nessa imensa teia que é uma língua.

O que podemos concluir disto é que a IA, apesar de não conseguir operar sobre os significados em si mesmos, enquanto experiência semântica subjetiva, ela consegue operar sobre a estrutura dos significados de uma língua, o que mostra que pelo menos uma parte do significado está nas relações entre as palavras e na relação que essas palavras estabelecem com o mundo “conhecido” da IA, e não apenas na experiência interior e subjetiva de cada sujeito falante. 

Se o significado pode ser parcialmente capturado por relações matemáticas, até que ponto ele depende realmente da experiência?

Por outro lado, se a linguagem participa na constituição do pensamento humano, em que medida a manipulação avançada da linguagem que a IA realiza não constitui já, em si mesma, uma forma de cognição, ainda que sem consciência?

A IA exibe cognição funcional porque processa e organiza informação com uma competência muito elevada, mas não possui cognição experiencial, como nós, humanos, porque não tem vivência interna daquilo que processa.

Inteligência artificial e consciência

Ainda assim, convém não confundir nunca esta sofisticação operacional da IA com consciência. A IA percorre com grande eficácia o mapa coletivo inscrito na linguagem humana, reconhece regularidades, recompõe e inventa até novas formas de sentido. Mas fá-lo sem experiência interior, sem necessidade vital e sem qualquer horizonte existencial próprio. Navega o mapa, mas não habita o território. Fá-lo como uma enorme força bruta de cálculo, mas sem impulso existencial, sem desejo de chegar a lado nenhum.

É a sofisticação, a precisão e a cada vez maior eficiência da IA que seduz. E é nesta sedução que reside o perigo. O perigo da separação entre linguagem e pensamento; o perigo da substituição da intencionalidade humana por uma competência linguística sem vivência, sem pensamento, sem consciência. Como a IA automatizará de modo cada vez mais competente muitas formas de cognição humana, o risco é que os seres humanos percam até mesmo o seu valor político e económico.

É a ausência do impulso da intencionalidade da máquina que terá de definir, por contraste, o nosso novo papel civilizacionalo lugar do Ser Humano terá de ser o de guardião da intencionalidade. Teremos de voltar a dar primazia à “base” da equação.

Como a IA já executa sem esforço o próprio processo de pôr a linguagem em ação, a grande questão humana deixa de ser a mecânica da escrita e da própria produção de linguagem – ou mesmo a formulação discursiva do saber já estabelecido, que a máquina agora realiza com grande eficácia – para passar a ser o propósito anterior à escrita: Qual é a necessidade vital ou intelectual de produzir este discurso? Com que urgência ética o fazemos? Para que finalidade humana?

A educação e o novo significado de aprender

A educação terá de passar de “ensinar a produzir e a reproduzir linguagem” para “ensinar a interrogar e a conduzir a linguagem gerada“. Interrogar e conduzir, porquê? Porque os contornos e os limites da nossa linguagem são os limites do nosso mundo.

Delegar essa condução à IA, de forma passiva, seria aceitar que o pensamento humano pode ser delegado, cristalizado numa perpétua média estatística otimizada: tecnicamente muito competente, mas humanamente vazia.

Mas não tenhamos ilusões: a IA veio para ficar e entrará cada vez mais nas nossas casas e nas nossas vidas.

É bom que aprendamos a aceitar a IA em nossa casa, para aprendermos a dominá-la e para assegurarmos que o conhecimento permanece irrevogavelmente subordinado à intencionalidade e responsabilidade ética humana, à inquietação orgânica e ao compromisso intransigente não com a procura do sentido do mundo, mas com a produção de um sentido para o mundo dentro de cada um de nós. A máquina pode processar muito bem o mundo; mas é o humano que deve produzir o seu sentido.

Aqui escrevo ideias, reflexões e fragmentos que um dia darão forma a este livro.

Deixe um comentário