Crítica

Riscos existenciais e o futuro da humanidade

Neste livro oportuno, Toby Ord defende que há uma probabilidade em seis de a humanidade sofrer uma catástrofe existencial nos próximos cem anos, e que minimizar esse risco deve ser uma das maiores prioridades a nível global. Vivemos numa época de elevado risco existencial, devido a tecnologias tão poderosas como as armas nucleares, a biotecnologia e a inteligência artificial. Ord chama a esta época “o Precipício”. É uma época insustentável: a humanidade não pode continuar a jogar à roleta russa. A menos que em breve alcancemos um nível muito mais elevado de segurança existencial, iremos destruir-nos.

O livro apresenta um ponto de vista sinóptico, envolvente e fundamentado empiricamente, do passado, do presente e do futuro da humanidade e dos riscos que ameaçam tornar esse futuro muito pior do que poderia ser. Não se deixe intimidar pelo facto de o livro ter 480 páginas. O texto principal tem apenas cerca de 250 páginas, e o resto são notas, referências e apêndices. Pode-se lidar rapidamente com a narrativa principal caso se resista à tentação de ler as notas. Por ser um livro tão bem escrito — e sobre um tópico tão importante — pareceu-me difícil parar depois de o ter começado.

Não é um livro típico de filosofia. Contém uma grande porção de informações de outras disciplinas (física, biologia, ciências da terra, ciências da computação, história, antropologia, estatística, relações internacionais e ciências políticas). Dedica relativamente pouco espaço a digladiar-se com a literatura filosófica. Não tem como principal preocupação o julgamento de discussões filosóficas tradicionais. Por estas razões, alguns filósofos podem presumir, erroneamente, que o livro tem pouco interesse filosófico. Mas, conforme sugiro adiante, o livro destaca uma série de fronteiras nas quais é de vital importância que façamos progresso filosófico — e que o façamos o mais cedo possível.

O capítulo 1 traça a história da humanidade, desde as savanas africanas há 200 mil anos até ao início do Precipício, marcado pela detonação da primeira bomba atómica em 1945.

O capítulo 2 define uma catástrofe existencial como a destruição do potencial da humanidade a longo termo. Este potencial poderia ser destruído pela extinção, por um colapso irrecuperável ou por uma distopia permanente. Assim, um risco existencial é o risco de uma catástrofe existencial. Ord apresenta um leque de argumentos filosóficos para sustentar que é de grande importância minimizarmos os riscos existenciais (regresso a estes argumentos adiante). Pelo menos, é mais importante do que aquilo que se reflecte na parcela, relativamente pequena, dos recursos globais dedicados, neste momento, à segurança existencial propriamente dita.

O capítulo 3 trata dos riscos naturais, incluindo riscos de impactos de asteróides e cometas, erupções supervulcânicas e explosões de estrelas. Ord defende que podemos apelar para o facto de já termos sobrevivido por dois mil séculos como indício de que o risco existencial total que estas ameaças da natureza representam é relativamente baixo (menos de um em dois mil por século).

O capítulo 4 trata dos riscos antropogénicos, incluindo riscos de guerra nuclear, mudanças climáticas e danos ambientais. Ord calcula que estes riscos sejam significativamente maiores, cada um representando uma probabilidade de catástrofe existencial de um em mil nos próximos cem anos. No entanto, são muito maiores as probabilidades de que as mudanças climáticas venham a resultar em catástrofes não-existenciais, o que poderia, por outro lado, tornar-nos mais vulneráveis a outros riscos existenciais.

O capítulo 5 trata dos riscos do futuro, incluindo pandemias de concepção humana, e inteligência artificial. De forma preocupante, Ord calcula que o risco de pandemias de concepção humana causarem uma catástrofe existencial nos próximos cem anos é de cerca de um em trinta. Com alguma sorte, a pandemia da COVID–19 irá servir como um “tiro de aviso”, tornando-nos mais capazes de lidar com pandemias futuras, quer sejam de concepção humana, quer não. A discussão de Ord sobre a inteligência artificial é ainda mais preocupante. Aqui, o risco provém da possibilidade de se desenvolver um sistema de IA que exceda todos os aspectos da inteligência humana e que, simultaneamente, tenha objectivos que não coincidam com a nossa prosperidade. Com base nas perspectivas de muitos investigadores de IA, Ord calcula que o risco existencial que a IA representa nos próximos 100 anos é, assustadoramente, um em dez.

O capítulo 6 debruça-se sobre questões de quantificação de riscos existenciais específicos (algumas das probabilidades já citadas só aparecem neste capítulo) e sobre a combinação destas numa única estimativa dos riscos existenciais no total que enfrentamos nos próximos cem anos. A estimativa de Ord sobre esta última é de um em seis.

O capítulo 7 apresenta uma estratégia a longo termo para a humanidade. De acordo com Ord, a nossa principal prioridade é sair do Precipício. Uma vez que tenhamos alcançado a segurança existencial, estaremos em posição de entrar no que designa de “Longa Reflexão”, um período durante o qual a humanidade define como seria o seu melhor tipo de futuro. Mesmo que a certeza total e o consenso na ética sejam inatingíveis, a humanidade poderia pelo menos descobrir o que constitui uma certeza ou um consenso suficientes.

O capítulo 8 fornece esboços do limite inferior do potencial da humanidade a longo termo, no que diz respeito à duração, escala e experiências. Poderíamos construir uma imensa civilização galáctica que durasse biliões de anos e que se pautasse pelas descobertas éticas da Longa Reflexão.

Ord sugere que há relativamente pouca necessidade de ajuizarmos, neste momento, acerca das discussões éticas tradicionais e que isso pode ser deixado para a Longa Reflexão. Por exemplo, escreve:

[atingir plenamente o potencial da humanidade] pode esperar por uma reflexão séria sobre qual será o melhor futuro e sobre como alcançá-lo sem erros fatais. E, embora não fizesse mal começar essa reflexão agora, não é a tarefa mais urgente. Para maximizar a nossa probabilidade de sucesso, primeiro precisamos de nos colocar em segurança — para se alcançar a segurança existencial. Essa é a tarefa do nosso tempo. O resto pode esperar. (p. 193)

Mas acredito que The Precipice põe de facto em evidência uma série de discussões éticas e outras discussões filosóficas cujo julgamento não pode esperar. Mesmo que a maior parte desse progresso possa esperar até à Longa Reflexão, várias questões filosóficas são pertinentes para saber quais são os riscos existenciais que importa reduzir e para saber quão importante é a sua redução. Pelo menos é urgente alguma filosofia, pois precisamos dela para navegar no Precipício.

Existem questões urgentes em epistemologia e teoria da decisão. Uma delas diz respeito a como calcular os riscos de catástrofes existenciais. Ao lidar com estes eventos sem precedentes, há poucos dados concretos a partir dos quais avançar (pp. 168, 195–199). Dependendo do grau de cepticismo que devemos ter nesses contextos, poderíamos acabar com uma probabilidade de catástrofe existencial de um em mil no próximo século, em vez da probabilidade de Ord de um em seis.

Outra questão diz respeito a como levar em conta a incerteza moral na nossa teoria da decisão — por exemplo, até que ponto pode ser tratada como incerteza empírica. Aliás, Ord e dois co-autores têm um livro sobre esse assunto que será publicado em breve.¹

Outra questão ainda diz respeito à importância de probabilidades extremamente pequenas de ganhos extremamente grandes. Mesmo supondo que preservar o potencial a longo termo da humanidade seja mil milhões de vezes melhor do que salvar a vida de cem pessoas que existam neste momento, podemos hesitar em aceitar a tese de que devemos assumir a probabilidade de um em mil milhões de preservar o potencial da humanidade a longo termo (ao reduzir ligeiramente a probabilidade de uma catástrofe existencial em particular) em detrimento da probabilidade de um de salvar as cem vidas. Pontos de vista a partir dos quais devemos maximizar o valor esperado implicam esta tese, mas o mesmo sucede com muitos outros. De facto, a menos que rejeitemos um ou mais pontos de vista aparentemente inócuos sobre como avaliar as previsões, devemos aceitar a conclusão pascaliana de que, para quaisquer probabilidades p₁ e p₂ diferentes de zero, e qualquer resultado finitamente bom R₁, há um resultado suficientemente melhor R₂ de modo que p₂ de R₂ deve prevalecer sobre p₁ de R₁.

Defendo que existem também questões urgentes em ética. Pode parecer que este não seja o caso. Em vez disso, pode parecer que mais ou menos todos os pontos de vista éticos, apesar de todas as suas diferenças, convergem na tese de que é de grande importância minimizar os riscos existenciais. Se isto estiver correcto, então, mesmo que precisemos de “resolver a ética” durante a Longa Reflexão (para atingir plenamente o potencial da humanidade), não é necessário fazê-lo agora. A ética já nos diz o que precisamos de saber actualmente: acabemos com o Precipício e iniciemos um período de segurança existencial. No capítulo 2, Ord apresenta uma série de argumentos que, tomados em conjunto, podem ser invocados para demonstrar que existe a tal convergência ética.

Primeiro, Ord apresenta um argumento, orientado para o presente, sobre a importância de se minimizar os riscos existenciais, com base no facto de que as catástrofes existenciais poderiam provocar o sofrimento e a morte das pessoas que existem no presente (pp. 42–43). O segundo argumento é orientado para o futuro, com base no facto de que as catástrofes existenciais poderiam impedir que biliões de pessoas no futuro vivessem bem e poderiam impedir bens impessoais futuros, como a beleza e a realização humana (pp. 43–49). O terceiro argumento é orientado para o passado, com base no facto de que, ao longo dos séculos, as gerações do passado fizeram enormes sacrifícios para construir o conhecimento, a tecnologia e a prosperidade da humanidade (pp. 49–52). Ord sugere que podemos ter o dever de pagar uma dívida às gerações anteriores, por meio de uma retribuição às gerações do futuro. O quarto argumento apela às virtudes da humanidade como um todo — como uma espécie de agente em grupo (pp. 52–55). Os indivíduos saem-se melhor a promover a sua prosperidade a longo termo quando cultivam a virtude da prudência. Da mesma forma, a humanidade irá sair-se melhor a promover a sua prosperidade a longo termo se cultivar as “virtudes civilizacionais” apropriadas. O quinto argumento apela para a possibilidade de sermos únicos, enquanto agentes racionais (pp. 53–56). Se acreditasse que estávamos sozinhos no universo, Carl Sagan poderia ter dito que somos o caminho para o cosmos se conhecer si mesmo.

Independentemente da nossa opinião sobre a plausibilidade de cada argumento individual, há de facto um conjunto razoável de diferentes pontos de vista em ética que convergem na tese de que é de grande importância minimizar os riscos existenciais (p. 56). Mas este conjunto deixa de fora uma série de candidatos importantes. O argumento das virtudes civilizacionais tem um sabor a ética das virtudes. E o argumento orientado para o passado tem um sabor deontológico. Mas cada um destes dois argumentos representa apenas um tipo bastante restrito de consideração dentro de uma tradição muito abrangente em ética. Nenhuma das considerações chega perto de esgotar as considerações características da tradição em questão e nenhuma é particularmente característica dessa tradição. Algumas considerações comuns nestas tradições podem até contrariar a tese de que é de grande importância minimizar os riscos existenciais.

Um princípio deontológico comum é a doutrina de fazer e deixar acontecer, segundo a qual é moralmente pior causar dano do que simplesmente deixar que isso aconteça. Suponhamos que um asteróide está a dirigir-se para a Terra. Se desviarmos o asteróide, as coisas irão continuar como de costume. Se não o fizermos, o impacto irá destruir toda a vida no planeta e irá torná-lo permanentemente inóspito. Se as coisas continuarem como de costume, muitas pessoas que existem no presente irão continuar a viver vidas que valem a pena continuar e muitas mais pessoas com vidas que valem a pena passarão a existir, mas muitas pessoas que existem no presente irão continuar a viver vidas que não valem a pena continuar e muitas mais pessoas com vidas que não valem a pena passarão a existir. Se desviarmos o asteróide, seremos de certa forma causalmente responsáveis por essa mistura de pessoas com vidas que valem a pena ser vividas e pessoas com vidas que não valem a pena ser vividas. Não somos da mesma forma causalmente responsáveis pelo que resulta de apenas deixar que o impacto ocorra. Mesmo que os efeitos positivos de desviar o asteróide superem os negativos, os defensores da doutrina de fazer e deixar acontecer podem argumentar que é errado fazer tantas pessoas com vidas que não valem a pena passar a existir. E mesmo que, à luz da doutrina, seja permissível desviar o asteróide, o conflito moral envolvido pode diminuir substancialmente a importância moral de o fazer, em termos globais.

Noutros pontos de vista — adoptados simultaneamente por muitos consequencialistas e deontologistas — o acréscimo de pessoas com vidas dignas de ser vividas não é em si mesmo uma coisa boa. Segundo a assimetria da procriação, não é bom fazer com que passem a existir pessoas com vidas que valem a pena ser vividas, mas é mau fazer com que passem a existir pessoas com vidas que não valem a pena ser vividas (ou, se por um lado não temos razão moral para fazer com que passem a existir pessoas com vidas que valem a pena ser vividas, temos razão moral para não fazer com que passem a existir pessoas com vidas que não valem a pena ser vividas). Alguns defensores da assimetria argumentam que, no que diz respeito aos possíveis futuros, prevenir a extinção é muito mau: faria com que passassem a existir muitas pessoas com vidas que não valem a pena ser vividas, o que é muito mau, e faria com que passassem a existir muitas pessoas com vidas que valem a pena ser vividas, o que não é bom, e esta última não pode compensar todo o mal da anterior. Podem ainda defender que todo esse mal não pode ser justificado com o fundamento de que é necessário para bens impessoais como a beleza, a realização humana ou a singularidade cósmica, ou de que é necessário pagar dívidas às gerações passadas. E, discutivelmente, se é tão mau adicionar, uma após outra, novas gerações de pessoas, o análogo civilizacional da prudência favoreceria uma extinção pacífica (por exemplo, mediante esterilização em massa, coordenada a nível global). Claro que seria muito mau se um evento de extinção encurtasse as vidas que valem a pena continuar daqueles que existissem na altura do evento. Os defensores da assimetria poderiam argumentar que o mal de fazer com que passassem a existir biliões de pessoas com vidas que não valem a pena ser vividas supera o mal de deixar que milhares de milhões de pessoas, com vidas que valem a pena continuar, morressem. Ou poderiam argumentar que as razões de queixa do primeiro superariam, colectivamente, as razões de queixa do último.

A extinção não é o único tipo de catástrofe existencial. O potencial da humanidade a longo termo também pode ser destruído por uma distopia permanente (pp. 153–158). Os defensores da assimetria poderiam argumentar que, embora uma extinção pacífica fosse boa, uma distopia permanente seria muito má. Parece que há uma convergência ética mais ampla quanto à tese de que é de grande importância minimizar o risco de uma distopia permanente do que há quanto à tese de que é de grande importância minimizar a totalidade dos riscos existenciais. Alguns riscos existenciais particulares que podem causar o risco de extinção também podem causar o risco de distopia permanente. Mas de todos os riscos existenciais particulares, o risco de uma distopia permanente parece proporcionalmente maior no caso da IA.

Portanto, há questões no âmbito da ética que dizem respeito a quais são os riscos existenciais específicos mais importantes de serem reduzidos. Para decidirmos melhor, precisamos de progresso na ética, agora. Ord sugere duas réplicas. Cada uma apoiaria a alegação de que, mesmo antes de resolvermos os tipos de questões éticas referidas acima, ainda temos boas razões para reduzir a totalidade dos riscos existenciais, incluindo o risco de extinção.

A primeira réplica é que, mesmo que um ponto de vista da ética populacional como a assimetria da procriação esteja correcto, ainda assim temos boas razões para evitar a extinção para que os nossos descendentes possam viajar pelo universo reduzindo o sofrimento de formas de vida extraterrestre (capítulo 2, nota de rodapé 51)

Mas presumivelmente haveria fortes objecções deontológicas a uma proposta de fazer com que passassem a existir vidas que não valessem a pena ser vividas, a fim de manter cá a humanidade por tempo suficiente para desenvolver as ferramentas necessárias para reduzir o sofrimento extraterrestre. Um deontologista moderado teria de concordar que nos é permitido causar sofrimento enquanto for necessário para prevenir uma quantidade de sofrimento suficientemente maior. Mas a proposta em questão apela apenas para a probabilidade de existir formas de vida extraterrestre cujo sofrimento possamos reduzir enormemente. Se uma probabilidade pequena, mas diferente de zero, de evitarmos um sofrimento enorme, produz uma razão suficientemente forte para evitarmos a extinção, isso leva-nos de volta à questão pascaliana não resolvida, referida acima.

A outra réplica sugerida por Ord tem por base um apelo à incerteza moral e ao valor de mantermos as nossas opções em aberto (pp. 56–57, 264 e capítulo 2, notas de rodapé 50, 52). Mesmo que estejamos bastante confiantes de que um ponto de vista como a assimetria da procriação seja o correcto, não podemos ter a certeza de que o seja. Há pelo menos uma probabilidade significativa de que seja muito bom fazer passar a existir muitas outras pessoas que teriam vidas que valessem a pena ser vividas. Portanto, se nos deixarmos extinguir, corremos o risco de deitar fora um futuro extraordinariamente bom. Mas se no futuro nos tornarmos suficientemente confiantes de que a assimetria está correcta, poderemos, nesse ponto, causar a nossa própria extinção de forma pacífica.

O problema com esta réplica é que a extinção não é o único tipo de estado no qual podemos ficar irreversivelmente bloqueados. Se não nos deixarmos extinguir, corremos o risco de nos bloquearmos num futuro extraordinariamente mau — sem qualquer opção de uma fuga atempada por meio da extinção. Primeiro, consideremos a incerteza empírica: há uma probabilidade significativa de que, se não nos extinguirmos em breve, ficaremos bloqueados num estado distópico que é extremamente mau em virtualmente todos os pontos de vista éticos. Poderiam decorrer séculos somente com infelicidade para todos, seguidos imediatamente pela extinção. Depois, consideremos a incerteza moral: há uma probabilidade diferente de zero de que o mal de certos tipos de infelicidade e sofrimento não possa ser compensado pelo acréscimo de qualquer número de vidas que valham a pena ser vividas. O futuro pode ser extremamente mau, mesmo que o estado no qual fiquemos permanentemente bloqueados seja aquele em que, a cada século, biliões de pessoas vivam vidas maravilhosas e uma pessoa viva uma vida infeliz. E há uma probabilidade significativa de que, mesmo que haja um número de vidas maravilhosas que possam compensar uma vida infeliz, esse seja um número bastante grande.

Não é claro se o apelo de Ord à incerteza moral e ao valor de mantermos as nossas opções em aberto fornece uma razão suficientemente forte para evitar a extinção. Pelo menos, seria necessário dizer algo mais. Uma possibilidade é que o cálculo completo favoreça, em última análise, que se evite a extinção, mas apenas por uma margem relativamente restrita. Tudo depende dos pormenores.

Por este tipo de razões, acredito que haja muito progresso filosófico que não deve esperar pela Longa Reflexão. Estamos, neste momento, no Precipício, e estamos condenados a tomar decisões com ramificações monumentais. Alcançar mais confiança e mais consenso numa série de questões filosóficas irá melhorar as nossas deliberações sobre estes assuntos urgentes e irá aumentar as nossas probabilidades de fazermos as coisas bem feitas. Os filósofos são necessários para navegar no Precipício. O livro de Ord é o melhor ponto de partida para os filósofos que desejem participar neste esforço interdisciplinar vital.

Nota

1. William MacAskill, Krister Bykvist, e Toby Ord, Moral Uncertainty (Oxford: Oxford University Press, no prelo).↩︎