Crítica

Quando os cientistas aldrabam

Acabei de escrever o livro Science Fictions (Nova Iorque: Metropolitan Books, 2020) no início de 2020, razão pela qual só incluí uma breve menção ao que acabou por se tornar a maior crónica científica das nossas vidas: a pandemia da COVID–19. Desde a Guerra Fria e da Corrida Espacial que não ouvíamos falar tanto de ciência diariamente, e desde essa altura que não se depositavam tantas esperanças na ciência. Felizmente para o Science Fictions — muito muito infelizmente para o mundo — a ciência da pandemia sofreu precisamente dos mesmos defeitos que expus no livro.

Não penso que se trate apenas de viés de confirmação da minha parte: a mesma história que contei no Epílogo, de uma série de descobertas espantosas poluídas por investigação enganadora, enviesada e mal feita, desenrolou-se mais ou menos da mesma maneira durante a pandemia — mas muito mais depressa do que o habitual. Por um lado, houve progressos incríveis: por exemplo, as vacinas ARNm, que irão salvar inúmeras vidas e permitir avanços em muitas outras doenças, além da COVID–19.¹ Por outro, vimos rimas de artigos científicos de pouca qualidade, que espalharam a confusão entre o pessoal médico, desperdiçaram tempo e dinheiro, e alimentaram quem assumiu uma postura de “contracorrente” quanto à seriedade do vírus.

Haverá quem escreva livros inteiros para debater a ciência da pandemia: o índice de mortalidade do vírus e o seu modo de transmissão, o momento em que se impôs o confinamento (e a ideia de o fazer), o significado de “imunidade de grupo”, o encerramento das escolas, o uso de máscaras e as vantagens e desvantagens das várias vacinas… tudo isto despoletou acrimónia entre os cientistas.² Para já, consideremos brevemente uma disputa científica na qual nenhum dos lados se saiu muito bem, e que ilustra vários dos problemas abordados no meu livro. É o debate sobre a hidroxicloroquina.³

A hidroxicloroquina é uma droga que certamente funciona — mas para a malária. A questão, que surgiu desde cedo na pandemia, era se poderia funcionar também para a COVID–19. Em Março de 2020, um estudo do microbiólogo e médico Didier Raoult, da Universidade de Aix-Marseille, e dos seus colegas, mostrou aparentemente um “índice de cura de 100%” de pacientes com o coronavírus que ingeriram a droga, juntamente com azitromicina, que é um antibiótico.⁴ Raoult recebeu a visita, no seu laboratório, do presidente Macron; do outro lado do Atlântico, o presidente Trump aclamou a hidroxicloroquina por ser um “divisor de águas”.⁵

Isto era um exagero, é claro. Na verdade, não só o estudo reprovou nos importantes critérios discutidos no meu livro (não era um estudo cego; não foi apropriadamente aleatorizado; e a dimensão da amostra era minúscula), como tinha algumas graves deficiências só suas. Talvez a mais importante das quais seja o facto de, apesar de três pacientes com COVID–19, e a quem a hidroxicloroquina foi ministrada, terem acabado nos cuidados intensivos, tendo um deles morrido, os cientistas não revelaram estes resultados, dado terem observado exclusivamente amostras de compressas que mediam a quantidade de vírus presente nos narizes de cada paciente. Nas palavras da jornalista Carrie Wong, “Dado que os [quatro] pacientes estavam nos cuidados intensivos, ou mortos, não se podia tirar amostras deles, de maneira que ficaram de fora da análise final”.⁶ E pronto: os cientistas conseguiram dizer que nos dados que analisaram, o tratamento funcionava maravilhosamente bem.⁷

Apesar deste golpe de magia, o estudo foi publicado, e originou uma corrida à investigação da hidroxicloroquina: a dado ponto, centenas de testes independentes — de qualidade muitíssimo variável — estavam em curso por todo o mundo, para tentar compreender se a droga realmente era uma cura milagrosa.⁸ (Podemos agora afirmar, a propósito, que a conclusão dos maiores e mais robustos testes entre eles é que a hidroxicloroquina não funciona para tratar a COVID–19.)⁹ Um dos estudos, em resposta à investigação de Raoult, foi feito pelos cientistas do Hospital de Brigham de Mulheres, que faz parte da Escola de Medicina de Harvard. Juntamente com uma companhia de análise médica denominada Surgisphere, que tinha acesso a uma base de dados sobre muitos milhares de pacientes de COVID–19 por todo o mundo. Sobre a hidroxicloroquina, os dados eram claros, e não era apenas que “a hidroxicloroquina não funciona”. Na verdade, os pacientes que eram tratados com a droga tinham maior probabilidade de morrer. Tratou-se de um estudo de correlação, e não de um teste aleatório, mas, apesar disso, os resultados pareciam importantes — suficientemente importantes para serem publicados numa revista do prestígio da Lancet, em Maio de 2020.¹⁰

Foi uma grande notícia, de uma fonte aparentemente fidedigna. Em resposta, a Organização Mundial de Saúde interrompeu os testes com a hidroxicloroquina, e a França mudou as recomendações dadas aos médicos.¹¹ Mas, como outros estudos muito ventilados mencionados no meu livro, o facto de as atenções do mundo se terem aí concentrado suscitou questões sérias quando ao estudo de Harvard. Como foi exatamente que uma companhia tão pequena, a Surgisphere, com poucos empregados, conseguiu deitar a mão a tantos dados, de tantos hospitais, tão depressa?¹² Por que razão não foram esses hospitais mencionados ou reconhecidos no artigo? E não são os efeitos, pensando bem, algo excessivamente pronunciados para que sejam realistas? Os analistas de dados deitaram-se aos números e encontraram algumas discrepâncias estranhas¹³

Eis onde se descobriu a negligência. Ao enfrentar as perguntas que lhes foram feitas, os cientistas de Harvard admitiram que não tinham de facto visto os dados. Tinham-se limitado a confiar na Surgisphere para lhes fornecer a análise e, ao ver os resultados, puseram alegremente os seus nomes no estudo, antes de o enviarem para a Lancet. A Surgisphere recusava-se agora a deixá-los ver os dados brutos, dizendo que isso violava os acordos de confidencialidade que eles tinham. Só havia uma opção: a Lancet tinha de anular o artigo — mal tendo passado duas semanas desde a publicação.¹⁴

São os dados questionáveis da Surgisphere um exemplo de fraude científica? Ao contrário de muitos outros casos, não houve ainda uma investigação formal da base de dados da Surgisphere (é mais difícil fazê-lo porque se trata de uma companhia privada, e não de uma universidade). Simplesmente não sabemos se foram terrivelmente incompetentes ou se se enganaram, ou se algo de mais sinistro estava em jogo. Independentemente disso, a história é um exemplo clássico de como a corrida para publicar — não apenas para preencher o CV, mas também para fazer uma descoberta proveitosa relacionada com a pandemia — pode levar até os melhores investigadores e as melhores revistas a fazerem figura de parvos.

Talvez a Lancet seja de ora em diante menos crédula. Depois do fiasco da Surgisphere, anunciaram planos para mudar a maneira como fazem a revisão entre colegas. A partir de agora, quando recebem estudos que usam bases de dados de grande dimensão, a revista passa a garantir que um dos revisores tem competência nos géneros de análises exigidas.¹⁵ Seria de esperar que este tipo de política tivesse já sido adotada numa revista de tão “elevado impacto”, mas mais vale tarde do que nunca.

No momento em que escrevo estas palavras, Didier Raoult enfrenta um painel disciplinar depois de uma série de queixas de colegas franceses, clínicos que consideram que a sua promoção da hidroxicloroquina foi “imoral”.¹⁶ Caso acabe por ser censurado, será uma valente queda de um dos mais citados cientistas do mundo, com um imenso índice h de 187 e uma lista sem fim de publicações (por exemplo, foi coautor de um terço de todos os 728 artigos publicados na história de uma revista específica de microbiologia).¹⁷ Caso o leitor se pergunte como um cientista que pode orgulhar-se de ter um CV tão impressionante pode mesmo assim entregar-se a investigação de fraca qualidade e mais do que exagerada, é porque não leu o meu livro.

No meio de uma pandemia, ciência mal feita é a última coisa de que precisamos.¹⁸ Mas aqui está uma história em que investigadores proeminentes e credenciados de instituições respeitadas publicaram artigos em revistas de “destaque mundial” que nos empurraram para direções completamente erradas. Estudos mal concebidos e que não passam de desperdício; dados duvidosos; afirmações estrondosas que as provas não sustentam; uma confiança entre cientistas a roçar a credulidade; e não só — dificilmente poderia eu ter pedido uma melhor recapitulação dos temas do meu livro. Apesar de isso não me dar qualquer satisfação.

Em vez de o processo científico funcionar como deveria, caçando erros implacavelmente e aproximando-se da verdade, no caso da hidroxicloroquina deixou que a porta aberta deixasse entrar aqueles erros na bibliografia, de onde saltaram para a mesa de trabalho dos políticos de topo. E, enquanto isso, as pessoas que a ciência deveria supostamente beneficiar — os pacientes com COVID–19, que morriam aos milhares, e cujos médicos precisavam desesperadamente de informação fidedigna quanto aos tratamentos — ficaram catastroficamente dececionadas.

Apesar de os erros na investigação da COVID–19 constituírem a ilustração mais incisiva dos problemas discutidos em Science Fictions, ao longo do último ano não houve falta de má ciência sem ser sobre a pandemia. Estivesse eu agora a escrever o livro, e poderia abordar o caso do engenheiro de investigação Ali Nazari, que ficou com o quinto lugar que Diederik Stapel detinha no Retraction Watch Leaderboard, depois de ver 61 artigos anulados (em contraste com os 58 de Stapel) devido a plágio prolífico e a fingidas revisões entre colegas.¹⁹ Ou como os investigadores continuaram a construir modelos de como o p-hacking e o viés de publicação distorcem a bibliografia científica.²⁰ Ou como um campo científico imensamente excitante, como a futurista computação quântica, passa por uma crise de reprodutibilidade.²¹ Ou a história surreal de como um cardiologista publicou dezanove artigos na revista científica Early Human Development sobre o Star Trek.²²

E ao passo que estes exemplos poderão não ter tanto impacto quanto a saga da hidroxicloroquina, ilustram que em quase todo o lado para onde se olhe na ciência se encontra os mesmos problemas de fraude, viés, negligência e exagero — assim como os incentivos perversos que estão na sua origem.

Encontrar maneiras eficazes para corrigir o nosso sistema científico deveria ser uma prioridade primeira em todas as áreas de investigação. A esperança é que, dado estarmos todos no mesmo barco, consigamos aprender uns com os outros.

Notas

1. “Moderna Provides Business Update and Announces Three New Development Programs in Infectious Disease Vaccines” (https://investors.modernatx.com/news-releases/news-release-details/moderna-provides-business-update-and-announces-three-new) Moderna, 11 Jan. 2021.↩︎
2. No início de 2021, eu e alguns amigos fizemos o Antivírus, um website com uma lista de Perguntas Frequentes sobre a COVID–19 que visa desconstruir algumas das piores desinformações que estão sendo veiculadas durante a pandemia.↩︎
3. Discuti a crónica da hidroxicloroquina, juntamente com várias outras fábulas da pandemia do coronavírus, e que podem servir de lição, em Stuart Ritchie, “The Great Reinforcer”, Works in Progress 3 (Fev. 2021).↩︎
4. Philippe Gautret et al., “Hydroxychloroquine and Azithromycin as a Treatment of COVID–19: Results of an Open-label Non-randomized Clinical Trial”, International Journal of Antimicrobial Agents 56, n.º 5 (Julho de 2020); 105949, DOI: 10.1016/j.ijantimicag.2020.105949.↩︎
5. “Macron Visits Marseille Doctor Behind Hydroxychloroquine Coronavirus “Cure” Touted by Trump”, France 24, 9 de Abril de 2020; “Trump Announces Potential “Game Changer” on Drugs to Treat Novel Coronavirus, But FDA Says More Study is Needed”, ABC News, 19 de Março de 2020.↩︎
6. Julia Carrie Wong, “Hydroxychloroquine: How an Unproven Drug Became Trump’s Coronavirus “Miracle Cure””, Guardian, 7 de Abril de 2020.↩︎
7. No seu blog, Elisabeth Bik identificou muitos outros problemas no artigo: Elisabeth Bik, “Thoughts on the Gautret et al. Paper About Hydroxychloroquine and Azithromycin Treatment of COVID–19 Infections”, Science Integrity Digest, 24 de Março de 2020; veja-se também Oliver James Hulme et al., “A Bayesian Reanalysis of the Effects of Hydroxychloroquine and Azithromycin on Viral Carriage in Patients with COVID–19”, PLOS ONE 16, no. 2 (19 Fev. 2021): e0245048, DOI: 10.1371/journal.pone.0245048.↩︎
8. Paul P. Glasziou et al., “Waste in Covid–19 Research”, BMJ 369 (12 de Maio de 2020): m1847, DOI: 10.1136/bmj.m1847.↩︎
9. Um exemplo é o RECOVERY, um imenso teste de alta qualidade. The RECOVERY Collaborative Group, “Effect of Hydroxychloroquine in Hospitalized Patients with Covid–19”, New England Journal of Medicine, 383 (19 Nov. 2020): pp. 2030–2040, DOI: 10.1056/NEJMoa2022926.↩︎
10. Mandeep R. Mehra et al., “Hydroxychloroquine or Chloroquine With or Without a Macrolide for Treatment of COVID–19: A Multinational Registry Analysis”, Lancet (22 de Maio de 2020), DOI: 10.1016/S0140-6736(20)31180-6.↩︎
11. Jason Beaubien, “WHO Halts Hydroxychloroquine Over Safety Concerns”, NPR Coronavirus Updates, 25 de Maio de 2020; Alex Ledsom, “France Says No to Hydroxychloroquine Prescription After Lancet Study”, Forbes, 26 de Maio de 2020.↩︎
12. Melissa Davey et al., “Surgisphere: Governments and WHO Changed Covid–19 Policy Based on Suspect Data from Tiny US Company”, Guardian, 3 de Junho de 2020.↩︎
13. Os problemas foram expostos em detalhe no site de discussão de ciência PubPeer.↩︎
14. Mandeep R. Mehra et al., “Retraction – Hydroxychloroquine or Chloroquine With or Without a Macrolide for Treatment of COVID–19: A Multinational Registry Analysis”, Lancet 395, no. 10240 (13 de Junho de 2020): p. 1820, DOI: 10.1016/S0140-6736(20)31324-6. A revista New England Journal of Medicine anulou também ao mesmo tempo um artigo baseado na Surgisphere: Mandeep R. Mehra et al., “Retraction: Cardiovascular Disease, Drug Therapy, and Mortality in Covid–19. N Engl J Med. DOI: 10.1056/NEJMoa2007621”, New England Journal of Medicine 382, (25 de Junho de 2020): p. 2582.↩︎
15. The Editors of the Lancet Group, “Learning From a Retraction”, Lancet 396, no. 10257 (10 Out. 2020): p. 1056, DOI: 10.1016/S0140-6736(20)31958-9.↩︎
16. AFP, “French Professor Faces Disciplinary Case Over Hydroxychloroquine Claims”, Guardian, 12 Nov. 2020.↩︎
17. Cathleen O’Grady, “Journals Singled Out For Favoritism”, Science, 25 Fev. 2021, DOI: 10.1126/science.abh2631; o perfil académico de Raoult no Google Scholar, que tem o seu índice h e outras informações, encontra-se aqui.↩︎
18. Para um resumo de mais ciência mal feita sobre a pandemia, juntamente com algumas maneiras de isso se ter talvez conseguido evitar, veja-se Lonni Besançon et al., “Open Science Saves Lives: Lessons from the COVID–19 Pandemic”, bioRxiv, DOI: 10.1101/2020.08.13.249847.↩︎
19. Adam Marcus, “Researcher to Overtake Diederik Stapel on the Retraction Watch Leaderboard, with 61”, Retraction Watch, 2 Fev. 2021.↩︎
20. Malte Friese e Julius Frankenbach, “p-Hacking and Publication Bias Interact to Distort Meta-analytic Effect Size Estimates”, Psychological Methods, 25, n.º 4 (Ago. 2020): pp. 456–471, DOI: 10.1037/met0000246.↩︎
21. Sergey Frolov, “Quantum Computing’s Reproducibility Crisis: Majorana Fermions”, Nature 592 (12 Abr. 2021): pp. 350–352, DOI: 10.1038/d41586-021-00954-8.↩︎
22. Adam Marcus, “Elsevier Looking Into “Very Serious Concerns” after Student Calls Out Journal For Fleet of Star Trek Articles, Other Issues”, Retraction Watch, 10 Dez. 2020.↩︎