O método científico não é uma varinha mágica ou uma máquina cromada e inoxidável que produz verdades incontestáveis. É um conjunto mais ou menos estruturado de práticas descobertas (ou inventadas), ao longo dos últimos séculos, para evitar que as pessoas mintam para si mesmas ou tirem conclusões erradas quando investigam a realidade – por exemplo, achando que o movimento aparente das estrelas no céu causa as estações do ano, ou que arrancar o coração de um prisioneiro de guerra, amarrado no alto da pirâmide, é um sacrifício necessário para impedir que o Sol se apague.

Um artigo publicado recentemente no periódico Nature Human Behavior  cita três fontes comuns de autoengano: apofenia, a tendência de ver padrões onde só existe caos; viés de confirmação, a tendência de prestar atenção numa mera fração da informação disponível (a fração que parece confirmar nossas preconcepções); e viés do retrovisor, a tendência de considerar certas sequências de eventos “óbvias” ou “previsíveis” — mas apenas depois de elas terem acontecido.

As práticas que compõem o método científico convivem numa espécie de caixa de ferramentas. Como todo conjunto de instrumentos, também podem ser mal utilizadas, usadas de modo errado, fora de contexto ou sobre materiais inadequados. A mera aplicação mecânica de partes do método científico a uma questão de pesquisa ou a uma hipótese não faz com que o procedimento em si seja “científico”, assim como uma criança martelando um parafuso no chão não está fazendo “marcenaria”.

A escolha da ferramenta adequada requer reflexão, e em termos ideais deveria ser bem justificada. Além disso, o critério da reprodutibilidade — todo resultado científico deve, em princípio, ser reprodutível por outros pesquisadores que utilizem os mesmos métodos e materiais equivalentes — serve, entre outras coisas, como uma espécie de checagem do grau de perícia e competência com que o instrumento escolhido foi utilizado no estudo inicial.

Crucialmente, sem reprodutibilidade não há tecnologia: computadores e televisores só existem porque certos experimentos realizados com fótons e elétrons mostraram-se altamente reprodutíveis, ao ponto de deixarem de ser experimentos e virarem equipamentos do dia a dia.

Um efeito colateral, indesejável, da presente cultura acadêmica produtivista, em que teses e artigos são lançados em esquema de linha de montagem, é que não só as ferramentas do método muitas vezes são mal escolhidas e usadas de forma inadequada  (ano passado foi pródigo em alertas sobre o uso impensado e irrefletido de certos testes estatísticos), como a cultura da reprodutibilidade perde força: se o que traz prestígio são resultados originais, para que perder tempo testando os resultados dos outros?

Nenhuma dessas considerações é exatamente nova. Um dos autores do artigo em Human Behavior (intitulado, aliás, “A manifesto for reproducible science”), John Ioannidis, já vem batendo esse bumbo pelo menos desde 2005, quando publicou o já clássico “Why Most Published Research Findings Are False” na PLoS Medicine.

Em 2011, artigo em Psychological Science alertava para os chamados “graus de liberdade do pesquisador”, uma série de decisões sobre como coletar, analisar ou publicar dados que, se tomadas sem o devido cuidado (ou sob a influência de algum dos vieses apresentado no início da postagem), pode levar a falsos positivos. No ano de 2015, a Science publicava análise indicando a existência de uma “crise de reprodutibilidade” na psicologia. Livros e sites como Statistics Done Wrong também passaram a chamar atenção para erros inferenciais comuns das ciências.

Essa reação toda mostra que, ao contrário do que dizem seus críticos mais afoitos, a ciência não é um mero sistema de validação ritualística de “verdades” subjetivas, mas um conjunto de processos que inclui, entre outras coisas, o reexame crítico desses próprios processos.

Já o fato dessa reação ser necessária mostra que o que eu chamaria de “tentação degenerativa” — pela redução do fazer científico a um conjunto de rituais estúpidos acobertados por matemática abstrusa e linguagem inacessível — é real. Um sistema de incentivos perverso está aí, implantado, sussurrando no ouvido das pessoas que trocar a reflexão crítica e criativa pelo mecanicismo burocrático é o caminho, a verdade e a vida acadêmica.