Nem todo estudo pode afirmar a mesma coisa

Você decidiu parar de receber ciência de segunda mão e foi buscar na fonte. Abriu o artigo, leu o resumo, chegou na conclusão. E agora?

Essa é a parte que quase ninguém ensina. Aprendi sozinho, e demorei, que nem todo artigo é bom e que dois estudos sobre o mesmo tema podem ter pesos completamente diferentes.

O básico é entender que existem diferentes desenhos de pesquisa, e que cada um tem poder de afirmar coisas diferentes. Nem todo estudo pode constatar causa e efeito. Tem estudo mais rígido, tem estudo que serve para levantar hipótese e tem estudo que se parece mais com um livro do que com um resultado confiável.

Saber diferenciar isso é o que separa ler um artigo de apenas repeti-lo.

Antes dos desenhos: a seção que todo mundo pula

Um dos principais mecanismos de proteção da ciência é a revisão por pares. E ela simplesmente não existe em algumas revistas, as que chamamos de predatórias, que publicam mediante pagamento e sem avaliação real.

A melhor forma de separar artigo bom de artigo ruim é ser rigoroso com a seção de Métodos, que é justamente a que quase todo mundo pula para ir direto aos resultados. Eu mesmo pulei por muito tempo.

É nos métodos que está quem participou, quem foi excluído, o que foi feito, com quem se comparou e como se mediu. Um resultado impressionante em cima de um método frágil não vale nada. Um resultado modesto em cima de um método bem feito vale bastante.

Vou passar pelos principais desenhos, com um exemplo real de cada um.

Estudo transversal, o retrato de um momento

Como uma foto, esse desenho mostra que duas coisas aparecem juntas numa determinada população, num determinado instante.

Se eu disser que o aumento de casos de insolação causa o aumento da venda de picolé, estou atribuindo causalidade só porque as duas coisas acontecem mais no verão. É erro. Falta o verão na conta.

O que dá para constatar é uma relação. Por exemplo: um estudo com crianças nos Estados Unidos observou que as que tinham excesso de peso também apresentavam córtex pré-frontal mais fino e conectividade funcional reduzida em regiões ligadas a controle cognitivo e recompensa. Recrutaram mais de 4.500 crianças, mediram composição corporal e fizeram neuroimagem [1].

Ainda não dá para dizer que uma coisa causa a outra, nem qual veio antes. Dá para levantar a hipótese e sugerir investigação futura. Não é causa. É sinal de alerta.

Verbos que cabem aqui: se associa a, foi observado, tende a, está relacionado a.

Coorte longitudinal, o filme

Aqui você acompanha a linha do tempo. Observa uma população exposta a um fator e verifica quantas pessoas desenvolvem determinada característica com o passar dos anos. Como a exposição vem antes do desfecho, a associação é mais forte que a do transversal. Ainda assim, não é o desenho para cravar causa.

Uma pesquisa acompanhou 686 jovens dos 17 aos 22 anos para entender se a postura do pescoço ao usar o celular, o famoso text neck, seria fator de risco para dor cervical persistente. Ter dor aos 17 esteve associado a quase quatro vezes mais chance de dor aos 22. Já a postura mais relaxada do pescoço ao usar o celular, ao contrário do que muita gente afirma, esteve associada a menor ocorrência de dor quando comparada às posturas mais eretas [2].

Ou seja, a evidência não sustenta a insistência em mandar as pessoas consertarem a postura. O desconforto pode ser momentâneo sem ser preditivo de dor no longo prazo.

Verbos que cabem aqui: esteve associado a, prediz, aumentou o risco de.

Ensaio controlado e aleatorizado, a corrida entre clones

Esse é o desenho padrão-ouro para causalidade.

Imagine que a gente consiga clonar o Usain Bolt e coloque os dois lado a lado nos 100 metros, sem saber quem é quem, e só você sabe que na garrafa de um deles havia um suplemento. É a melhor forma de saber se o suplemento funciona: dois grupos muito parecidos na média, um recebe a intervenção, o outro recebe placebo ou o tratamento habitual, e comparamos o desfecho.

O que faz esse desenho ser mais forte é o sorteio. Ao distribuir os participantes por acaso, ele espalha entre os grupos tanto as variáveis que você conhece quanto as que você nem imaginou medir.

Foi assim que se comparou tirzepatida e semaglutida. Dois grupos com pessoas acima de 18 anos, IMC de 30 ou mais, ou 27 com alguma comorbidade excluindo diabetes, e pelo menos uma tentativa malsucedida de perder peso. Um grupo recebeu tirzepatida e o outro semaglutida, por cerca de um ano e meio. O ensaio mostrou maior perda de peso e maior redução de circunferência de cintura no grupo da tirzepatida [3].

Verbos que cabem aqui: mostrou, resultou em, foi superior a, reduziu, aumentou.

Revisão sistemática, o jantar com convidados selecionados

Aqui se faz uma reunião criteriosa de estudos parecidos, sobre o mesmo tema, para responder uma pergunta específica ou descrever o que a literatura mostra, inclusive quando ela se contradiz.

Transversais, coortes e ensaios podem entrar. Além de reunir o que já foi achado, uma boa revisão sinaliza limitações e onde a pesquisa precisa avançar. E como reúne artigos em vez de produzir dado novo, não é considerada estudo original.

Uma revisão reuniu diretrizes de prática clínica sobre atividade física para gestantes saudáveis, avaliou a qualidade metodológica de cada uma e compilou as recomendações consensuais e as divergentes. As diretrizes da OMS e do NICE apareceram entre as de melhor qualidade. No geral, as diretrizes incentivam gestantes saudáveis a se manterem ativas durante toda a gestação, com pelo menos 150 minutos por semana distribuídos em pelo menos três dias não consecutivos, combinando exercício aeróbio e de força, com monitoramento de intensidade [4].

Da próxima vez que encontrar alguém colocando restrição demais em gestante, você tem onde se apoiar.

Verbos que cabem aqui: a literatura aponta, estudos indicam, a evidência acumulada sugere.

Revisão sistemática com meta-análise, quando cada convidado tem um peso

Aqui a reunião é mais restrita: estudos com métodos parecidos, desfechos parecidos, população parecida e comparação parecida. A partir daí se faz um cálculo que considera o peso de cada estudo e devolve um efeito combinado.

Cada estudo isolado pode ter 30 ou 40 pessoas. Somados, podem chegar a milhares. O gráfico que resume isso é o forest plot, e o poder é maior quando os estudos reunidos são ensaios de boa qualidade metodológica.

O que aumenta mais o VO2 máximo, HIIT ou treino aeróbio contínuo? Uma revisão sistemática com meta-análise reuniu ensaios com pessoas de 18 a 45 anos, saudáveis, sedentárias ou recreativamente ativas, com pelo menos duas semanas de intervenção. Comparados a não fazer nada, os dois melhoraram o VO2 máximo. Comparados entre si, os dados combinados apontaram vantagem do HIIT [5].

Um cuidado: quando os estudos reunidos são muito diferentes entre si, o número combinado perde sentido. É o que se chama de heterogeneidade, e ela aparece declarada na própria revisão. Vale procurar.

Revisão narrativa, quando o artigo parece um livro

Aqui existe certa liberdade poética. O autor conduz o conteúdo de forma mais narrativa e descreve o estado do tema sem obedecer a critérios rígidos de inclusão das referências.

Essa liberdade é boa e ruim ao mesmo tempo. Para quem está chegando no assunto, uma boa revisão narrativa explica um tema complexo melhor que qualquer outro formato. Mas depende inteiramente do domínio de quem escreve, e o poder científico é baixo, bem atrás de uma revisão sistemática.

Uma revisão narrativa se propôs a ajudar o leitor a montar um treino tempo-eficiente para força e hipertrofia. Os autores argumentam que o volume semanal de séries pesa mais que a frequência com que o músculo é treinado, com pelo menos quatro séries semanais e resultados maiores para hipertrofia na faixa das dez séries. Propõem faixas de repetição entre 6 e 15, sem necessidade de chegar à falha de forma regular, priorizando exercícios multiarticulares e bilaterais, sem repetições excessivamente lentas e com descanso entre um e dois minutos [6].

Nada disso é regra. Dá para fazer diferente e obter resultado. E vale lembrar: força e hipertrofia são desfechos diferentes.

Verbos que cabem aqui: os autores propõem, os pesquisadores argumentam, a hipótese é.

A hierarquia existe, mas não é uma escada rígida

Essa ordem que apresentei costuma ser desenhada como uma pirâmide, com revisão sistemática no topo e opinião de especialista na base. É útil como orientação geral, mas aplicar como regra automática leva a erro.

Um ensaio randomizado mal conduzido, com amostra pequena e alta perda de participantes, pode valer menos que uma coorte grande e bem feita. Uma revisão sistemática que reuniu seis estudos ruins continua sendo uma revisão de seis estudos ruins. Sistemas de avaliação de evidência mais recentes, como o GRADE, incorporam exatamente isso: permitem rebaixar um ensaio com problemas metodológicos e elevar um estudo observacional muito consistente.

Ou seja, o desenho diz o que aquele estudo pode afirmar. A execução diz o quanto você deve confiar naquilo que ele afirma. As duas perguntas são diferentes e você precisa fazer as duas.

O que levar daqui

Primeiro: cada desenho de estudo tem poder de concluir coisas diferentes. Antes de olhar o resultado, olhe o desenho.

Segundo: o verbo que você usa para descrever um achado precisa ser compatível com o desenho que o produziu. Dizer que um estudo transversal provou alguma coisa não é força de expressão, é erro.

Terceiro: leitor interpreta mal, revisor faz trabalho ruim, autor escreve artigo tendencioso e distorce achado para parecer mais do que é. Nada disso desacredita o método científico. Desacredita aquele leitor, aquela revista e aquele autor.

Quarto: ouvir uma informação em rede social, curso, congresso ou palestra é uma coisa. Buscar na fonte é outra completamente diferente. Na primeira você está condenado a confiar em quem fala. E o problema quase nunca é má intenção. É que quem fala também tem os vieses dele.

Se você lembrar de alguma afirmação que circula muito na nossa área e que talvez não sobreviva a uma olhada no desenho do estudo, me manda. Tenho vontade de escrever sobre isso.