O problema da Medicina Baseada em Evidências e o que fazer em relação a isso
Posted on 24th July 2017 by Cochrane Brazil
This blog is a Portuguese translation of the blog ‘The Evidence Based Medicine problem and what to do about it’ written by Danny Minkow. Read the English version here. With thanks to Cochrane Brazil for the translation.
Mensagem principal: A Medicina Baseada em Evidências é útil para informar profissionais de saúde sobre o que funciona e o que não funciona, e ajudar a determinar se os benefícios superam os riscos, mas está longe da perfeição. Existem valiosos aprendizados sobre pesquisas, que podem ser compartilhados em várias disciplinas.
Qual é o problema da Medicina Baseada em Evidências?
Em 2005, o Dr. John Ioannidis, um conhecido meta-pesquisador, publicou um artigo na revista PLoS Medicine chamado Por que a maioria dos achados de pesquisas são falsos?. Este artigo causou impacto e gerou uma onda que tem se propagado na comunidade de pesquisadores médicos desde então. Essa publicação é um pouco técnica, tente lê-la se puder, porém recomendo a todos que pelo menos leiam a parte menos técnica, que é a crítica narrativa de sua pesquisa aqui no The Atlantic. Ele traz problemas muito sérios que têm atormentado a comunidade de pesquisadores médicos. Tentarei resumir alguns de seus conceitos.
Eles incluem:
- Viés de Publicação, que significa que se pesquisadores demonstrarem que uma intervenção teve pouco ou nenhum efeito, esses estudos terão uma probabilidade menor de serem publicados. Ou seja, não haverá a publicação de pesquisas cujo resultado for negativo.
- Excesso de Confiança em estudos que se baseiam em estatísticas de valor de p de 0,05. Isto pode levar a falsos positivos assim como a falsos negativos.
- Falta de replicação uma vez que muitos estudos importantes não são replicados, ou mesmo reprodutíveis, por outros pesquisadores independentes para que eles verifiquem estes resultados. Alguns estudos importantes que foram reproduzidos, tiveram resultados surpreendentemente diferentes e até contraditórios.
- Estudos com pequeno tamanho amostral e com baixo poder metodológico. Quanto menor o número de indivíduos no estudo, menor a probabilidade de os resultados serem verdadeiros.
- Publicação seletiva de desfechos, manipulação de dados/fraude e conflitos de interesse econômicos. Quanto maior for o interesse financeiro, menor a probabilidade de os resultados serem verdadeiros.
- Quanto maior a flexibilidade no desenho dos estudos e suas definições, menor será a probabilidade de os resultados serem verdadeiros.
- O sistema de recompensas no mundo da pesquisa médica, particularmente em universidades, incentiva mais a quantidade de publicações do que a qualidade das pesquisas.
Coletivamente, esses fatores levaram o Dr. Ioannidis a concluir que uma grande parte das evidências que médicos e profissionais de saúde passaram a confiar, incluindo os estudos fundamentais utilizados para tratar pacientes, são frequentemente enganosos, exagerados e, muitas vezes mostram resultados errados.
Na primeira vez que li seu artigo, fiquei um pouco chocado e descrente de que a Medicina Baseada em Evidências pudesse estar tão errada. O artigo me fez questionar: e agora?
O que podemos fazer em relação a este problema da Medicina Baseada em Evidências? Como produziremos pesquisas melhores?
Felizmente, desde que seu artigo original foi publicado, várias pesquisas e grupos acadêmicos fizeram progresso em muitas destas áreas. Em um artigo publicado no JAMA em 2014, o Dr. Ioannidis retorna para sugerir soluções adicionais, particularmente com o objetivo de mudar o sistema de recompensas que prioriza a quantidade de pesquisas sobre a qualidade do desenho dos estudos. Ele recomenda uma lista de critérios de recompensas, ou princípios, para ajudar a avaliar e identificar métodos de pesquisas desejáveis. Ele chama esta lista de “PQRST”, que significa produtividade, qualidade, reprodutibilidade, se é compartilhável e se é traduzível.
Vamos analisar estes conceitos.
Produtividade: Basicamente, significa ajustar uma definição fixa para o significado de “produtividade” na pesquisa. Por exemplo, o número de publicações em revistas de bom nível, a porcentagem de citações por ano para cada campo científico. Não simplesmente publicar um artigo em qualquer lugar apenas pelo reconhecimento de ter algo publicado.
Qualidade: Significa definir altos padrões de publicação para cada área de métodos de pesquisas e desenhos de estudos. Isso é importante para assegurar maior confiabilidade e credibilidade nos resultados. Estes padrões devem ser também facilmente verificáveis.
Reprodutibilidade: Significa certificar-se de que os dados brutos e os métodos são claros, para que outros pesquisadores independentes possam (e devam) reproduzir o estudo.
Compartilhável: Significa registrar e compartilhar os dados e protocolos de todos os ensaios clínicos.
Traduzível: Significa assegurar que a pesquisa é relevante e que pode ser aplicada em cenários reais.
O desafio de reproduzir e reanalisar estudos prévios foi destacado na edição mais recente do JAMA e discutido no Richard Lehman’s BMJ blog. No artigo, chamado “REanalyses of Randomized Clinical Trial Data, o Dr. Ebrahim, que faz parte da equipe de pesquisadores do Dr. Ioannadis, acha que apenas:
“Um pequeno número de reanálises de ensaios clínicos randomizados (ECR) foi publicado até hoje. Apenas alguns foram conduzidos por autores totalmente independentes. Trinta e cinco por cento de reanálises publicadas levou a mudanças nos achados, que implicaram em conclusões diferentes daquelas do artigo original sobre o tipo e o número de pacientes que deveriam ser tratados”
Assim, ainda temos um longo caminho a percorrer. A boa notícia é que as pesquisas e os esforços em aprimorar a Medicina Baseada em Evidências estão em andamento. Estamos progredindo através da identificação de fraquezas e abordando-as.
Conclusões e comentários
Gostaria de ressaltar que Alice Buchan, uma pioneira do S4BE, escreveu um texto maravilhoso no início deste ano baseado na série de artigos da Lancet sobre aumentar o valor e reduzir o desperdício em pesquisa aqui. Desperdício em pesquisa é um tópico abordado e houve ótimas ideias sobre como melhorar as prioridades assim como em reduzir o desperdício em estudos. Como Students 4 Best Evidence (S4BE), representamos uma variedade de diferentes disciplinas médicas. Todos nós damos valor à pesquisas e evidências como parte do processo de tomada de decisão clínica. Talvez esses artigos devessem nos interromper sobre o estado de nossa evidência e nos ajudar a pensar sobre as possíveis soluções para o “problema da Medicina Baseada em Evidências”.
O que esses desafios significam para o estado de pesquisa e evidências em nossas próprias respectivas disciplinas? Você já viu alguma destas questões levantadas ou soluções implementadas no seu campo? Como nós podemos, como estudantes, implementar esses aprendizados em nossos respectivos campos e influenciar outros a fazê-lo?
Mais
- David H. Freedman (November, 2010) Lies, Damned Lies, and Medical Science, The Atlantic
- Ebrahim S, Sohani ZN, Montoya L, et al. “REanalyses of Randomized Clinical Trial Data.” JAMA 312, no. 10 (September 10, 2014): 1024–32. doi:10.1001/jama.2014.9646.
- Ioannidis, John P. A. “Why Most Published Research Findings Are False.” PLoS Med 2, no. 8 (August 30, 2005): e124. doi: 10.1371/journal.pmed.0020124.
- Ioannidis JA, and Khoury MJ. “Assessing Value in Biomedical Research: The Pqrst of Appraisal and Reward.” JAMA 312, no. 5 (August 6, 2014): 483–84. doi:10.1001/jama.2014.6932.
- Young, Neal S, John P. A Ioannidis, and Omar Al-Ubaydli. “Why Current Publication Practices May Distort Science.” PLoS Med 5, no. 10 (October 7, 2008): e201. doi:10.1371/journal.pmed.0050201.
