Contexte Les méta-analyses d'essais ayant utilisé
différentes échelles continue ou de cotation pour enregistrer
des résultats de nature similaire demandent une manipulation
sophistiquée des résultats et une transformation des
données en une échelle uniforme, la différence moyenne
standardisée (DMS). On ne sait pas quelle est la fiabilité de
ces méta-analyses.
Objectif Etudier si les DMS des méta-analyses sont
précises.
Sources des données Revue systématique des
méta-analyses publiées en 2004 qui rapportaient un
résultat sous la forme de DMS, sans restriction de langage. Deux essais
étaient sélectionnés de manière aléatoire
dans chaque méta-analyse. Nous avons essayé de reproduire les
résultats dans chaque méta-analyse en calculant de
manière indépendante la DMS en utilisant le g ajusté de
Hedges.
Extraction des données Notre objectif primaire était
le pourcentage de méta-analyses pour lesquelles notre résultat
différait de celui des auteurs de 0.1 plus, soit pour le critère
d'évaluation ou son intervalle de confiance, pour au moins un des
essais sélectionnés. Nous avons choisi 0.1 comme valeur seuil
car de nombreux traitements communément utilisés ont un effet de
0.1 à 0.5, par rapport au placebo.
Résultats Sur les 27 méta-analyses incluses dans
l'étude, nous n'avons pu reproduire le résultat pour au moins un
des deux essais situé dans les 0.1 dans 10 des méta-analyses
(37%), et dans 4 cas, la différence était de 0.6 ou plus pour le
point d'estimation. Les problèmes les plus fréquents
étaient de nombres erronés de patients, de moyennes, de
déviations standards, et de signes pour l'évaluation de l'effet.
Au total, 17 méta-analyses (63%) avaient des erreurs pour au moins un
des deux essais examinés. Pour les 10 méta-analyses ayant des
erreurs d'au moins 0.1, nous avons vérifié les données de
tous les essais et nous avons mené nos propres méta-analyses,
à l'aide des méthodes des auteurs. Sept de ces 10
méta-analyses étaient fausses (70%); 1 a été
ultérieurement retirée et dans 2 une différence
significative disparaissait ou apparaissait.
Conclusions Le pourcentage élevé de
méta-analyses se basant sur la DMS qui montrent des erreurs indique
que, bien que les procédures statistiques soient de façon
évidente simples, l'extraction des données est
particulièrement sujette à des erreurs qui peuvent
négativer ou même inverser les observations de l'étude.
Ceci a des implications pour les chercheurs et impliquent que tous les
lecteurs, y compris les relecteurs des journaux et les décideurs,
devraient considérer ces méta-analyses avec
précaution.
JAMA.
2007;298(4):430-437
