ANNEXE 1 : conseils pratique pour faire soi-même sa propre critique.
Petit discours de la méthode

par Jean-Francois Bergmann. Professeur de Thérapeutique.
Tiré de Pratiques Médicales et Thérapeutiques - no 14 - Juillet-Août 2001

Jeu : faites vous-même votre critique d'un article médical

Les dix commandements

A vos revues, à vos ordinateurs et à vos plumes !

Lorsqu'une information thérapeutique vous paraît intéressante et à même de modifier vos habitudes de prescription, nous vous invitons à lire l'article original ayant conduit à ce progrès (attention, il ne faut pas lire un résumé, un condensé, un éditorial ou un compte-rendu et exiger de revenir à l'article princeps dans sa langue originale). Puis nous vous demanderons d'appliquer les règles de la lecture critique énoncées ci-dessous en vérifiant si les dix commandements ont été appliquées.
Envoyez-nous une photocopie de l'article princeps et vos brefs commentaires sur ces dix commandements et nous nous ferons un plaisir de lire comme vous l'article, de lui appliquer les mêmes règles critiques vis à vis de sa méthodologie et de comparer vos conclusions aux nôtres.
Ce jeu ne concerne que les essais thérapeutiques. Ne nous adressez pas les essais comparant les stratégies, ni des études épidémiologiques ou des études cas-témoin. Vos articles les plus intéressants conduisant aux analyses critiques les plus pertinentes seront publiés dans PMT.
Les dix commandements

Nous vous demanderons de répondre OUI ou NON avec un éventuel commentaire aux dix critères suivants concernant l'analyse critique d'un essai contrôlé.

1. Essai contrôlé
L'essai doit avoir conduit à une comparaison par rapport à un groupe contrôle n'ayant pas reçu le médicament à l'étude. Les études avant-après, les suivis de cohorte, les comparaisons historiques, ne sont donc pas des essais contrôlés.

2. Etude randomisée
Le tirage au sort, ou randomisation, doit avoir permis la répartition des malades à traiter dans le groupe recevant le nouveau médicament et dans le groupe contrôle. Cette randomisation doit avoir créé des groupes équilibrés en nombre et en caractère épidémiologique.

3. Essai en double aveugle
Pour que l'interprétation de l'efficacité ne soit pas biaisée par l'impression du médecin ou du malade et pour que le comportement de tous ne soit pas différent dans les deux groupes, il est important que l'étude ait été menée en double aveugle, c'est-à-dire que ni le médecin, ni le malade, ne doit savoir s'il est dans le groupe ayant reçu le nouveau médicament ou dans le groupe de contrôle.

4. Calcul du nombre de sujets nécessaires
Avant le début de l'essai, la taille de l'échantillon doit avoir été calculée à partir de données statistiques et à partir d'une différence escomptée entre le groupe traité par le nouveau médicament et le groupe de contrôle. Ce calcul du nombre de sujets nécessaires doit être retrouvé dans l'article et il faut vérifier que le nombre de malades finalement inclus correspond à celui calculé au préalable.

5. Définition claire de la population
L'article doit définir clairement la population incluse. Il faut vérifier que cette population correspond à une situation pathologique claire et que nos malades, tels que nous les définissons, correspondent à la même définition que celle employée dans l'essai.

6. Un critère principal d'évaluation unique et cliniquement pertinent
Il est capital que les auteurs de l'article définissent au départ le critère principal d'évaluation sur lequel devra se baser la comparaison par rapport au groupe contrôle. Ce critère principal doit être unique. C'est en général celui qui sert au calcul du nombre de sujets nécessaires. Il faut vérifier que ce critère a été bien défini et qu'il ait vraiment une signification clinique induscutable.

7. Analyse en intention de traiter
La totalité de la population incluse dans l'essai lors de la randomisation doit être prise en compte pour l'analyse finale d'efficacité. Il faut donc vérifier que le nombre de malades de l'analyse du critère principal d'efficacité correspond bien au nombre de malades inclus dans l'étude.

8. Une analyse en fin d'essai sur la totalité des patients
Le seul résultat pertinent est celui observé pour le critère principal au terme de l'étude. Les analyses intermédiaires ne doivent pas être prises en compte de façon prédominante. De même les analyses par sous-groupes sur une partie de la population ne sont pas acceptables.

9. Différence statistiquement significative
L'analyse du critère d'évaluation, en intention de traiter, sur tous les patients en fin d'essai, doit conduire à une différence statistiquement significative par rapport au groupe contrôle si l'on veut démontrer une supériorité (p<0.05%). La puissance de la comparaison statistique s'effondre si les comparaisons sont multiples (à différents moments, sur différents sous-groupe de population ou sur différents critères).

10. Une difference cliniquement signifiante
Même si la différence est statistiquement significative, il faut vérifier qu'elle correspond à une signification clinique perceptible pour le praticien et son malade. Inclure 20 000 malades dans un essai thérapeutique pour faire bouger un score symptomatique de 15,12 à 15,17 peut conduire à une différence statistiquement significative, mais sans signification clinique.

Conclusion

Lorsque vous aurez lu l'article, vous vérifierez si les dix critères énoncés ci-dessus sont retrouvés. Attention : pour qu'un essai soit parfaitement valide, il faut généralement que la réponse soit positive pour les dix commandements. Si un seul des dix commadements n'est pas respecté, la validité de l'essai risque de s'écrouler. Par exemple un très bel essai contrôlé, randomisé, mené en double aveugle avec une analyse en intention de traiter sur un nombre de sujets suffisant devient non recevable et méthodologiquement médiocre s'il y a des critères multiples d'évaluation ou tout simplement si l'analyse finale ne concerne qu'un sous-groupe de malades. Mais à l'inverse, un bel essai ne sera pas invalidé si deux ou trois malades sur des milliers manquent dans l'analyse en intention de traiter ou si la définition de la population n'est pas d'une précision absolue. Ne soyez pas dogmatique, mais restez rigoureux et exigeant.