 |
 |

Pages du praticien
Exactitude de l'auto-évaluation des médecins comparée à la mesure observée des compétencesUne revue systématique
David A. Davis, MD;
Paul E. Mazmanian, PhD;
Michael Fordis, MD;
R. Van Harrison, PhD;
Kevin E. Thorpe, MMath;
Laure Perrier, MEd, MLIS S
RÉSUMÉ
Contexte Les activités clés d'acquisition des
connaissances tout au long de la carrière, les crédits de
formation médicale continue, la revalidation de la certification de
spécialité, et la compétence clinique sont liés
aux capacités des médecins à évaluer leurs propres
besoins en matière de formation et à choisir les
activités qui répondent à ces besoins.
Objectifs Déterminer avec précision comment les
médecins s'auto-évaluent par rapport à
l'observation externe de leurs compétences.
Source de données Les bases de données
électroniques MEDLINE, EMBASE, CINAHL, PsycINFO, les ressources de
recherche et développement basées sur la FMC, et des moteurs de
recherches personnels ont été explorés en utilisant des
termes se rapportant à l'auto-apprentissage,
l'auto-évaluation et l'autoréflexion.
Sélection des études Les études étaient
incluses si elles comparaient les évaluations auto-notées des
médecins avec des observations extérieures, si elles utilisaient
des mesures quantifiables et reproductibles, si elles incluaient une
étude de population au moins égale à cinquante pour cent
de médecins traitants, internes ou autre professionnel de santé,
et se déroulaient en Angleterre, Canada, Etats Unis, Australie et
Nouvelle Zélande. Les études étaient exclues si elles
comparaient des auto-rapports, des études d'étudiants en
médecine, concernaient les perceptions du médecin sur
l'état des patients, si elles décrivaient le
développement de mesures d'auto-évaluation, ou
étaient des programmes d'auto-évaluation de
sociétés spécialisées. Les études conduites
dans le contexte d'une intervention éducationnelle ou
d'amélioration de qualité étaient incluses seulement
si des données comparatives étaient obtenues avant
l'intervention.
Recueil des données Etaient extraits les populations
étudiées, le contenu et le domaine d'auto-évaluation
de l'étude, la méthode utilisée pour mesurer
l'auto-évaluation des participants de l'étude et
celles utilisées pour mesurer leur compétence ou performance,
l'existence et l'emploi de tests statistiques, les résultats
d'étude et les données comparatives expliquées.
Synthèse des données Cette recherche a produit sept
cent vingt-cinq articles parmi lesquels dix-sept satisfaisaient aux
critères d'inclusion. Les études incluaient un grand nombre
de domaines, comparaisons, mesures et rigueur méthodologique. Sur les
vingt comparaisons entre auto-évaluation et évaluation externe,
treize ont peu démontré, rien démontré ou ont
démontré une relation inverse. Un certain nombre
d'études ont montré que la précision était
moins exacte dans l'auto-évaluation chez les médecins les
moins expérimentés et chez les plus confiants. Ces
résultats sont compatibles avec ceux rencontrés dans
d'autres professions.
Conclusion Bien que de qualité sous-optimale, la
prépondérance des preuves suggère que les médecins
ont une capacité limitée à s'auto-évaluer
avec précision. Les processus actuellement utilisés pour mettre
en place un développement professionnel et évaluer les
compétences auraient besoin de plus se focaliser sur
l'évaluation externe.
JAMA. 2006;296:1094-1102.
L'auto-évaluation et la formation continue autodirigée
ont longtemps été les piliers de la profession médicale,
car ce sont des activités supposées étroitement
liées à la qualité des soins apportés au
patient.1 Les
médecins aux Etats Unis doivent démontrer leur engagement
à apprendre tout au long de leur carrière en choisissant et en
participant à des programmes de formation médicale continue
(FMC)2 et en
obtenant des crédits de FMC réclamés par la
majorité des Conseils de l'Ordre des Médecins des
différents états sous la rubrique « loi sur la pratique
médicale dans l'état
».3 Le
certificat de validation des médecins par l'Association
Médicale
Américaine4
basé sur la participation à la FMC, satisfait aux exigences de
la Commission Commune sur l'Accréditation des Organisations de
Santé liée à l'accréditation de
l'hôpital.
L'auto-évaluation et la formation continue ont
été adoptées par le Conseil Américain des
Spécialités Médicales comme étant l'un des
quatre éléments de son programme de maintien d'une
certification.5 De
plus, les représentants du Conseil Américain de Médecine
Interne qui ont choisi de repasser leur certification doivent compléter
un cycle de dix ans, processus focalisé sur le développement
professionnel continu et qui demande aux médecins d'être
capables de
s'auto-évaluer.6
Dans la formation médicale universitaire, la question de
l'apprentissage par l'exercice pratique et de
l'amélioration basée sur l'auto-évaluation est
un principe essentiel du développement professionnel au
Canada,7 aux
Etats-Unis8 et dans
d'autres
pays.9
Chacun des éléments de cette chaîne –
l'importance de l'auto-évaluation, l'apprentissage
permanent, l'acquisition de crédits de FMC et leur utilisation
pour le maintien de l'autorisation d'exercer,
l'accréditation et la certification continue –
dépendent fortement de la capacité des médecins à
déterminer leurs propres besoins d'apprendre et de trouver les
ressources pour les satisfaire.
Pourtant, une revue récente de la littérature orientée
vers la théorie sur l'auto-évaluation (incluant celles des
professionnels de santé) soulève de nombreuses questions
concernant les défaillances des professionnels à exprimer un
jugement concis de leur performance de manière régulière
ou pertinente, ce qui est une exigence critique pour une profession
autorégulée.10
Sachant que le terme auto-évaluation est utilisé pour
décrire plusieurs types d'activités, nous nous sommes
intéressés à considérer l'aspect «
auto-cotation » ou « auto-audit » par contraste à
l'utilisation du contrôle de connaissances auto-administré
ou de la performance clinique. A notre connaissance, il n'existe pas de
revues systématiques d'études de ce type
d'auto-évaluation médicale comparée à des
observations externes. Par conséquent, nous avons revu la
littérature pour déterminer avec précision, comment les
médecins auto-évalués se comparent avec les observations
externes de leur compétence.
MÉTHODES
Sources d'information: Les bases de données MEDLINE
(1966-Juillet 2006), EMBASE (1980-Juillet 2006), CINAHL (1982-Juillet 2006),
PsycINFO (1967-Juillet 2006), la base de ressource de Recherche et
développement pour la FMC (1978-July
2006)11 et les
moteurs de recherche privés utilisant les termes apprentissage
autodirigé, auto-évaluation, auto-réflexion,
auto-cotation, exercice de réflexion, rapport de plusieurs sources, et
termes apparentés. L'indexation de ce sujet dans les bases de
données de la littérature est limitée et très peu
de titres pertinents étaient disponibles, la recherche dépendait
par conséquent de l'identification de mots clés dans des
articles innovateurs et des groupes d'experts. La recherche manuelle a
été conduite en revoyant des références
d'articles récupérés. La stratégie
complète de recherche est disponible sur demande.
Sélection des données
Etaient incluent les études s'étant focalisées
sur une comparaison entre médecins auto-évalués
déterminés par une auto-cotation et une ou plusieurs mesures
externes de leurs capacités. Les études choisies utilisaient ce
type d'auto-évaluations (perception des médecins ou
anticipation de la connaissance, capacité ou performance)
comparés à des mesures externes bien décrites —
examen clinique structuré et objectif (ECSO) dans le même domaine
ou comparaison des notes de performance observées. De plus, les
études inclues devaient: utiliser des mesures quantifiables et
reproductibles; avoir une population étudiée d'au moins
cinquante pour cent de médecins, internes, ou professionnels de
santé tels que les infirmières ou médecins assistants
pour pouvoir être généralisées à ces groupes
et être menées au Canada, Etats-Unis, Australie,
Nouvelle-Zélande qui ont des exigences de formation,
d'actualisation des compétences, de langues et de FMC communes.
Nous avons exclu les études de comparaison d'auto-rapports, celles
évaluant des étudiants en médicine ou principalement
d'autres professionnels de santé, celles portant sur le
développement ou le contrôle des mesures
d'auto-évaluation, l'évaluation de l'impression
des médecins sur l'état des patients ou les programmes
d'auto-évaluation de sociétés
spécialisées qui fournissent un corrigé des tests de
connaissance aux médecins. Les études menées dans un
contexte d'intervention visant à améliorer la
qualité ou l'aspect éducatif dans ce domaine
d'évaluation n'étaient incluses que si des
données comparatives étaient obtenues avant
l'intervention.
Recueil des données
L'information suivante était extraite de chaque article:
étude de population; domaine du contenu et domaine
d'auto-évaluation de l'étude; méthode
utilisée pour mesurer l'auto-évaluation des participants de
l'étude; méthodes utilisées pour observer ou mesurer
les compétences ou performances des participants; l'existence et
l'utilisation de mesures quantifiables; et l'étude des
résultats. Lorsqu'elles étaient disponibles, les
données à l'intérieur de l'étude pouvant
expliquer les associations entre auto-évaluation et évaluation
externe étaient recherchées. Aucune extraction des
données n'était conduite d'une manière aveugle.
Une métaanalyse n'a pas été faite dans la mesure
où les constructions conceptuelles dans le domaine de
l'auto-évaluation étaient variées et
évaluaient différentes capacités utilisant des mesures
variables.
La qualité méthodologique de l'article était
évaluée en déterminant (1) s'il était
suffisamment descriptif pour permettre la reproductibilité de la
population étudiée, (2) le domaine
d'auto-évaluation, et (3) l'indication explicite d'une
procédure en aveugle des observations externes
d'auto-évaluation. De plus, l'échantillonnage sur
lequel l'étude de population était basée, les
méthodes utilisées d'auto-évaluation et
d'évaluation externe, l'identification de
modèles-pilotes ou de méthodes validées par les auteurs
des études, et la présence et le caractère
approprié des tests statistiques étaient
déterminés.
La recherche de la littérature a été faite pas
l'un des auteurs (L.P) et reproduite par un spécialiste de la
gestion de l'information indépendant. L'un des auteurs
(D.A.D) déterminait les critères d'inclusion. Les
critères d'inclusion étaient appliqués au
résumé de tous les articles par deux des auteurs (D.A.D.,
P.E.M.) et confirmés par un autre auteur (L.P.). Les méthodes
d'extraction des données ont été
développées par l'un des auteurs (D.A.D.) et ont
été appliquées par deux des auteurs (D.A.D., P.E.M.) aux
articles qui répondaient au critère d'inclusion. Les
désaccords sur les critères de recherche, les données
extraction, et la classification des résultats des études
étaient résolus par consensus.
RÉSULTATS
Résultats de la recherche et vue d'ensemble de l'article
Les stratégies de recherche ont permis de trouver sept cent
vingt-cinq articles après avoir éliminé des études
qui faisaient doublon et les études non pertinentes lors de la
recherche par titre. Après application des critères
d'inclusion aux résumés de ces articles et en excluant les
études basées sur les rapports personnels,
l'évaluation des étudiants en médecine ou
d'autres professions de santé ne correspondant pas aux
critères d'inclusion, les études centrées sur le
patient ou les rapports sur le développement d'outils et de
conceptions d'auto-évaluation, d'évaluation de
formation après le cursus d'étude ou
d'auto-évaluation de programmes de sociétés
spécialisées, restaient 30 articles publiés entre 1998 et
2005. Après revue du texte complet de ces articles, treize autres
furent exclues en se basant sur ces critères ou parce qu'ils se
rapportaient aux caractéristiques des médecins telles que leur
processus de décision ou le fait qu'elles avaient
été faites dans des pays exclus, laissant dixsept
articles12-28
répondant à tous les critères d'inclusion. Trois
études ont utilisé deux comparaisons externes
chacune,12,15,23
résultant en vingt comparaisons entre auto-évaluation et
évaluation externe.
La majorité des résultats de ces études se rapportant
à la médicine clinique, comme l'expérience des
procédures, les soins palliatifs et les connaissances
générales en
médicine.12-17,21-25,27,28
Une étude était centrée sur la faculté
d'enseignement,18
une autre sur les compétences
culturelles,19 et
deux autres sur la médecine basée sur les
preuves.20,26
Six études examinaient les capacités
d'auto-évaluation des médecins traitants et une
étude tenait compte des médecins
traitants,16
médecins assistants et infirmières. L'étude par
Léopold et
al16 était
conduite dans un contexte d'intervention éducative
spécifique et précise. Le reste des
études12,14,15,17,21-23,26
se rapportait aux étudiants en médecine en formation ou à
la fois aux étudiants et médecins traitants
(Tableau 2 et
Tableau
3).25,28
|
|
Tableau 2.. Etude ayant examiné l'auto-évaluation des
médecins praticiens.
|
|
|
|
|
Tableau 3.. Etudes ayant examiné l'auto-évaluation de
médecins diplômés en formation et de médecins
praticiens.
|
|
|
|
|
Figure.. Recherche et sélection des études
sélectionnées.
|
|
|
Domaines d'auto-évaluation
Les vingt comparaisons entre auto-évaluation et évaluation
externe étaient divisées en trois approches
d'auto-évaluation. Six
études14,15,17,20,26,28
se rapportaient à l'auto-évaluation prédictive, qui
est la capacité des médecins de prédire sa performance
d'après une évaluation future des
compétences.12,16,18,19,21-25
Neuf comparaisons concernaient la théorie
d'auto-évaluation additionnelle et rétrospective. Dans deux
études,12,16
on demandait aux participants de noter leur performance dans un exercice de
simulation récemment complété, plus tard comparé
aux notations données par des observateurs externes. Sept études
demandaient aux participants de fournir des représentations mentales
d'euxmêmes au cours du temps (compétents en médecine
générale,21-25
compétents en enseignement
chirurgical,18 et
compétence culturelle et
linguistique19)
comparées aux perceptions de performance dans ces domaines par des
internes,18 des
patients,19 des
surveillants et personnel de
service,22,23
des tests
objectifs21,23,24
ou des audits de dossiers
d'observation.25
La dernière approche était celle de
l'auto-évaluation simultanée. Deux études dans cette
catégorie demandaient aux médecins d'auto-identifier leurs
besoins actuels en matière d'apprentissage. Dans chacune, le
processus incluait une réflexion sur ses performances, connaissances ou
capacités dans des situations familières.
Méthode d'auto-évaluation
L'auto-cotation était menée dans des études par
questionnaire, liste ou enquête et se concentrait sur les besoins
d'apprentissage,13,27
la confiance dans la réalisation des
procédures,14,16
les capacités générales
cliniques,12,21-25,27,28
l'estimation médicale et critique des
connaissances17,20,26
ainsi que les compétences non cliniques (ex: capacités
d'enseigner et compétences culturaleslinguistiques).
Méthodes par évaluation externe
Les études ont comparé l'auto-notation par des
médecins avec des mesures objectives externes
constantes14,15
telles que les OSCE, des patients
standardisés,12-21
des simulations,16
la performance lors de la formation ou d'autres
examens,17,23,24,26-28
l'audit des dossiers
cliniques,25 ou la
capacité à expliquer les concepts de la médecine par les
preuves à un interlocuteur en
aveugle.20
Les études ont aussi comparé l'auto-notation des
médecins à des données dérivées
d'interviews structurés complétés par les agendas
des
médecins13
ou les cotations d'intervenants tels que les
internes,18
patients19 ou
superviseurs
universitaires.12,15,22,23
Dans trois des
études,12,18,23
les instruments utilisés dans l'auto-notation des médecins
correspondaient bien aux instruments utilisés à des buts
comparatifs
Méthode par comparaison d'auto-évaluation et évaluation externe
Les études ont démontré une certaine
hétérogénéité dans leur choix de
comparaison et l'utilisation des méthodes statistiques. Les
études rapportaient soit l'utilisation de statistiques
descriptives,13,20,21,24
soit des statistiques
déductives.12,14-19,22,23,25-28
Deux études n'ont pas identifié les tests statistiques
appliqués.12,22
Une étude12
utilisait le même instrument pour auto-évaluation et mesure
externe, permettant par conséquence des tests d'accord
précis.
Précision de l'auto-évaluation
Des vingt comparaisons entre auto-évaluation et évaluation
externe, treize ont démontré peu, pas ou une relation inverse
entre les mesures d'auto-évaluation et les autres
indicateurs.2-18,20,21,23,26,27
Six études utilisaient des notes de confiance globale comparées
aux performances des procédures utilisant des check-lists
comportementales pour noter la performance dans l'évaluation de la
démence, 12
la compétence dans les procédures,
14-16
les conseils au patient en faveur de la
santé21 et
la capacité de donner des soins en
urgence.23 Deux
études ont utilisés des interviews structurées comme
mesure externe, mettant en évidence un manque d'harmonie entre
auto-évaluation et observation externe pour déterminer les
besoins de formation dans les soins médicaux
palliatifs13 et
dans les capacités des médecins a expliquer les termes de la
médecine basée sur
l'évidence.20
Trois études utilisaient des tests tels que des examens à choix
multiples en soins
d'urgence,23
des articles standardisés pour tester les capacités
d'évaluation
critique26 et des
tests vrai/faux dans trois domaines de médecine
générale.27
|
|
Tableau 1.. Etudes montrant l'auto-évaluation des capacités
d'enseigner, des compétences culturelles, et de la médecine
basée sur les preuves.
|
|
|
Une étude montrait l'échec des chirurgiens pour juger
des capacités de perception des internes par rapport aux
capacités d'enseigner des
chirurgiens.18 De
plus, la proportion d'études rapportant peu, pas ou une relation
inverse n'a pas semblé varier en fonction du niveau de formation
ou de l'expérience ou des années d'étude.
Par contraste, sept
comparaisons12,15,19,22,24,25,28
ont démontré des associations positives entre
auto-évaluation et la plupart des observations externes. Trois ont
trouvé une constance (et peu de variabilité) entre auto-notation
après réalisation d'une performance par les internes et les
notations des témoins pour des nivaux globaux ou généraux
de capacité à évaluer la
démence,12
les capacités cliniques de
base15 et dans la
compétence à prendre en charge les aspects psychologiques de
l'exercice de la médecine
générale.22
Deux études ont démontré des associations positives entre
expertise auto-évaluée et le diagnostic par examen
médical des violences sexuelles sur
enfant,24 ou
l'aisance à reconnaitre les caractères de la
varicelle.28 Les
deux études utilisaient des étiquettes et photographies de
signes cliniques. Une
étude19
montrait une importante association entre auto-évaluation du
médecin de sa compétence linguistique et culturelle et les
rapports des patients sur l'approche interpersonnelle de la prise en
charge, ceci en utilisant un instrument standardisé. Une autre
étude25
démontrait l'association entre la sensibilité
auto-évaluée aux aspects émotionnels et psychologiques
des patients et le diagnostic de ces aspects en pratique par l'audit des
dossiers cliniques.
Néanmoins, ces deux
études24 et
une autre24
montraient une variabilité parmi un sousgroupe de participants se
considérant compétents. Dans l'étude de Robin et
al,25 les
médecins se considérant meilleurs pour détecter les
émotions cachées étaient en fait moins précis que
leurs collègues. Dans l'étude faite par Paradise et
al,24 on trouve une
grande variabilité parmi les participants et des désaccords avec
le consensus des experts traitant du diagnostic d'abus sexuels dans vingt
pour cent d'experts
auto-proclamés.24
Parmi ces études identifiées comme ayant peu ou pas de relation
avec les observations auto-identifiées et les autres, il y avait trois
cas concernant la perception erronée des capacités. Tout
d'abord Léopold et
al16 ont
trouvé une relation inverse entre confiance et compétence dans
la simulation d'injections intra-articulaires. Ensuite, Fox et
al15 ont
démontré moins de concordance dans un contexte OSCE entre les
auto-perceptions et les autres pour évaluer des capacités
basiques cliniques mal effectuées par rapport à des exemples au
cours desquels les participants avaient bien réussi.
Troisièmement, Parker et
al17 ont
remarqué que les internes qui avaient un score situé dans le
quartile le plus bas pour un examen en médecine générale
demandant des connaissances de base reconnaissaient moins bien leurs besoins
de formation que ceux dans les quartiles les plus élevés.
En ce qui concerne les variables qui pourraient expliquer les
différences de la précision de l'auto-évaluation,
deux études rapportent
l'âge16,25
et une étude
l'expérience28
des participants, reliant cela aux capacités
d'auto-évaluation. L'âge ou l'expérience
n'étaient pas corrélés à la capacité
du médecin à juger les possibilités de faire une
injection
intra-articulaire.16
Par comparaison, l'âge n'était pas
corrélé à la diminution de la propension à
diagnostiquer l'aspect émotionnel d'une affection dans une
étude25 et
à une plus grande précision pour faire un diagnostic de
varicelle dans
l'autre.28
Qualité Méthodologique
Les études ont démontré des variations dans la
qualité des méthodes employées. La majorité des
populations étudiées étaient bien décrites. Seule
une étude20
utilisait la vague phrase « médecins généralistes
». De plus, le schéma d'échantillonnage était
décrit dans la plupart des études, bien que le chiffre total
duquel est extrait l'échantillon ne soit pas été
identifié dans 3
études12,17,20
et qu'une description utile des non-participants ne soit pas disponible
pour 9 des
études.13,15-18,23,25,26,28
Le type de contenu était bien caractérisé dans toutes les
études sous forme de texte ou de tableau. Deux
études13,20
utilisaient des méthodes de recherche qualitative standardisées
telles que des interviews transcrites ou enregistrées. Seule une
étude20
faisait référence à l'utilisation en aveugle
d'un observateur externe.
Quantitativement, 9
études12,14-16,19,21,23,25,27
utilisaient des mesures pré-testées ou validées telles
que les OSCE, des patients standardisés et des instruments
standardisés et 2 de ces
études14,16
décrivaient des critères objectifs d'observation de la
performance. Deux
études14,15
ont utilisé des étudiants en médecine pour un test pilote
des méthodes de comparaison des mesures d'auto-évaluation.
En comparaison,
13,15-21,24,26,27
les autres études ont appliqué des instruments
d'auto-évaluation ou d'autres instruments qui n'ont pas
été décrits comme ayant été des tests
pilotes ou des tests validés.
En ce qui concerne l'utilisation et le commentaire des tests
statistiques, nous avons trouvé des exemples de méthodes
inappropriées. Par exemple, 2
études12,22
n'ont pas mentionné quels tests avaient été
utilisés. Parmi les autres problèmes, nous avons
identifié des données insuffisantes ou imparfaites
empêchant la confirmation des rapports de
cotes,19 les
variables de
dichotomisation,19,28
l'utilisation incomplète ou imparfaite des paramètres dans
des échelles avec des applications statistiques
inadaptées,20
ainsi que des justifications insuffisantes de l'utilisation de
statistiques avec des échelles mixtes (par exemple des comparaisons
d'intervalles de confiance avec des scores
OSCE).14,15
Lorsque des comparaisons multiples ont été effectuées, il
n'y a pas eu de description des calculs faits pour ajuster sur
l'inflation des erreurs de type I. Aucune tendance a
l'amélioration de la rigueur méthodologique n'a
été observée pendant la durée de temps de ces
études.
COMMENTAIRE
Relation entre auto-évaluation et évaluation externe
Cette revue systématique a trouvé que dans la majorité
des études appropriées, les médecins
n'apparaissaient pas comme s'auto-évaluant avec
précision. Nous avons observé des associations faibles ou pas
d'association du tout entre évaluations de médecins
auto-cotés et évaluations externes.
Alors que certaines études trouvaient des associations raisonnables
entre les capacités d'auto-évaluation
démontrées par les médecins et les évaluations
externes dans le domaine sensibilité culturelle et
linguistique,18
entre auto-évaluations et évaluations par un superviseur
à un niveau
général,12,15,22
entre autotests et tests
externes,24,28
et entre auto-évaluation et audit sur dossier, d'importantes
variations et quelques erreurs de jugement apparaissent dans d'autres
études.24,25
Dans les études montrant une précision pauvre ou limitée
de l'auto-évaluation, cette observation était
indépendante du niveau de formation, de la spécialité, du
domaine d'auto-évaluation, ou du style de comparaison.
Ces résultats ne sont pas nouveaux. Sibley et
al29 ont
rapporté des résultats semblables il y a plus de deux
décennies, comme l'ont fait
Gordon30 et
Dunning31 et
al31 par la suite.
Les résultats sont compatibles avec les études d'autres
disciplines. Par exemple, dans une méta-analyse d'études
d'auto-évaluation, en droit, ingénierie, counseling,
science du comportement, psychologie, et médecine, Falchikov et
Boud32 ont
remarqué une corrélation entre auto-évaluation et
évaluation externe d'étudiants dont les performances se
situaient entre 0,05 et 0,82 avec une moyenne de 0,39. Dans les professions de
santé,
Gordon30 a
trouvé que la corrélation pour l'auto-évaluation des
connaissances se situait entre 0,02 et 0,65. De plus, malgré nos
résultats dans deux
études24,28
qui précisent que l'auto-évaluation spécifique peut
être un facteur prédictif fiable de la performance, Eva et
al33 ont
trouvé que de faibles corrélations persistent même si les
domaines sont bien définis. En fin de compte, et plus
inquiétant, les résultats montrent que ceux qui
réussissaient le moins bien à l'évaluation externe,
s'auto-évaluaient aussi le moins bien. Ces
résultats34,35
ont été démontrés par d'autres et demandent
une meilleure compréhension.
Prises ensemble, ces conclusions incitent à réfléchir
sur l'emploi des évaluations auto-cotées et sur son
rôle dans la formation permanente ainsi que sa valeur dans la
régulation et les soins aux patients.
Structure et étude de l'évaluation auto-cotée
Ces études soulignent plusieurs considérations pour
l'étude de l'auto-évaluation en tant que domaine
important de la compétence du médecin. Tout d'abord la
structure de l'évaluation auto-notée n'est pas
elle-même facile à étudier, en grande partie parce que sa
nature n'est ni pleinement développée ni
testée.10
Nous avons défini trois types discrets d'évaluation:
prévisible, résumée, simultanée.
Un bénéfice supplémentaire pourrait résulter de
l'intérêt porté a la clarté conceptuelle et la
cohérence dans le domaine de
l'auto-évaluation;36,37
une compréhension plus complète de l'auto-évaluation
continue et une définition plus précise de
l'auto-évaluation pour inclure une compréhension accrue des
capacités des médecins à
réfléchir38,39
et de la pertinence de ces
idées.40
De plus, étant donné que ces études n'apportent
que peu de lumière sur le processus de l'auto-évaluation,
de plus amples recherches dans ce domaine pourraient évoluer
au-delà des frontières de la psychologie sociale et du
comportement pour inclure la connaissance, la simulation ou d'autres
approches prometteuses telles que l'estimation de
l'auto-efficacité ou l'étude du rôle que
l'âge et l'expérience pourrait jouer dans ce
processus.41
Deuxièmement, si de telles études
d'auto-évaluation sont entreprises, les chercheurs devraient
accroître la rigueur et le compte – rendu de l'étude
en décrivant mieux leurs populations, la structure
d'échantillon, et leurs méthodes; en différenciant
plus clairement les types d'auto-évaluation; en tentant de
résoudre des questions du biais des volontaires et en formulant de
meilleurs guides pratiques afin d'étudier et de rapporter
l'auto-évaluation comparée à
l'évaluation externe. Dans leur revue des méthodes
d'auto-évaluation, Ward et
al36 demandaient
également une plus grande rigueur méthodologique en
améliorant la validité et la fiabilité des
références externes standards, en augmentant la description des
supports dans les questionnaires utilisés dans les outils
d'auto-évaluation, et en se concentrant plus sur la couverture des
résultats au niveau individuel et moins au niveau du groupe.
Limites
Plusieurs limites doivent être considérées dans cette
revue. D'abord, pendant que des recherches de littérature
étaient effectuées par l'un des auteurs et un
spécialiste indépendant de l'information pour fournir une
couverture exhaustive de la littérature, le manque de nombreux «
Medical Subject Headings » dans les données de la
littérature peut avoir contribué à ne pas avoir
récupéré certaines études. Nous avons
essayé de surmonter cette limite en utilisant des moteurs de recherche
brevetés qui utilisaient des textes complets de stratégies de
recherche. Deuxièmement, certaines études manquaient de
descriptions des méthodes, résultats, et de l'utilisation
des tests statistiques, limitant nos capacités à décrire
les études plus complètement, pour développer des
hypothèses explicatives, ou pour généraliser.
Troisièmement, les domaines de compétence ou de performance dans
ces études, les outils utilisés pour les mesurer et les
suppositions (telles que prédiction d'une future performance dans
un test, ou l'auto-notation dans une performance passée en tant
que professeur) étaient variables, empêchant une approche
méta-analytique.
Enfin, on peut argumenter que le relativement petit nombre
d'études trouvé dans cette revue — avec leur
mélange de méthodes, niveaux différents de formation et
d'expérience des médecins, participation volontaire de
médecins, et variation d'approche — fournit une base
inadéquate de preuves pour comprendre la capacité des
médecins à compléter des évaluations
auto-cotées. Toutefois, nous croyons que la littérature
sélectionnée offre des preuves assez pertinentes des limites des
capacités des médecins à évaluer
indépendamment leur performance. Ces résultats peuvent aider
à informer à la fois d'autres recherches dans ce domaine et
la structure et pratique de la formation autodirigée et
l'auto-évaluation à l'université et en
formation continue.
Evaluation des formats et du contenu
S'il est vrai que les médecins ne sont pas performants dans ce
domaine, on a besoin de nouvelles initiatives et de nouveaux formats pour
aider au processus de l'auto-évaluation et pour promouvoir et
évaluer avec plus de précision des domaines de compétence
plus vastes tels que le professionnalisme et la formation
permanente.38
Les résultats positifs concernaient la performance globale avec
possibilité de retour d'information sur des étendues
importantes de soin par des superviseurs,
12,15,19,22
étalée au cours du temps ou dans un domaine très
spécialisé tel que les abus sexuels d'enfants ou le
bioterrorisme, dans lequel on pourrait espérer que le praticien
s'auto-évaluerait avec précision.
Enfin, une approche plus utile pourrait être de se concentrer sur des
auto-évaluations spécifiques avec une approche externe pour
guider le praticien dans ses activités éducationnelles et dans
d'autres activités destinées à améliorer ses
performances.
Premièrement de telles mesures pourraient inclure le
développement d'un processus de développement professionnel
continu plus général impliquant des portfolios éducatifs,
une formation documentée basée sur la pratique et
l'amélioration des activités, pour créer une
formation moins générale et plus détaillée et des
pratiques objectives répondant aux compétences
générales adoptées par le Conseil
d'Accréditation pour la Formation Médicale
Universitaire.8
Deuxièmement, la formation peut réduire les variations entre
auto-évaluation et évaluation externe en encourageant
l'internalisation de mesures objectives ou de références de
la performance.10
Bien qu'une
étude16 dans
cette revue ait montré de manière marginale une
amélioration de la corrélation entre confiance et performance
suivant une formation avec retour d'information, une autre
étude42
rapportait qu'une formation augmentait la relation entre les techniques
de lavage de main observées et auto-évaluées à la
suite d'une initiative visant à améliorer la qualité
au niveau hospitalier. De manière similaire, les médecins en
formation peuvent être capables de s'auto-évaluer de
précisément lorsqu'ils comparent leurs notes à
celles des
autres.30
Une attention à cet effet de formation et au phénomène
de retour d'information en médecine aussi bien à
l'université, ainsi qu'en FMC, semble à la fois
appropriée et bien située dans le
temps.43,44
Troisièmement, étant donné que certains besoins
d'amélioration (par exemple ceux dans le domaine psychosocial)
13,45,46
peuvent être plus difficiles à auto-évaluer, des
méthodes telles que les évaluations des retours
d'information de sources multiples (360°) peuvent constituer
l'étape suivante nécessaire, en particulier lorsque les
capacités interpersonnelles ou le professionnalisme doivent être
évalués.47
Quatrièmement, les mesures objectives de compétence et de
performance méritent une sérieuse considération,
particulièrement quand les problèmes d'autorisation
d'exercer et de ré-obtention de diplôme, la qualité
et la sécurité du patient sont de première importance. De
ce point de vue, le Service National de Santé en Angleterre a fourni un
exemple d'auto-évaluation éclairée effectuée
en externe en formulant le concept d'estimation (le processus
structuré « d'autoréflexion facilitée
»48) dans
lequel un évaluateur externe guide et dirige le processus
d'auto-évaluation. Enfin, des sociétés
spécialisées et d'autres sociétés peuvent
accroître leur rôle en fournissant des objectifs de formation
basés sur les preuves et ceci de manière régulière
aux membres de leur spécialité, donnant ainsi des marqueurs
externes de compétence.
Informations sur les auteurs
Correspondance: Laure Perrier, MEd, MLIS, University of Toronto, 500
University Ave, 6th Floor, Toronto, Ontario, Canada M5G 1V7
(l.perrier@utoronto.ca).
Contributions des auteurs: le Dr Davis a eu un accès complet
à toutes les données publiées de l'étude et
accepte la responsabilité de l'intégrité et de la
précision de l'analyse des données.
Conception et schéma de l'étude: Davis,
Harrison, Mazmanian, Fordis.
Recueil des données: Davis, Perrier.
Analyse et interprétation des données: Davis,
Mazmanian, Fordis, Harrison, Thorpe.
Rédaction du manuscrit: Davis, Fordis, Harrison,
Mazmanian.
Revue critique du manuscrit: Davis, Mazmanian, Fordis, Harrison,
Thorpe, Perrier.
Analyse statistique: Mazmanian, Fordis, Thorpe. Obtention du
financement: Davis, Perrier.
Aide administrative, technique et matérielle: Perrier.
Supervision de l'étude: Davis.
Liens financiers: aucun déclaré.
Financement/Soutien: le Dr Davis a bénéficié
partiellement d'un soutien de l'Association of American Medical
Colleges'Petersdorf scholar-in-residence program. Ms Perrier a
bénéficié partiellement d'un soutien du Research and
Development Resource Base in Continuing Medical Education, finance par
l'Academic Development Fund in Continuing Education de l'University
of Toronto, qui est soutenue en partie par l'Alliance for Continuing
Medical Education, la Society for Academic Continuing Medical Education, et le
Royal College of Physicians and Surgeons du Canada.
Rôle du sponsor: aucun sponsor n'a été
impliqué dans le schema et la conduite de l'étude, le
recueil, la prise en charge et l'interprétation des données
ni dans préparation, la revue et l'approbation du manuscrit.
Remerciements: nous remercions pour leur soutien l'Association
of American Medical Colleges'Resource Center, en particulier Marian
Talifero, pour avoir fourni les recherches complémentaires de la
littérature et les autres membres du groupe de travail en Formation
Médicale Continue, dont Nancy Davis, PhD. Nous remercions aussi Kevin
Eva, PhD, McMaster University (Hamilton, Ontario), et Anton Kuzel, MD, MHPE,
Virginia Commonwealth University (Richmond), pour leurs commentaires. Aucune
de ces personnes n'a reçu de compensation pour son aide.
Affiliations des auteurs: Knowledge Translation Program of the Li
Ka Shing Knowledge Institute at St Michael's Hospital (Dr Davis et Mr
Thorpe), Departments of Health Policy, Management, and Evaluation (Dr Davis),
Family and Community Medicine (Dr Davis), and Public Health Sciences (Mr
Thorpe), and the Office of Continuing Education and Professional
Développement (Ms Perrier), University of Toronto, Toronto, Ontario;
Departments of Family Medicine and Epidemiology and Community Health, School
of Medicine, Virginia Commonwealth University, Richmond (Dr Mazmanian); Center
for Collaborative and Interactive Technologies, Baylor College of Medicine,
Houston, Tex (Dr Fordis); and Department of Medical Education, University of
Michigan, Ann Arbor (Dr Harrison).
BIBLIOGRAPHIE
 |  |
1. Westberg J, Jason H. Fostering learners' reflection and self-assessment. Fam Med. 1994;26: 278-282.
PUBMED
2. Davis NL, Willis CE. A new metric for continuing medical educationcredit. J Contin Educ Health Prof. 2004;24: 139-144.
PUBMED
3. Johnson DA, Austin DL, Thompson JN. Role of state medical boards incontinuing medical education. J Contin Educ Health Prof. 2005; 25:183-189.
PUBMED
4. American Medical Association. Physician resources for CME.http://www.ama-assn.org/ama/pub/category/2922.html.Accessed March 23, 2006.5. American Board of Medical Specialties. Approved initiatives for Maintenance of Certification for the ABMS board members.http://www.abms.org/Downloads/Publications/3-Approved%20Initiatives%20for%20MOC.pdf.Accessed June 9, 2006.6. Wasserman SI, Kimball HR, Duffy FD; Task Force on Recertification.Recertification in internal medicine: a program of continuous professionaldevelopment. Ann Intern Med. 2000;133: 202-208.
FREE FULL TEXT
7. Can MEDS 2000: extract from the CanMEDS 2000 Project Societal NeedsWorking Group Report. Med Teach. 2000;22: 549-554.
PUBMED
8. Accreditation Council for Graduate Medical Education. General competencies.http://www.acgme.org/outcome/compcompFull.asp.Accessed June 9, 2006.9. Bashook PG, Miller SH, Parboosingh J, Horowitz SD, eds.Credentialing physician specialist: a world perspective proceedings.http://www.abms.org/Downloads/Conferences/Credentialing%20Physician%20Specialists.pdf.Accessed June 9, 2006.10. Eva KW, Regehr G. Self-assessment in the health professions: are formulation and research agenda. Acad Med.2005; 80:S46-S54.
PUBMED
11. Research and Development Resource Base in CME.http://www.cme.utoronto.ca/search.Accessed March 23, 2006.12. Biernat K, Simpson D, Duthie E Jr, Bragg D, London R. Primary careresidents self assessment skills in dementia. Adv Health Sci EducTheory Pract. 2003; 8:105-110.
13. Amery J, Lapwood S. A study into the educational needs ofchildren's hospice doctors: a descriptive quantitative and qualitative survey. Palliat Med. 2004;18: 727-733.
FREE FULL TEXT
14. Barnsley L, Lyon PM, Ralston SJ, et al. Clinical skills in juniormedical officers: a comparison of self-reported confidence and observed competence. Med Educ. 2004;38: 358-367.
PUBMED
15. Fox RA, Ingham Clark CL, Scotland AD, Dacre JE. A study ofpre-registration house officers' clinical skills. MedEduc. 2000; 34:1007-1012.
16. Leopold SS, Morgan HD, Kadel NJ, Gardner GC, Schaad DC, Wolf FM.Impact of educational intervention on confidence and competence in the performance of a simple surgical task. J Bone Joint SurgAm. 2005; 87:1031-1037.
PUBMED
17. Parker RW, Alford C, Passmore C. Can family medicine residentspredict their performance on the in-training examination? FamMed. 2004; 36:705-709.
18. Claridge JA, Calland JF, Chandrasekhara V, Young JS, Sanfey H,Schirmer BD. Comparing resident measurements to attending surgeonself-perceptions of surgical educators. Am J Surg.2003; 185:323-327.
PUBMED
19. Fernandez A, Schillinger D, Grumbach K, et al. Physician language ability and cultural competence: an exploratory study of communication with Spanish-speaking patients. J Gen Intern Med.2004; 19:167-174.
PUBMED
20. Young JM, Glasziou P, Ward JE. General practitioners' selfratings of skills in evidence based medicine: validation study.BMJ. 2002; 324:950-951.
FREE FULL TEXT
21. Hoppe RB, Farquhar LJ, Stoffelmayr HR. Residents' attitudes towards and skills in counseling: using undetected standardized patients.J Gen Intern Med. 1990;5: 415-420.
PUBMED
22. Ireton HR, Sherman M. Self-ratings of graduating family practice residents' psychological medicine abilities. Fam Pract ResJ. 1988; 7:236-244.
23. Johnson D, Cujec B. Comparison of self, nurse, and physician assessment of residents rotating through an intensive care unit.Crit Care Med. 1998;26: 1811-1816.
PUBMED
24. Paradise JE, Finkel MA, Beiser AS, et al. Assessments ofgirls' genital findings and the likelihood of sexual abuse: agreement among physicians selfrated as skilled. Arch Pediatr AdolescMed. 1997; 151:883-891.
25. Robbins JM, Kirmayer LJ, Cathebras P, Yaffe MJ, Dworkind M. Physician characteristics and the recognition of depression and anxiety in primary care. Med Care. 1994;32: 795-812.
PUBMED
26. Stern DT, Linzer M, O'Sullivan PS, Weld L. Evaluating medical residents' literature-appraisal skills. Acad Med.1995; 70:152-154.
PUBMED
27. Tracey JM, Arroll B, Richmond DE, Barham PM. The validity of general practitioners' self assessment of knowledge: cross sectional study. BMJ. 1997;315: 1426-1428.
FREE FULL TEXT
28. Woods R, McCarthy T, Barry MA, Mahon B. Diagnosing smallpox: would you know it if you saw it? Biosecur Bioterror.2004; 2:157-163.
PUBMED
29. Sibley JC, Sackett DL, Neufeld V, Gerrard B, Rudnick KV, Fraser W.A randomized trial of continuing medical education. N Engl JMed. 1982; 306:511-515.
PUBMED
30. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. AcadMed. 1991; 66:762-769.
PUBMED
31. Dunning D, Heath C, Suls J. Flawed self-assessment: implicationsfor health, education, and the workplace. Psychol Sci PublicInterest. 2004; 5:69-106.
32. Falchikov N, Boud D. Student self-assessment in higher education: ameta-analysis. Rev Educ Res. 1989;59: 395-430.
33. Eva KW, Cunnington JP, Reiter HI, Keane DR, Norman GR. How can Iknow what I don't know? poor self assessment in a well-defined domain.Adv Health Sci Educ Theory Pract. 2004;9: 211-224.
PUBMED
34. Hodges B, Regehr G, Martin D. Difficulties in recognizing one's own incompetence: novice physicians who are unskilled and unaware of it. Acad Med. 2001;76: S87-S89.
PUBMED
35. Kruger J, Dunning D. Unskilled and unaware of it: how difficultiesin recognizing one's own incompetence lead to inflated self-assessments.J Pers Soc Psychol. 1999;77: 1121-1134.
PUBMED
36. Ward M, Gruppen L, Regehr G. Measuring selfassessment: current state of the art. Adv Health Sci Educ Theory Pract.2002; 7:63-80.
PUBMED
37. Colliver JA, Verhulst SJ, Barrows HS. Self-assessment in medicalpractice: a further concern about the conventional research paradigm.Teach Learn Med. 2005;17: 200-201.
PUBMED
38. Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002;287: 226-235.
FREE FULL TEXT
39. Mamede S, Schmidt HG. The structure of reflective practice inmedicine. Med Educ. 2004;38: 1302-1308.
PUBMED
40. Hays RB, Jolly BC, Caldon LJ, et al. Is insight important? measuring capacity to change performance. Med Educ.2002; 36:965-971.
PUBMED
41. Bandura A. Social cognitive theory: an agentic perspective.Annu Rev Psychol. 2001;52: 1-26.
PUBMED
42. Moret L, Tequi B, Lombrail P. Should selfassessment methods be used to measure compliance with handwashing recommendations? a study carried out ina French university hospital. Am J Infect Control.2004; 32:384-390.
PUBMED
43. Simon FA, Aschenbrener CA. Undergraduate medical education accreditation as a driver of lifelong learning. J Contin EducHealth Prof. 2005; 25:157-161.
44. Greiner AC, Knebel E, eds. Health Professions Education:A Bridge to Quality. Washington, DC: National Academy Press;2003.45. Sherman CD Jr, Davis DA. CME in oncology–from where we were to where we are going. J Cancer Educ.1995; 10:131-136.
PUBMED
46. Sachdeva AK. The new paradigm of continuing education in surgery.Arch Surg. 2005;140: 264-269.
FREE FULL TEXT
47. Lockyer J. Multisource feedback in the assessment of physician competencies. J Contin Educ Health Prof.2003; 23:4-12.
PUBMED
48. Conlon M. Appraisal: the catalyst of personal development.BMJ. 2003; 327:3890-3891.
|