Nous savons qu’une mesure effectuée avec un instrument psychométrique n’est jamais parfaitement précise. Le score observé est une approximation du score vrai de la personne, c’est à dire le score qu’obtiendrait à personne si l’instrument était parfaitement fidèle. Plus un instrument est précis, plus les scores observés à cet instrument s’approcheront du score vrai. L’étendue de la distribution des scores observés autour du score vrai est quantifiée par ce qu’on appelle l’erreur-type de mesure (ETM). L’ETM permet de calculer l’intervalle de confiance autour d’un score obtenu à un instrument psychométrique à l’intérieur duquel le score vrai a une probabilité donnée de se trouver. Rappelons que le score vrai n’est pas connu (s’il l’était, il ne serait pas nécessaire de tenter de le mesurer!). Nous ne disposons, comme information, que d’un score observé (le résultat obtenu à l’instrument psychométrique), dont la probabilité de se rapprocher du score vrai est estimée en fonction de l’ETM. Concrètement, l’ETM est l’écart-type de la distribution théorique des scores observés.
Par exemple, imaginons qu’une même personne passe 1000 fois le même instrument psychométrique au même instant (c’est en pratique impossible, bien sûr). Un histogramme nous montrerait que les résultats se distribuent selon une courbe normale, selon une moyenne donnée. La théorie classique des scores nous dit que :
- la moyenne de cette distribution théorique serait équivalente au score vrai de la personne;
- l’écart-type de cette distribution correspondrait à l’erreur-type de mesure.
Cependant, comment faire pour savoir, à l’unique passation de cette personne (puisqu’on ne peut pas faire passer plusieurs fois le même instrument à la même personne au même instant!), si le résultat obtenu est loin ou près de cette moyenne théorique (qui correspond à son score vrai), afin de ne pas surestimer ou sous-estimer son score?
Comme il est impossible d’obtenir la distribution théorique des scores observés, l’ETM doit être approximée à l’aide d’un calcul qui tient compte à la fois de :
- l’écart-type de la distribution des scores dans la population;
- le degré de fidélité de l’instrument.
La formule suivante permet de calculer l’erreur-type de mesure et montre bien la relation qui existe entre le degré de fidélité de l’instrument et la magnitude de l’ETM.
ETM = ÉT√ (1-r)
ETM : erreur-type de mesure
ÉT : écart-type de la distribution des scores à la passation
r : coefficient de fidélité
Exemple de calcul de l’ETM :
Le test d’habiletés cognitives Wonderlic a un coefficient de fidélité test-retest de 0,88 et un écart-type de 7,1 dans la population générale. Ces données permettent de calculer son erreur-type de mesure.
ETM = ÉT√ (1-r)
ETM = 7,1√ (1-0,88)
ETM = 2,46
L’estimation de l’erreur-type de mesure nous permet de constituer une distribution théorique autour du score observé à l’intérieur de laquelle le score vrai de la personne a une probabilité de se trouver. Il s’agit de l’intervalle de confiance (suivez cet hyperlien pour la suite de l’explication).
Limite de l’erreur-type de mesure :
On postule que l’ETM est la même à tous les niveaux de performance (c’est à dire peu importe que le score de la personne évaluée soit bas, moyen ou élevé). Or, il y a régression vers la moyenne, c’est-à-dire que plus un score est supérieur à la moyenne, plus il a de chances d’être biaisé vers le haut, inversement pour les scores faibles. Ainsi, en vérité, plus un score s’éloigne de la moyenne, plus l’ETM devrait être élevée (tout comme, en conséquence, la marge d’erreur et l’intervalle de confiance autour du score).