ERREUR TYPE DE PRÉDICTION

Lorsque l'utilisation d'un test est d'abord orientée vers la prédiction (au sens «large»), il existe une façon de tenir compte du manque de validité du test pour prédire efficacement les performances individuelles au critère

• Dans ce contexte d'utilisation, la principale question concerne évidemment la validité critériée (prédictive)
• Par conséquent, la validité du test sera rapportée sous la forme d'un coefficient de corrélation r entre le score au test et la mesure du critère

L'erreur type de prédiction correspond à une transformation de ce coefficient r afin de préciser l'impact du manque de validité (prédictive) du test sur la qualité des prédictions

• Elle précise la marge d'erreur à prévoir pour tenir compte de l'imparfaite validité (prédictive) du test
• Sa formule est
  
• où ÉT_C est l'écart type des scores au critère
• et r est la corrélation entre le test et le critère (attention au carré)
• On note la très grande similitude entre cette formule et celle de l'erreur type de mesure (c.f. partie 5.11 du cours)
• Cependant, cette dernière ne tenait compte que du manque de fidélité du test
• L'erreur type de prédiction est, quant à elle, sensible à l'ensemble des sources d'erreur (aléatoire ou systématique) qui affectent la qualité de la prédiction

Dans la formule ci-dessus, on note que:

• Si le test est parfaitement valide (en termes de validité prédictive), on a r = 1 et son erreur type de prédiction est nulle (i.e. 0)
• Si le test est tout à fait invalide, on a r = 0 et son erreur type de prédiction est égale à l'écart type de la distribution des scores au critère
• Donc, la marge d'erreur de la prédiction est aussi grande que la dispersion des scores au critère, i.e. que la prédiction est située n'importe où!
• Dans ce cas, la prédiction est inutile et, a fortiori, le test aussi (du moins pour cette utilisation particulière)

Une bonne façon de comprendre l'erreur type de prédiction est de la définir comme étant: «l'écart type de la distribution des mesures au critère pour un score au test donné»

• Exemple: quel est l'écart type de la distribution des scores au critère pour les individus qui reçoivent un score de 11 à tel test

L'erreur type de prédiction permet de construire des «intervalles de confiance» (i.e. des marges d'erreur) autour du score prédit, sachant le score obtenu à un certain test

• Encore ici, si on suppose que les erreurs de prédiction se répartissent selon une distribution normale, on utilisera la règle empirique (c.f. partie 3.6 du cours)
• En particulier, on sait qu'à peu près 95% des scores d'une distribution normale se situent à plus ou moins 2 ÉT de la moyenne
• Par conséquent, on peut conclure qu'il y a 95% des chances que le score effectivement mesuré sur le critère se situe à plus ou moins 2 ETP (erreurs types de prédiction) d'un score prédit à partir de la connaissance du résultat au test
• Le même argument est applicable pour d'autres «niveaux de confiance» qui seraient donnés par la table de probabilités de la distribution normale
• Par exemple, pour avoir moins de 0,3% de chances de se tromper, il s'agirait de prendre un intervalle plus grand, i.e. de ± 3 ETP

Par exemple, soit un certain test d'«aptitudes académiques» destiné aux élèves de la fin du secondaire

• Prenons, comme critère, la moyenne cumulative obtenue à la fin du bac
• Supposons que, pour l'échantillon de validation:
• L'écart type des moyennes cumulatives est de 0,5
• La corrélation entre le test et le critère est de 0,8
• En appliquant la formule, on obtient
  
• Par conséquent, si, pour un score de 43 au test, on prédit une moyenne cumulative de 3,0, il est fort probable (i.e. 95% des chances) que la moyenne éventuellement obtenue se situe quelque part dans l'intervalle 3,0 ± 2(0,3), i.e. entre 2,4 et 3,6

Dans cet exemple, on peut illustrer l'impact du test sur l'amélioration de la prédiction du critère par la figure suivante:

• En l'absence du test, tout ce que l'on peut dire, c'est que le score au critère d'un individu quelconque a 95% des chances de se situer quelque part dans la distribution des scores au critère, soit à plus ou moins 2 ÉT de la moyenne (ici, M = 2,5), i.e. entre 1,5 et 2,5
• En présence du test, on peut être plus précis puisque le score au critère d'un individu quelconque a 95% des chances de se situer à plus ou moins 2 ETP du score prédit (ici, la prédiction donne 3,0), i.e. entre 2,4 et 3,6

Il est important de noter que l'erreur type de prédiction (ETP) est toujours plus petite (ou égale) à l'écart type (ÉT) des scores au critère

• Le rapport entre l'ETP et l'ÉT est une mesure directe de l'utilité prédictive du test
• À noter que, même pour un coefficient de validité prédictive élevé (dans l'exemple, r = 0,8), la grandeur relative de l'ETP est non négligeable
• On devrait donc exiger des coefficients de validité élevés (r > 0,8)

Suite > VALIDITÉ ET PRISE DE DÉCISION