FACTEURS POUVANT INFLUENCER LA FIDÉLITÉ
Plusieurs caractéristiques du groupe de standardisation peuvent influencer la valeur des différents coefficients de fidélité- Deux de ces facteurs peuvent avoir un impact très considérable
- Le niveau moyen d'habileté du groupe
- Le degré de dispersion à l'intérieur du groupe
Par conséquent, toute présentation d'un coefficient de fidélité devrait être accompagnée d'une description détaillée du groupe auprès duquel il fut obtenu
- Ce coefficient ne peut être appliqué qu'auprès d'échantillons similaires
- Sinon, il faut s'assurer du maintien du niveau de fidélité
- En pratique, on rapportera parfois une analyse détaillée de la fidélité pour différents sous-groupes plus homogènes
NIVEAU MOYEN D'HABILETÉ
Le niveau moyen d'habileté du groupe peut influencer la fidélité d'un test- Exemple: pour un test de créativité, deux correcteurs s'accordent quant aux scores à donner aux examinés peu créateurs (bonne fidélité inter-correcteurs), mais ne s'entendent pas quant aux scores les plus élevés (faible fidélité inter-correcteurs)
- Les coefficients de fidélité sont souvent plus faibles auprès des groupes moins habiles, où la performance contient une certaine part de devinettes
Il n'existe pas de «formule» pour corriger l'impact des différences quant au niveau moyen d'habileté du groupe d'examinés considéré
- Il faut donc vérifier empiriquement la fidélité de l'instrument auprès de groupes qui diffèrent quant à leur niveau d'habileté respectif
DISPERSION INTRA-GROUPE
Le calcul d'un coefficient de corrélation entre deux variables, X et Y, est fondé sur la relation entre les variations de X et celles de Y (co-variation)- Sa valeur est influencée par le taux de dispersion sur chacune des mesures
- Exemple extrême: si une des mesures ne varie pas, elle ne peut certainement pas «expliquer» les variations de l'autre variable
En général, une réduction d'étendue des mesures considérées peut engendrer une diminution du coefficient de corrélation entre ces mesures
- La source de cette réduction d'étendue est souvent le choix d'un groupe plus homogène d'examinés
- Exemple: supposons que l'on administre deux versions parallèles d'un test d'habileté en compréhension de lecture à 1000 élèves de niveau scolaire allant du début du primaire à la fin de l'université
- Pour l'ensemble de ce groupe (groupe hétérogène), la corrélation entre les deux versions pourrait être élevée (diagramme de gauche)
- Si on ne considère que les élèves du niveau collégial (groupe plus homogène), la dispersion des scores sur chacune des versions est plus restreinte et, de là, la corrélation est plus faible (diagramme de droite)
Il en est de même pour les coefficients de fidélité
- La fidélité risque d'être réduite à l'intérieur d'échantillons plus homogènes que l'échantillon de standardisation
- I.e. la précision quant aux différences individuelles est plus faible
- Il existe des techniques pour calculer le changement du coefficient de fidélité amené par la modification de l'homogénéité du groupe d'examinés