VALIDATION DE CONTENU

NATURE

La validation de contenu est une méthode qui consiste à analyser le contenu du test afin de s'assurer qu'il est représentatif en tant qu'échantillon du domaine de comportements à mesurer

• Cette méthode repose essentiellement sur le jugement professionnel
• En fait, la question de la représentativité peut se diviser en deux questions
• À quel point chaque item ou question qui forme le test appartient à l'univers du construit défini?
• À quel point l'ensemble des items ou des questions représente tous les aspects de cet univers?
• Dans tous les cas, la représentativité du test ne peut se juger que par rapport à la définition donnée au construit mesuré
• D'où l'importance de cette définition (c.f. partie 2 du cours)
• Plus cette définition est claire et explicite, plus il est envisageable de juger de la validité de contenu d'un test
• Par conséquent, la question de validité de contenu se pose dès le début de la construction d'un test et demeure présente jusqu'à la fin
• Parce que, en définitive, ce n'est pas qu'en analysant le contenu d'un test qu'on en détermine sa validité de contenu, mais aussi en analysant la pertinence des réponses données par les examinés

QUELQUES EXEMPLES

Soit un test qui est supposé mesurer la «sociabilité» entendue au sens de la «tendance à rechercher la compagnie des autres pour interagir avec eux»

• Si on considère la question «Préférez-vous lire un livre ou aller prendre un verre avec un ami?»
• En fonction de quoi les examinés répondent-ils à cette question?
• De leur véritable caractère sociable -> ça va
• De leur intérêt pour la lecture -> problème de validité
• Du fait qu'ils ne consomment pas d'alcool -> problème de validité
• De leur désir de «bien paraître» -> problème de validité
• etc.

Soit un test construit pour mesurer les habiletés en orthographe

• Si les questions offrent un choix de réponses, dont une seule correspond à une orthographe correcte
• Ce test mesure peut-être plus l'habileté à reconnaître les mots correctement orthographiés
• Il n'indique pas nécessairement l'habileté à écrire sans fautes d'orthographe
• Par contre, une dictée offre possiblement une meilleure validité de contenu quant à la mesure des habiletés en orthographe
• Mais, encore ici, on constate toute l'importance que prend la définition précise que l'on doit donner au construit nommé «habiletés en orthographe»

Il faut aussi s'assurer que le test représente un échantillon non biaisé de l'univers possible des contenus

• Un test valide d'habiletés en arithmétique ne devrait pas être composé que de questions d'addition, de soustraction et de division, mais également de questions de multiplication
• Et ce, selon des proportions bien déterminées (selon des considérations théoriques)
• Un test valide des connaissances générales en histoire du Québec ne devrait pas faire fi de l'époque des Patriotes
• Un test valide d'habiletés en dactylographie ne devrait pas considérer uniquement la composante «vitesse», mais également la composante «précision»
• Il faut également être attentif au fait que certains aspects de l'univers des contenus se prêtent parfois mieux à la rédaction de questions et risquent ainsi d'être surreprésentés
• Par exemple, pour certains tests de rendement scolaire, il est souvent plus facile de rédiger (ou de corriger) des questions factuelles que des questions de compréhension

Un problème fréquent est que plusieurs tests requièrent certaines «habiletés verbales» alors que ces tests n'ont pas pour but de mesurer ce type d'habiletés

• Il y a alors un sérieux problème de validité de contenu

MÉTHODES

Il faut toujours se rappeler que la validité de contenu d'un test doit être prise en considération à tout moment de la construction du test

Une façon de rendre cette validité plus évidente est d'élaborer un devis de rédaction du test

• Un tel devis devrait, à partir de la définition du construit à mesurer, donner tout le détail du contenu du test
• Par exemple, pour un test final d'un cours d'introduction à la psychométrie, on pourrait avoir le tableau suivant qui donne la répartition du nombre de questions selon les champs de contenu et les objectifs d'apprentissage

	Objectifs d'apprentissage
Champ de contenu	Connaître les termes	Comprendre les concepts	Appliquer les principes	Interpréter les données	Total
Concepts de base	6	2	0	0	8
Utilisation des tests	5	3	2	0	10
Statistique	1	2	0	3	6
Normes	3	3	1	5	12
Fidélité	4	5	4	4	17
Validité	6	7	6	6	25
Analyse d'items	3	4	3	3	13
Synthèse	0	0	6	3	9
Total	28	26	22	24	100

• La répartition des items respecte l'importance de chaque champ de contenu et de chaque objectif d'apprentissage
• Un tel tableau rend plus explicite la rédaction du test

Une fois la construction du test terminée, le manuel du test pourra présenter le détail du contenu du test sous la forme de tableau synthétique

• Dans l'exemple du test final pour le cours de psychométrie, on peut présenter la répartition des questions en fonction des champs de contenu
• On suppose qu'il y a deux versions parallèles de ce test
• Dans le tableau suivant, ce sont les numéros des questions relatives à chaque champ de contenu qui sont présentés

Champ de contenu	VERSION A	VERSION B
Concepts de base	1-8	1-8
Utilisation des tests	9-16, 60-61	9-15, 59-61
Statistique	17-19, 62-64	16-19, 62-63
Normes	20-25, 65-70	20-24, 64-70
Fidélité	26-34, 71-78	25-33, 71-78
Validité	35-47, 79-90	34-45, 79-91
Analyse d'items	48-54, 91-96	46-53, 92-96
Synthèse	55-59, 97-100	54-58, 97-100

D'autres précautions peuvent également être prises afin de juger de la validité de contenu d'un test

• Demander à plusieurs professionnels de participer à la rédaction du test
• Ou, au moins, d'en analyser indépendamment le contenu
• Faire l'analyse du type d'erreurs commises
• Faire l'analyse des méthodes de travail utilisées
• Par exemple, en demandant aux examinés de «réfléchir à voix haute» en répondant au test
• Modifier quelque peu les procédures afin d'en vérifier l'impact sur la performance des examinés
• Vérifier la relation entre les scores au test et d'autres variables
• Par exemple, si on désire mesurer un construit qui est indépendant des «habiletés verbales», on devrait s'assurer de l'absence de corrélation entre les résultats à ce test et un test de compréhension de lecture
• En effet, s'il y avait un telle corrélation, on pourrait conclure que le test mesure, en partie, la capacité à comprendre les consignes du test

APPLICATIONS

La validation de contenu est une méthode qui ne s'applique pas aussi aisément à tous les types de tests psychologiques

• Globalement, il s'agit de tenter de répondre, par l'affirmative, à ces deux questions:
• Le test constitue-t-il un échantillon représentatif du construit que l'on désire mesurer?
• La performance au test est-elle libre de l'influence de variables non pertinentes?

Cette méthode s'applique particulièrement bien pour l'analyse des tests critériés

• En effet, les résultats à ce type de tests s'interprètent toujours en fonction d'un ensemble bien circonscrit de contenus
• Par conséquent, il est fondamental de pouvoir démontrer la validité de contenu de tout test critérié

Elle s'applique également bien dans le cas de tests d'habiletés et, en particulier, dans le contexte des tests de performance scolaire

• Plusieurs enseignants peuvent alors mettre leurs compétences en commun afin de rédiger un test plus représentatif du contenu d'un cours
• De plus, il est souvent utile de consulter les plans de cours, les manuels utilisés, les notes de cours, etc.

Elle s'applique aussi aux tests de sélection et de classification du personnel

• En particulier, lorsque le test représente un véritable échantillon de la tâche à accomplir ou qu'il fait appel aux mêmes habiletés que cette tâche
• Il faut alors faire une analyse détaillée de la tâche et démontrer la similitude entre la tâche et le contenu du test

Cependant, la méthode de validation de contenu ne s'applique que très difficilement aux tests de personnalité

• Probablement parce que ce type de tests tente de mesurer des construits plus flous, moins biens définis et qui reposent souvent sur des hypothèses
• Le point important, c'est que, pour ce type de tests, la validation de contenu est loin d'être suffisante et il est nécessaire d'utiliser aussi les méthodes de validation présentées plus loin

VALIDITÉ APPARENTE

Il est essentiel de distinguer la validité apparente de la validité de contenu

• La validité apparente correspond à ce que le test semble mesurer
• I.e. est-ce que le test «semble valide» aux yeux des examinés, du personnel administratif, des observateurs non initiés, etc.
• C'est donc distinct de la question de ce que le test mesure de fait
• De plus, le terme est mal choisi parce qu'il ne s'agit pas, à proprement parler, de validité, au sens psychométrique du terme

La «validité» apparente est néanmoins importante à considérer puisqu'elle peut avoir un impact sur le climat de passation et de là, quoiqu'indirectement, sur les qualités psychométriques du test

• Par exemple, lorsqu'on adapte un test pour différentes catégories d'âge, il est important d'ajuster le niveau de langage et les exemples choisis, entre autres, pour éviter de créer auprès d'une clientèle adulte un climat enfantin
• De même, lorsqu'on construit des tests de rendement scolaire, il est important que les questions posées semblent être reliées au contenu du cours et ce, même si des questions «qui semblent sans rapport» pour l'examiné, pourraient aussi bien évaluer le rendement

On peut augmenter la «validité» apparente en modifiant quelque peu les questions afin qu'elles paraissent plus pertinentes aux examinés

• Par exemple, soit un test d'habiletés arithmétiques élémentaires administré en milieu de travail
• Les questions de cachet classique, du style «Combien de pommes à 10 sous puis-je acheter avec 60 sous?» peuvent sembler non pertinentes
• Il convient alors d'utiliser des questions liées au contexte de travail, par exemple en utilisant des termes de marine pour le personnel naval
• La meilleure source d'information pour juger de la «validité» apparente d'un test est souvent fournie par les examinés eux-mêmes

Mais deux points sont importants à considérer

• La «validité» apparente n'est absolument pas un substitut à la validité objective d'un test
• Toute tentative d'amélioration de la «validité» apparente d'un test peut modifier sa validité objective, mais pas nécessairement

Suite > VALIDATION CRITÉRIÉE