PSY 4130, INTRODUCTION À LA PSYCHOMÉTRIE, VALIDITÉ

PSY 4130, INTRODUCTION À LA PSYCHOMÉTRIE, Groupe 20, Hiver 2002
VALIDITÉ
2002-01-16 * 1, pour la dernière révision ; © Jean Bélanger (belanger.jean@uqam.ca) ; http://www.er.uqam.ca/nobel/r30034/PSY4130/doc/valid.html

Pour obtenir une version PDF offrant une meilleure qualité d'impression, cliquez ici

NATURE
IMPORTANCE DE LA VALIDITÉ DANS LE CHOIX D'UN TEST
SOURCES POSSIBLES D'INVALIDITÉ
TYPES DE VALIDITÉ
MESURE ET INTERPRÉTATION DE LA VALIDITÉ: COEFFICIENT DE VALIDITÉ
MATRICE DE DÉCISION
STRATÉGIES DE DÉCISION
- Prédiction des effets de la sélection
- Théorie de la décision
VARIABLES
COMBINAISON DE L'INFORMATION PROVENANT DE DIFFÉRENTS TESTS
TYPES D'UTILISATION DES TESTS
ANALYSE STATISTIQUE DU BIAIS DES TESTS
CONTRE-VALIDATION (CROSS-VALIDATION)

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

NATURE / A, 31-32, 131-132 / S, 8-9 /
- Signification et utilité de la mesure fournie par l'instrument / A, 31-32, 131, 157-158, Tableau 6-2 /
- Relation ou correspondance entre la mesure fournie par le test et la valeur "réelle" de la caractéristique que ce test doit mesurer, de sorte que la mesure obtenue corresponde exactement et uniquement à la valeur de la caractéristique qui nous intéresse plutôt qu'à la valeur d'une autre caractéristique qui serait confondue à la première dans le contexte d'emploi du test.
- La validité d'un test est fonction de son but ou usage et
  - Varie selon ce but ou usage
  - Doit être établie pour chaque but ou usage différent
- Le type et la procédure de validation à faire varient aussi selon ce but et usage
IMPORTANCE DE LA VALIDITÉ DANS LE CHOIX D'UN TEST
- Pertinence (suitability) du test pour les objectifs de l'évaluateur / A, 161 /
  - Différences entre les objectifs du test et ceux de divers clients de l'évaluateur utilisant ce test
  - Validité du test dans le nouveau contexte d'usage
- Vérification de la validité d'un test par rapport à des critères locaux / A, 162 /
SOURCES POSSIBLES D'INVALIDITÉ
- Non existence du phénomène ou de la caractéristique qui nous intéresse.
- Définition inadéquate du phénomène à mesurer: / WN, * /
  - Complexité du phénomène à mesurer ou à prédire
  - Incompréhension du phénomène
  - Confusion d'un phénomène avec un autre
    - La caractéristique ou le phénomène mesuré par le test ne correspond pas nécessairement au nom donné au test / A, 131 /
- Effet de l'instrument (matrice multitraits-multiméthodes) / A, 150-151 /
- Fidélité insuffisante (trop grande erreur de mesure) ou trop grande du test (le test est tellement homogène qu'il n'est plus représentatif de la variabilité (hétérogénéité) de la performance critère que ce test veut prédire, c'est-à-dire que le test ne mesure qu'un des facteurs qui influence la performance au critère)

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

TYPES DE VALIDITÉ
- Ambiguïté et diversité des concepts de validité
  - Apparence, conséquence, contenu, concordance, empirique, prédictive, pragmatique, concomitante, de construit, incrémentielle, convergente, discriminante, divergente, différentielle, etc.
- Validité d'apparence (face validity) / A, 137-138 / RI, * /
  - Nature: / A, 137 /
    - Signification et pertinence apparentes des items et du test à leur simple examen par un profane
      - Psychoquizz des magazines populaires, Quotient psychosexuel du Dr Serge Mongeau
    - Interprétation de l'item et du test à partir de l'expérience personnelle et individuelle
    - Les critiques profanes des tests sont souvent basées sur leur validité d'apparence
  - Utilité
    - Acceptation sociale du test
    - Coopération de l'individu examiné
    - Condition souvent nécessaire socialement mais non suffisante à la valeur psychométrique du test
  - Absence de recherches sur la validité d'apparence / A, 137-138 /
  - Façons d'améliorer la validité d'apparence / A, 138 /
  - Relations aux autres formes de validité
- Validité de conséquence
  - Effet de la présence d'une mesure sur
    - Le score obtenu
    - Le phénomène critère mesuré ou prédit par le test
  - Exemples
    - Apprendre ou étudier pour le test / BS, * /
      - Cas idéal quand le test est une bonne mesure des objectifs d'apprentissage
        
        Possibilité empirique de mesure de cet effet
    - Conséquence de l'usage du test sur le phénomène à mesurer ou à prédire
      - Exemple 1 - Changement dans la définition sociale de l'intelligence suite aux tests de Q.I.
      - Exemple 2 - Exigence en sélection du personnel d'un secondaire 5 pour un emploi de balayeur de plancher
        
        Changement dans la population employée et employable par la suite
        Influence sur les possibilités d'emploi et de chômage des individus peu scolarisés
        Changement conséquent dans les normes de validation du test et de la tâche de balayeur
  - Effets pervers possibles
    - Tricherie / ST, * / TR, * /
    - Discrimination sociale / BW, * / SN, * / WA, * /
      - Effet Pygmalion
      - Stigmate sociale
    - Effets secondaires / AN, 1-4, 18-19 / SP, 8, 10, * /

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

Validité empirique (critériée ou pragmatique) (criterion related validity)
- Nature / A, 138-139, 145 /
  - Efficacité empirique d'un test à prédire la performance d'un individu sur un critère concret d'intérêt, critère extérieur au test et indépendant du score au test
  - Deux sens du mot «prédiction» / A, 139 /
  - Type de critères / A, 139 /
    - Actuel: critère qui existe actuellement (validité concourante ou concomitante) (concurrent validity)
    - Futur: critère qui, sans exister actuellement, existera dans le futur de l'individu examiné (validité prédictive, predictive validity)
- Pertinence et domaines d'application
  - Critère actuel / A, 139 /
    - Emploi de compromis, comme substitut à l'observation directe, plus coûteuse, difficile et longue ou impossible actuellement (validité prédictive), du critère du phénomène d'intérêt / A, 139-140 /
    - Usage diagnostic
  - Critère futur / A, 139 /
    - Sélection, classification et placement scolaire ou occupationnel
    - Dépistage de problèmes potentiels / BY, * /
  - Choix de traitement adéquat
- Dangers de la validité empirique
  - Changement temporel dans le critère à prédire, dans la population, dans la tâche, etc.
  - Difficulté de la définition du critère externe à prédire (problème du critère) / AN, 4 /
    - Exemple, qu'est-ce que le succès scolaire? Connaître la matière, réussir les examens ou être un bon élève? Être un bon psychothérapeute. Être un bon professeur / W, 45-67 /
    - Difficulté de définir clairement la majorité des concepts usuels en psychologie, en éducation, en sciences humaines
      - Ambiguïté de ces concepts
      - Grand nombre de variables impliquées par ces concepts
  - Contamination de critère / A, 140 / W, 45-67 /
    - La connaissance que les gens ont du score obtenu peut influencer leur réaction à l'individu examiné de façon à ce que la prédiction se réalise, ce qui n'aurait pas été nécessairement le cas sans cette connaissance (effet Pygmalion de Rosenthal, effet Matthieu, effet de labeling, etc.)
    - Correctif possible
  - Confusion entre le score au test et la performance au critère que le test veut prédire
    - Tendance qui existe parfois à exiger qu'un individu qui satisfait au critère ultime satisfasse aussi au score prédicteur de ce critère (ex.: refus que l'individu qui a réussi un programme obtienne le diplôme s'il ne réussit pas aussi le test de sélection au programme)
  - Confusion entre critère ultime et critère intermédiaire / A, 142 /
    - Exemple: critère ultime: guérir; critère intermédiaire, recevoir un traitement médical adéquat
      - Le bon médecin est celui qui donne un traitement médical adéquat.
      - Mais le traitement médical adéquat est défini par les règles de l'art médical plutôt que par la guérison parce que souvent on ne sait pas comment guérir
- Critères fréquemment employés / A, 140-145 /
  - Variable selon le but et l'usage du test
  - Types
    - Réussite scolaire / A, 140-141 /
      - Mesures diverses
      - Types de tests
      - Avantages et inconvénients
    - Performance dans des cours spécialisés ou des entraînements spécifiques / A, 141-142 /
      - Mesures diverses
      - Types de tests
      - Avantages et inconvénients
    - Performance ou rendement au travail / A, 142-143 /
      - Mesures diverses
      - Types de tests
      - Avantages et inconvénients
    - Groupes contrastés (contrasted) / A, 143-144 /
      - Mesures diverses
      - Types de tests
      - Avantages et inconvénients
    - Jugements d'experts / A, 144-145 /
      - Mesures diverses
        
        Diagnostics psychiatriques
        Ratings ou jugements appréciatifs
      - Types de tests
      - Avantages et inconvénients
    - Corrélation avec d'autres tests existants et qui sont supposés mesurer la même caractéristique (validité de concordance) / A, 145 /
      - Types de tests
      - Avantages et inconvénients
- Généralisabilité des coefficients de validité / A, 145-146 /
  - Variation importante des coefficients de validité dans les études locales / A, 145 /
  - Causes possibles de la variation / A, 145-146 /
    - Spécificité situationnelle des tâches prédites
    - Artefacts statistiques produits par
      - Petitesse de l'échantillon
      - Réduction de l'étendue de l'échantillon
      - Critères instables
  - Importance générale des facteurs globaux de connaissance et d'intelligence / A, 143-144 /

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

Validité conceptuelle ou de construit
- Nature / A, 146-147, 156 /
  - Corroboration de la signification conceptuelle ou théorique de la mesure
    - Le concept théorique explique et justifie le test
    - Le test confirme ou appuie la théorie sous-jacente
  - Repose sur une élaboration conceptuelle au moins élémentaire des relations théoriques et empiriques entre diverses mesures, phénomènes ou concepts
- Types de relations pouvant être pertinentes
  - Changements développementaux / A, 147 /
    - Usages
      - Intelligence
        
        Modèle de Binet / A, 147 /
        Stades piagétiens / A, 148 /
      - Personnalité
        
        Stades freudiens
    - Conditions / A, 147 /
      - Changements ordinaux réguliers et nets
    - Limites / A, 147 /
      - Existence de phénomènes stables à travers les âges de la vie
      - Parfois nécessaire, jamais suffisant
      - Influence de la culture
  - Cohérence interne / A, 149-150 /
    - Nature: homogénéité du test
    - Méthodes de mesure
      - Groupes contrastés
      - Corrélations items - test
      - Corrélation sous-tests - test
    - Limite / A, 150 /
      - N'indique pas la nature du phénomène mesuré
  - Analyse factorielle / A, 148-149 /
    - Nature
    - But
    - Validité factorielle
  - Validités convergente et divergente / A, 150-151 /
    - Nature et utilité
      - Il existe une validité convergente quand des mesures d'une même caractéristique (trait ou phénomène) par différentes méthodes (tests, observation, etc.) sont en forte corrélation.
      - Il existe une validité divergente quand des mesures de caractéristiques (traits ou phénomènes) différentes avec une même méthode sont en faible corrélation.
    - Matrice multitrait-multiméthode / A, 150-153 /
      - Effets de la méthode de mesure
        
        Observations différentes au microscope selon la teinture du tissu cellulaire observé
        Astronomie: différence des observations par les télescope optiques et les radiotélescopes
      - Procédure / A, 151 /
        
        Comparaison des résultats obtenus par diverses méthodes de mesure pour chacune de plusieurs traits, caractéristiques ou phénomènes différents qui sont mesurés
        Comparaison des corrélations
        
        Coefficients de
        
        Fidélité
        Validité
        
        Différents traits,
        
        Même méthode
        Différentes méthodes
        
        Même trait
        
        Même méthode
        Différentes méthodes
  - Validité de concordance
    - Nature: présence d'une forte corrélation avec d'autres tests (même type de mesure) mesurant le même phénomène (même caractéristique ou trait) / A, 148 /
    - 2 buts
  - Manipulations expérimentales / A, 153 /
    - Comparaisons pré et post-intervention
  - Psychologie cognitive, simulation théorique et intelligence artificielle / A, 153-156 /
    - Procédures
      - Analyse de tâche / A, 154 /
      - Création d'un programme informatique
    - Intégration théorique / A, 155 /
      - Implications nomothétiques
      - Représentation du construit
- Relation inclusive de la validité de construit aux autres types de validité / A, 158-159 /
- Danger de la validité de construit
  - Imprécision et ambiguïté de la mesure / A, 156 /
  - Justification a priori de pratiques ou de théories dont on ne cherche plus alors à établir empiriquement la validité / A, 156 /
Distinctions entre les concepts de validité convergente, concomitante et concordante
- Convergente: corrélation avec un autre type de mesure d'un même phénomène
  - Exemple, test vs observation
- Concomitante: corrélation avec un critère immédiat plutôt qu'une autre mesure indirecte.
  - Exemple, test vs tentative de suicide
- Concordante: corrélation de deux mesures de même type mesurant le même phénomène.
  - Exemple, test A d'intelligence générale vs test B d'intelligence générale.
  - Sert à la validité de construit et à indiquer la valeur de la traduction d'un instrument d'une langue à l'autre ou d'une culture à l'autre.
  - Les tests concordants sont considérés comme des formes parallèles.
Étapes du processus de validation / A, 159 / SS, 33-35, 37-38 /

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

MESURE ET INTERPRÉTATION DE LA VALIDITÉ: COEFFICIENT DE VALIDITÉ
- Nature / A, 162 /
  - Corrélation entre le score au test et le critère externe à prédire ou mesurer
- Présentation / A, 162 /
  - Indice numérique
    - Coefficients de corrélation
  - Table ou diagramme de prédiction (expectancy) / A, 94-95 /
- Variables influençant la valeur du coefficient / A, 162-165 /
  - Caractéristiques de l'échantillon normatif / A, 163 /
    - Caractéristiques socio-démographiques
    - Changement dans la population de référence
    - Hétérogénéité de l'échantillon (restriction of range, réduction d'étendue de l'échantillon donc de sa diversité)
    - Effet de présélection / A, 163 /
  - Dérive ou changement temporel du critère (exemple, changement dans le travail, la personne, les candidats) / A, 163 /
  - Forme de la relation entre le score au test et le score au critère / A, 164 /
    - Linéaire
      - Variance égale (homoscédasticité)
      - Variance inégale (hétéroscédasticité)
    - Non linéaire
      - Seuil minimum
  - Type de coefficient approprié
- Grandeur désirable du coefficient / A, 165 /
  - Signification statistique
  - Erreur type de prédiction (ETP_est )
    - Nature / A, 165 /
    - Formule / A, 165 /
    - Interprétation
      - Relation au degré de validité et au hasard / A, 165 /
      - Prédiction de la position d'un individu sur le critère
        
        Prédiction d'un seuil (pont de coupure) (cutoff) sur le critère / A, 166 /
      - Utilité de coefficients bas mais statistiquement significatifs
MATRICE DE DÉCISION

Fig. 7-1, p. 167; tableau 5.1, ci-dessous

TABLEAU 5.1
TABLE DE DÉCISION

		DÉCISION
		NON-INTERVENTION TRAIT ABSENT REFUS INNOCENT	INTERVENTION TRAIT PRÉSENT ACCEPTATION COUPABLE
C R I T È R E ou R É A L I T É	MALADE TRAIT PRÉSENT SUCCÈS COUPABLE	B FALSE NEGATIVE FALSE REJECTION II FAUX NÉGATIF REJET ERRONÉ OMISSION ERREUR JUDICIAIRE (Acquitter un coupable)	A HIT VRAI POSITIF ACCEPTATION JUSTIFIÉE DÉTECTION CONDAMNER LE COUPABLE
C R I T È R E ou R É A L I T É	NORMAL TRAIT ABSENT ÉCHEC INNOCENT	D VALID OR CORRECT REJECTION VRAI NÉGATIF REJET JUSTIFIÉ ACQUITTER L'INNOCENT	C FALSE ALARM FALSE POSITIVE FALSE ACCEPTANCE I FAUX POSITIF ACCEPTATION ERRONÉE ERREUR JUDICIAIRE (Condamner un innocent)

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

Types de décisions / A, 166-167 / AN, 1-4, 18-19 / SP, 5 /
- Acceptation ou refus
  - Seuil (cutoff) de sélection (point de coupure) en dessous duquel on refuse et au dessus duquel on admet
  - Ratio (rapport) de sélection (proportion de gens choisis sur le nombre de candidats)
  - Taux de succès (proportion de gens admis qui réussissent)
    - Avant ou sans sélection par le test / A, 169-170 /
      - Niveau de base (base rate) / A, 171 /
        
        Taux de succès des candidats acceptés (nombre de candidats acceptés qui satisfont au critère sur le nombre total de candidats acceptés) avant l'utilisation du test, quelle que soit la procédure antérieure de décision
        Trois possibilités antérieures de décision, selon le cas :
        
        On accepte tous les candidats qui se présentent (taux de succès sans aucune sélection)
        
        (A + B) / (A + B + C + D) voir tableau I et figure 1
        Meilleure procédure théorique, mais souvent inapplicable par manque de places
        
        On choisit au hasard les candidats acceptés (taux de succès avec sélection au hasard)
        
        On prend alors, au hasard, autant de candidats qu'il y a de places, mais difficile de justifier socialement que la décision repose sur le hasard
        
        On choisit déjà certains candidats avec une procédure antérieure de sélection qui n'inclue pas le test à valider
        
        A / C, voir tableau I et figure 1
        Plus réaliste puisqu'il y a probablement déjà une procédure de décision utilisée mais cette procédure antérieure est peut-être invalide, donc on valide le test à partir d'un échantillon non représentatif et invalide (invalidité de conséquence de la procédure antérieure de sélection)
    - Après ou avec sélection par le test
Types d'erreurs / A, 168 /
- Faux négatifs (B, rejet erroné) et faux positifs (C, acceptation erronée)
- Sensibilité: A / (A + B) Proportion de personnes ayant réellement la caractéristique mesurée qui sont identifiées par le test comme ayant cette caractéristique
- Spécificité: D / (C + D) Proportion de personnes n'ayant pas réellement la caractéristique mesurée qui sont identifiées par le test comme ayant cette caractéristique
- Effet de la sensibilité et de la spécificité d'un instrument de mesure sur le pourcentage de personnes mal diagnostiquées ou classées
  - Caldwell, R.A., Bogat, G.A., Davidson, W.S.II (1988) The assessment of child abuse potential and the prevention of child abuse and neglect: a policy analysis. American Journal of Community Psychology, 16, 604-624
- Importance du seuil (cutoff) sur le type d'erreurs
Critères de décision / A, 168 /
- Conséquences des décisions justes
- Conséquences des erreurs
Choix du seuil et du Ratio de sélection / A, 168-169 /
- Offre et demande
- Différenciation maximale des groupes sur le critère
- Procédures mathématiques

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

STRATÉGIES DE DÉCISION
- Notion de stratégie de décision / A, 169 /
- Prédiction des effets de la sélection
  - Tables de Taylor-Russell / A, 169-170 /
    - Relation à la table de décision
    - Informations requises
      - Coefficient de validité du test
      - Ratio de sélection (nombre de candidats acceptés sur le nombre total de candidats)
        
        [(A+C) / (A+B+C+D)]
      - Niveau de base
  - Validité incrémentielle (incremental validity) / A, 171 /
    - Nature / A, 171 /
      - Degré d'augmentation de la validité de la décision produite par l'emploi du test
    - Facteurs
      - Ratio de sélection / A, 170-171 /
      - Critères antérieurs de décision / A, 171 /
      - Niveau de base / A, 171-172 /
        
        Taux de succès (efficacité) de la procédure de sélection utilisée précédemment ou d'une sélection au hasard
        Valeur optimale / A, 172 /
        Implications cliniques / A, 172 /
        
        Effet sur l'erreur
        Usage du test comme instrument de dépistage (screening)
    - Existence de situation où les tests sont moins efficients que d'autres procédures
      - Notion d'efficience (rapport gain-coût)
      - Exemples
        
        Succès scolaire à l'université: supériorité prédictive de la cote R et moindre coût qu'un test
        Situation clinique: supériorité des données biographiques sur les tests cliniques et le jugement clinique
  - Relation de la validité à la productivité / A, 172-175 /
    - Table 7-2 / A, 174 /
    - Relation proportionnelle linéaire / A, 172-173 /
    - Valeur monétaire / A, 173-175 /
  - Effet de la disponibilité de plusieurs interventions selon les caractéristiques du sujet / A, 179 /
- Théorie de la décision
  - Nature et but / A, 169, 175 /
  - Rôle des valeurs dans la théorie de la décision
    - Valeurs définies en termes d'utilité des résultats / A, 175-176 /
      - Difficulté de préciser les valeurs
      - Valeurs relatives plutôt qu'absolues
    - Calcul de l'utilité attendue (expected utility) / A, 176-177 /
      - But: maximiser l'utilité attendue d'une stratégie
        
        Fonction des conséquences (outcomes) possibles des décisions (figure 7-2)
        
        Probabilité des conséquences
        Utilité des conséquences
      - Formule de l'utilité générale attendue (UA) / A, 177 /
        
        Somme des produits de l'utilité de chaque conséquence par sa probabilité
        Moins le coût d'emploi de la stratégie
  - Stratégies séquentielles / A, 178-179 /
    - Nature
      - Prise de décision en plusieurs étapes successives et ordonnées
    - Exemple
      - Répartition en trois catégories / A, 178; fig. 7-3 /
        
        1- acceptation, rejet, incertain
        2- réexamen des cas incertains
      - Répartition en deux catégories / A, 178 /
        
        1- acceptation, rejet
        2- réexamen des sujets acceptés
    - Avantages
      - Tenir compte de facteurs multiples / A, 178 /
      - Utilisation maximale de l'administration des tests par ordinateurs / A, 178 /
      - Correspondance au fonctionnement réel des institutions / A, 179 /
  - Utilité de la théorie des décisions / A, 179 /
    - Attention portée à la complexité des facteurs impliqués par la décision
    - Insuffisance du seul coefficient de validité pour la prise de décision

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

VARIABLES MODULATRICES (modératrices)
- Définition / A, 179-180 /
- Recherches / A, 180-181 /
  - Exemples de variables modulatrices (sexe et thalidomide)
  - Conclusions / A, 181 /
COMBINAISON DE L'INFORMATION PROVENANT DE DIFFÉRENTS TESTS
- Raison de faire cette combinaison / A, 181 /
  - Complexité et hétérogénéité des critères externes
  - Avantage de l'emploi de tests homogènes plutôt qu'hétérogènes
- Batterie de tests / A, 181 /
  - Nature: combinaison de tests différents pour prédire un critère unique
- Techniques d'interprétation de la combinaison des scores à chaque test
  - Jugement subjectif (clinicien, conseiller en orientation) / A, 181-182 /
  - Équation de régression multiple / A, 182 /
    - Formule basée sur
      - La corrélation de chaque test avec le critère
        
        Pondération plus forte pour les tests très correlés au critère
      - La corrélation entre les tests
        
        Élimination des tests redondants
        Pondération moindre en fonction de la corrélation entre les tests
    - Variation de la pondération selon la / A, 183 /
      - Nature de l'échantillon
      - Grandeur de l'échantillon
    - Amélioration de la prédiction en
      - Incluant des variables annulatrices / A, 183 /
      - Révisant le test / A, 184 /
  - Scores seuils (point de coupure) (cutoff) multiples / A, 184-186 /
    - Établissement d'un score minimum d'acceptation à chaque test
    - Élimination des individus qui ne franchissent pas tous les seuils
    - Exemples: GATB
- Comparaison des techniques
  - Préférence pour la technique des seuils (cut-off) multiples quand il y a
    - Relation non linéaire des scores au critère / A, 184 /
    - Homogénéité de l'échantillon / A, 184 /
    - Présence d'habiletés essentielles / A, 186 /
  - Préférence pour l'équation de régression quand il y a
    - Relation linéaire et additives des scores au critère / A, 187 /
    - Différenciation des individus en fonction du critère / A, 187 /
  - Combinaison séquentielle des deux techniques / A, 187 /
    - D'abord, seuils
    - Ensuite équation de régression

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

TYPES D'UTILISATION DES TESTS
- Différences entre
  - Sélection / A, 4, 187 /
    - Nature de la décision: acceptation ou rejet
  - Dépistage (screening) / A, 187 /
    - 2 sens
      - Procédure séquentielle dont l'étape finale est la sélection
      - Forme rapide et grossière de sélection
  - Placement / A, 187-188 /
    - Nature de la décision: répartition de tous les individus examinés en différentes catégories selon leur position sur une échelle uni ou multidimensionnelle prédisant un critère unique
  - Classification / A, 188 /
    - Nature de la décision: répartition de tous les individus examinés en différentes catégories selon leur position sur différentes échelles, chacune correspondant à un critère ou catégorie
    - Exemple:
      - Orientation scolaire ou professionnelle
      - Diagnostic de personnalité ou de psychopathologie
- Validité différentielle I / A, 189 /
  - Capacité de prédire la différence de performance d'un même individu sur plusieurs critères
  - Relation à l'intelligence
  - Procédures statistiques
- Fonctions discriminantes multiples / A, 189-190 /
  - Nature: procédure mathématique permettant de déterminer la ressemblance entre le profil des scores d'un individu avec le profil des scores obtenu dans plusieurs autres groupes d'individus considérés comme identiques à l'intérieur de leur catégorie d'appartenance
  - Utilité
    - Absence d'une échelle critère mais présence de groupes distincts sur le critère / A, 189-190 /
    - Relation non linéaire entre l'échelle critère et l'échelle de scores prédicteurs / A, 190 /
    - Comparaison à l'équation de régression / A, 189 /
- Avantage de la présence de nombreux et différents prédicteurs dans la tâche de classification / A, 191-193 /
  - Maximiser l'utilisation des divers talents
  - Explication statistique / A, 190-192 /
    - Relation inverse entre l'efficience sélective d'un test et le ratio de sélection
    - Division du ratio de sélection par le nombre de catégories dans la tâche de classification
    - Donc, dans une tâche de classification plutôt que de sélection ou de placement, pour un même nombre d'individus, le ratio de sélection pour chaque catégorie est plus petit
  - Explication psychologique / A, 192 /
    - Une forte majorité des individus est supérieur à la majorité des autres sur au moins un critère d'aptitude où elle excelle
    - Différence entre les domaines d'excellence de chaque individu: le critère variant évidemment d'un individu à l'autre
    - Donc, si on classe les individus en fonction de leur domaine spécifique d'excellence, on peut répartir la grande majorité des individus dans un domaine où ils excellent par rapport aux autres individus et aux autres domaines
  - Exemples
    - Tableau 7-5 / A, 191 /
    - Figure 7-4 / A, 192 /
    - Étude de Feldman et Bratton (1972) / A, 193 /

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

ANALYSE STATISTIQUE DU BIAIS DES TESTS
- Problème: / A, 193-194 /
  - Constatation de l'existence réelle de différences entre divers groupes culturels en fonction des scores au test
    - Solution «politically correct»
      - Recherche de tests indépendants de la culture
      - Choix d'items ne défavorisant pas une culture / OM, 1 / SK, * /
    - Danger: choix d'items non culturels mais aussi non prédicteurs du critère / A, 193 /
  - Importance de trouver d'abord des prédicteurs valides / A, 193-194, 199 /
    - Puis, vérification de l'existence de différences de prédiction entre les sous-groupes,
      - Possibilité de différences moindres entre les sous-groupe quand le test est un bon prédicteur du critère
    - Finalement, traitement des différences entre sous-groupes culturels ou ethnique comme variables modératrices
      - Ajustement des coefficients de validité, des pondérations (regression weights) et des seuils selon les sous-groupes
- Définition du biais
  - Erreur systématique et constante plutôt qu'aléatoire / A, 193-194 /
  - Un même résultat au test correspond à divers niveaux de performance sur le critère selon le sous-groupe / A, 198 /
- Analyse des biais:
  - Mesure du biais de l'item
    - But / A, 232 /
      - Vérifier si la difficulté de l'item varie en fonction de groupes culturels différents
    - Définition psychométrique du biais: / A, 232 /
      - Items pour lesquels des gens d'un même niveau d'habileté auront une probabilité différente de réussite en fonction de leur groupe d'origine
    - Méthodes de mesure du biais
      - Statistiques
        
        Pourcentages d'individus de chaque groupe qui passent l'item / A, 232 /
        
        Procédure
        
        Distribution des valeurs autour de la diagonale pour les deux groupes
        Items éloignés de la diagonale (outliers) traités comme étant des items biaisés
        
        Critiques / A, 232-233 /
        
        Artefacts statistiques et de méthode utilisée
        Relation de la difficulté au niveau moyen de performance des groupes
        
        Confusion entre pouvoir discriminant et biais de l'item
        Correctifs suggérés
        
        Théorie de la réponse à l'item / A, 233-234 / B, 21-22 /
        
        Mesure indépendante de la difficulté de l'item
        Écart entre la ligne de régression et la diagonale
        Items éloignés de la diagonale (outliers) comme items biaisés
      - Intuitives / A, 235-236 /
        
        Identification de contenu insultant ou pas familier
        Avantages
        
        Utile au début et à la fin de la construction du test / A, 235 /
        Permet de vérifier si un item identifié comme potentiellement biaisé par une technique statistique l'est réellement / A, 235 /
        
        Items mesurant des caractéristiques différentes selon le groupe / A, 236 /
        Analyse des mauvaises réponses à l'item / A, 236 /
        
        Inconvénients / A, 235 /
        
        Ne peut prédire la difficulté ou le pouvoir discriminant pour divers groupes
      - Importance de combiner les diverses méthodes / A, 235 /

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

Modèle de Cleary pour le score au test / A, 194, note 9 /
- Éléments de la ligne de régression
  - Droite ou ligne de régression / A, 194 /
    - Relation de la ligne de régression au coefficient de corrélation / A, 194 /
  - Quatre notions importantes
    - Pente de la ligne / A, 194-195 /
    - Ordonnée à l'origine (intercept) (point où la ligne de régression croise l'ordonné (l'axe des Y) / A, 197 /
    - Score sur X
    - Score sur Y
  - Biais de la pente / A, 194 /
  - Biais d'origine
- Validité différentielle II et validité unique à un groupe (single-group validity) / A, 195 /
- Types de relations
  - Cas 1: différences entre groupes mais aucun biais du test
    - Nature / A, 194-195, fig. 7-5, 197 /
      - Même ligne de régression, même origine (intercept)
      - Moyennes différentes mais proportionnelles au test et au critère / A, 195, 198 /
    - Pas de biais: un même résultat au test correspond à un même niveau de performance sur le critère, peu importe le sous-groupe
  - Cas 2: biais de pente (slope): coefficients de validité différents selon les groupes
    - Nature / A, 195-196, fig. 7-5 /
      - Différentes lignes de régression: pente différente de chaque ligne de régression / A, 195-196 /
      - Différentes moyennes au test et au critère de performance
    - Danger statistique: grandeur différente de l'échantillon sur divers sous-groupe / A, 196 /
      - Effet sur le niveau de signification statistique des coefficients de validité
      - Correctif: évaluation de la différence entre les coefficients de validité
    - Résultats empiriques des études de biais de pente / A, 196-197 /
      - Pas de différences systématiques significatives entre les coefficients de validité
        
        Pour divers sous-groupes (noirs et hispanos)
        Sur diverses mesures (sélection à l'emploi, personnel militaire, test de sélection scolaire, etc.)
  - Cas 3: biais d'origine: sur- ou sous-prédiction de la performance d'un sous-groupe par rapport à un autre
    - Nature / A, 195, fig. 7-5, 197-198 /
      - Deux lignes de régression différentes: même pente de régression, même coefficient de validité, origines différentes / A, 197 /
      - Performance différente des sous-groupes au test mais performance identique sur le critère de sélection / A, 198 /
    - Dimension socialement importante, équité des tests (test fairness) / A, 198 /
    - Cause: / A, 198 /
      - Variance au test non pertinente à la variance au critère
      - Variance au test est fonction de caractéristique non pertinente d'un sous-groupe
    - Résultats empiriques des études de biais d'intercept / A, 198 /
      - Peu de biais d'intercept
      - Généralement favorable au sous-groupe dit «discriminé»
        
        Sur diverses mesures
  - Cas 4: artefact statistique causé par l'emploi d'un seul prédicteur valide / A, 199 /
    - Nature / A, 195, fig. 7-5, 198-199 /
      - Deux lignes de régression différentes: même pente de régression, même coefficient de validité, origines différentes
      - Performance différente des sous-groupes au test et au critère de sélection / A, 199 /
    - Cause:
      - Effet de variables de groupe correlés à la fois au score au test et au score au critère
    - Correctif:
      - Employer plusieurs prédicteurs valides
    - Exemples: niveau socio-économique ou éducationnel

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

Autres modèles d'analyse des biais / A, 199-200 /
- Action positive ou diminution d'effets nuisibles (adverse impact)
Existence d'un modèle général / A, 200 /
- Rôle des valeurs et des buts
- Diversité et conflits possibles entre diverses valeurs ou entre divers buts / A, 200-201 /
Complexité de la notion d'handicap ou de désavantage (experiental disadvantage) produit par la discrimination sociale / A, 200 /
- Diversités des analyses
  - Ambiguité des classifications ethniques, culturelles ou raciales globales
  - Analyse de désavantage individuelle et d'utilité individuelle
- Procédures recommandées / A, 201 /
  - Choisir d'abord les meilleurs (top-down)
  - Fixer des quota d'admission pour chaque sous-groupe
  - Difficulté de corriger des inégalités ou des injustices sociales en manipulant des résultats aux tests
  - Emploi de prédicteurs multiples
  - Programmes spéciaux de formation des groupes sous-représentés

CONTRE-VALIDATION (CROSS-VALIDATION) / A, 229-232 /
- Nature / A, 229 /
  - Nouvelle validation du test avec un échantillon différent de celui avec lequel il a été construit
  - Pour contrôler l'effet d'erreur aléatoire d'échantillonnage qui pourrait augmenter faussement la validité du test
- Exemples
  - Contre-validation du Rorschach par Kurtz / A, 230 /
  - B-projective psychokinesis test de Cureton / A, 230-231 /
- Conditions influençant la diminution de la validité à la contre-validation / A, 231-232 /
  - Grandeur de la banque originale d'items et
    - Proportion d'items conservés dans le test final
  - Grandeur de l'échantillon normatif d'individus qui ont servi à construire le test
  - Critère de choix et de construction de la banque initiale d'items

- 0 -

HAUT DE LA PAGE ACCUEIL DU COURS ENTRÉE DU SITE

Références

/ A, / BW, / S, / W, /

Dates de révision

92-02-12, 02h38
95-02-27, 04h01, 95-09-02, 18h02
97-01-06, 14h17, 97-08-04, 20h35
99-09-02, 19h30,
00-09-04, 04h45
01-01-10, 23h51

FIN DE LA MATIÈRE DU
QUATRIÈME ET DERNIER EXAMEN