31 mai 2024
Définir les normes d’évaluations : l'art de définir les limites de compétence
S’inscrire au Vretta Buzz
L’importance de la définition des normes a augmenté ces dernières années en raison du rôle important que joue l’évaluation dans le domaine de la responsabilité éducative. Les données d’évaluation nationales ont commencé à jouer un rôle important dans l’élaboration des politiques éducatives, en particulier pour comprendre les performances du système éducatif d’un pays à travers le prisme des niveaux de performance des élèves, tels que ceux reflétés dans les certificats de fin d’études. Les programmes d’évaluation tels que le Nation’s Report Card ou NAEP aux États-Unis et le PISA au niveau international nécessitent de définir des niveaux de compétence. En mettant en œuvre le processus de définition des normes, nous visons à maintenir une difficulté constante dans les évaluations annuelles au fil du temps, malgré les changements dans les formes et le contenu des tests, à établir des repères clairs pour la réussite des élèves et à communiquer efficacement les résultats des évaluations au public.
L'application des procédures d'établissement de normes varie selon les juridictions en raison de plusieurs facteurs, notamment le niveau de transparence de la responsabilité éducative, les sensibilités politiques telles que la nécessité de classer une proportion « appropriée » d'étudiants en fonction de leurs compétences, l'affaiblissement des procédures par des notes limites légales préétablies et la technicité de l'explication des méthodologies d'établissement de normes. Par conséquent, la connaissance et la familiarité pratique avec cette méthodologie peuvent être limitées au sein de la communauté d'évaluation et au-delà. Indépendamment de ces défis, une compréhension claire de la procédure d'établissement de normes par toute personne intéressée par l'éducation lui permettrait de maximiser les avantages associés à cette méthode unique dans le secteur de l'évaluation.
Cet article vise à simplifier la compréhension du processus d’établissement de normes et à aider nos lecteurs de la communauté éducative à voir son rôle dans le contexte plus large du cycle d’évaluation et du système éducatif.
101: Les bases de l’établissement de normes
La méthodologie d’établissement de normes dans le domaine de l’évaluation permet de qualifier les données d’évaluation quantitatives avant la prise de décision pédagogique grâce à une classification fiable des élèves en catégories. Une telle classification apporte de la clarté dans l’interprétation des capacités des élèves à différents niveaux de compétence. Ainsi, l’établissement de normes établit des limites claires pour les niveaux de capacité des élèves, apportant cohérence et alignement avec les politiques éducatives nationales et les évaluations à grande échelle. Ainsi, comprendre et valoriser ce processus peut améliorer votre dialogue et votre prise de décision dans votre contexte et vos responsabilités spécifiques.
Selon les normes pour les tests éducatifs et psychologiques de l'American Educational Research Association, de l'American Psychological Association et du National Council on Measurement in Education (2014), l'établissement de normes est défini comme « le processus d'établissement de notes de passage pour les normes de réussite scolaire ». L'établissement de normes fait partie intégrante de l'apprentissage et de l'évaluation, c'est pourquoi nous explorerons ces perspectives en tant que types de normes pour promouvoir une réflexion systématique sur la culture de l'établissement de normes. En fait, les normes de contenu du programme, appelées descripteurs de réussite pour chaque niveau dans notre contexte, sont comparées aux normes de performance au cours du processus d'établissement des normes. Étant donné que les changements apportés au programme ou aux évaluations entraînent des modifications des pratiques d'enseignement, ces changements doivent se refléter dans les évaluations, ce qui nécessite la réalisation d'études d'établissement de normes, tandis que des études de validation sont menées à d'autres moments pour étayer les affirmations formulées à partir des données d'évaluation et de leur interprétation.
Dans les évaluations linguistiques, le Cadre européen commun de référence pour les langues (CECRL) sert à la fois de référentiel de contenu et de référentiel de performance, en définissant des objectifs d’apprentissage linguistique spécifiques et des résultats de compétence mesurables à chaque niveau. De même, les juridictions peuvent fixer des niveaux de compétence en langues étrangères (comme B1) pour l’obtention du diplôme d’études secondaires, tandis que des examens comme l’IELTS, le TOEFL ou le test d’anglais de Duolingo mènent des études de définition de normes pour aligner leur notation sur les niveaux de compétence du CECRL. De tels efforts d’alignement facilitent la comparaison des résultats entre différents examens grâce à des études de concordance.
Établir des limites : perspectives des enseignants et des décideurs
J'expliquerai l'établissement de normes à partir de deux perspectives familières aux praticiens - les enseignants et les décideurs. Du point de vue d'un enseignant, l'établissement de normes peut être expliqué par une tâche quotidienne en classe. Les enseignants peuvent considérer leur classe comme une carte, chaque élève étant positionné à différents points en fonction de ses besoins d'apprentissage. Grâce aux interactions, les enseignants évaluent les capacités et les niveaux de connaissances de leurs élèves, ce qui les aide à planifier les étapes d'enseignement ultérieures ou à déterminer les services de soutien appropriés. Tout simplement, les enseignants catégorisent les parcours d'apprentissage et établissent des normes de performance des élèves au sein de ces catégories, ce qui façonne à son tour le système de soutien qu'ils mettent en œuvre pour l'apprentissage ultérieur.
De même, les décideurs politiques responsables de la prise de décisions dans le domaine des politiques affectant les résultats des apprenants doivent d'abord comprendre ce qui constitue une performance adéquate des élèves à chaque niveau et où se situe chaque groupe d'élèves dans la carte éducative, dans le but de classer les apprenants en fonction de leurs capacités. Cette approche aide à l'allocation des ressources en identifiant des systèmes de soutien appropriés pour divers groupes d'élèves dans des matières spécifiques, améliorant ainsi le parcours de progression de chaque apprenant. De même, nous faisons souvent référence aux évaluations adaptatives comme étant bien adaptées pour couvrir un large éventail de capacités des apprenants, en évaluant chacun en fonction de son niveau de compétence ; de la même manière, l’établissement de normes facilite la prise de décision adaptative.
Études de définition de normes : méthodes et approches
Dans le contexte de l'évaluation pédagogique, les méthodes de définition de normes les plus couramment utilisées sont la méthode Angoff, initialement introduite par Angoff en 1971, et la méthode Bookmark, développée et perfectionnée par les chercheurs du CTB/McGraw-Hill en 1996. Chacune de ces méthodes est brièvement décrite ci-dessous :
Angoff | Bookmark |
|---|---|
Cette méthode comprend également deux étapes principales : la révision des items et le jugement des experts : Révision des items: cette étape vise à comprendre chaque item comme un défi autonome pour le candidat. Ainsi, chaque item du test est présenté à un panel sans être classé par difficulté. De plus, les items sont examinés indépendamment afin que les jugements des experts ne soient pas influencés par la difficulté perçue des autres items, évitant ainsi le « biais de groupe ". Jugement du panel: par conséquent, chaque expert évalue la probabilité qu'un candidat minimalement compétent (MCT)* réponde correctement à un item. Cela se fait en attribuant un score de probabilité, allant généralement de 0 (aucune chance que le MCT obtienne la bonne réponse) à 1 (certitude qu'il réponde correctement). | Cette méthode comprend deux étapes : la préparation des items et le travail d'équipe holistique : Préparation des items: les items du test doivent être calibrés à l'aide de la théorie de la réponse aux items par des tests pilotes. Les items sont ensuite classés du plus facile au plus difficile en fonction de leurs estimations de difficulté IRT, appelées « valeur b ». Un tel classement des items crée une liste classée d'items qui constitue la base du placement ultérieur des signets. Travail d'équipe holistique: Par conséquent, un panel est invité à examiner les items initialement classés de manière ascendante (du plus facile au plus difficile) et à décider d'un item - un point auquel les experts pensent qu'un MCT commencerait à donner une réponse incorrecte. C'est précisément là que le niveau de compétence minimum - le score de coupure - doit être fixé, et un " signet " est inséré. |
* un individu juste au seuil de compétence.
** Illustrations du livret d'items classés. Adapté de Mitzel et al. (2001), p. 256.
Il existe d'autres méthodes utilisées dans la pratique de l'établissement des normes que je n'ai pas incluses dans le tableau ci-dessus, mais j'en ai brièvement décrit deux autres ci-dessous, car elles couvrent des méthodes et des approches pertinentes pour divers contextes :
Méthode Angoff modifiée: cette variante de la méthode Angoff traditionnelle consiste à ajuster les estimations de probabilité pour tenir compte des différentes complexités des items du test, offrant une approche plus nuancée de l'évaluation des compétences des candidats.
Méthode Ebel: la méthode Ebel catégorise chaque item du test par pertinence et difficulté avant de recommander des notes de coupure, structurant ainsi le processus d'évaluation pour garantir que tous les aspects de l'importance et du défi d'un item sont pris en compte.
Compte tenu des différents points forts et des applications spécifiques de chaque méthode, ma recommandation finale est d'évaluer soigneusement les exigences et le contexte uniques de chaque évaluation pédagogique. Pour les évaluations à enjeux élevés nécessitant des preuves objectives, la méthode Bookmark est fortement recommandée en raison de son approche complète et systématique.
Le cycle d'établissement des normes
Le processus d'établissement des normes peut être considéré comme un cycle (comme illustré ci-dessous) d'étapes importantes telles que la sélection du panel, la formation, l'examen des questions, l'analyse des données et les recommandations finales sur les notes de passage pour deux niveaux de compétence (« réussite » et « échec ») ou quatre (en dessous du niveau de base, de base, compétent et avancé). Au début du cycle, l'objectif de l'évaluation est identifié et la méthode d'établissement des normes est décidée.
Exemple de calcul : évaluation de certification de l'enseignement secondaire (25 questions de mathématiques à choix multiples) | ||
|---|---|---|
Étapes/Méthode | Angoff | Bookmark |
Sélection et formation du panel | Composition du jury: Un jury composé de 7 à 10 membres est sélectionné en fonction de son expérience en matière d'expertise pédagogique, de ses connaissances du contenu et de ses diverses perspectives sociales, ainsi qu'un superviseur systémique, tel qu'un représentant du conseil scolaire, qui fournit une vue d'ensemble. La composition du jury peut varier en fonction de l'objectif de l'examen, et peut inclure des membres du secteur privé ou du milieu universitaire pour les exercices d'établissement de normes d'admission à l'université. Formation : Une formation en face à face ou virtuelle est organisée pour aligner les membres du jury sur l'objectif, le processus méthodologique, l'importance de l'établissement de normes et les définitions des niveaux de performance ; Une attention particulière est accordée à la formation des personnes impliquées pour la première fois. En général, environ un jour ou deux sont consacrés à la préparation, au processus d'établissement de normes lui-même et à la prise de décision finale dans une étude d'établissement de normes sur quatre niveaux de compétence. | |
Révision des items | Révision des items: Le jury examine de manière indépendante 25 questions mathématiques, qui sont fournies sans aucun ordre en fonction de la difficulté. | Ordre des questions : les 25 questions mathématiques sont calibrées à l'aide de l'IRT pour déterminer leur niveau de difficulté, puis sont classées du plus simple au plus difficile. Consensus du panel : le panel examine les questions classées, en commençant par la plus simple et en plaçant un signet à la question numéro 16 pour le niveau avancé, où il pense qu'un MCT commencerait à rencontrer des difficultés. |
Analyse des données | Jugement d'expert: Chaque membre du panel d'experts estime la probabilité qu'un candidat minimalement compétent réponde correctement à chacune des 25 questions. Pour simplifier, supposons que ces probabilités moyennes pour quelques questions pourraient ressembler à ceci : Q 1 : 0,30 (30 % de chances de répondre correctement) Q 2 : 0,45 (45 % de chances de répondre correctement) Q 3 : 0,55 (55 % de chances de répondre correctement) ... les questions restantes étant supposées distribuées de manière similaire. Les moyennes de ces probabilités sont calculées sur toutes les estimations d'experts pour chaque question. Moyenne des probabilités : Pour trouver le nombre attendu de réponses correctes de ce test par le MCC, nous additionnons simplement ces probabilités et les divisons par le nombre de questions. Supposons que la réponse de ce calcul soit de 0,62. Cela signifie qu'en moyenne, un candidat minimalement compétent devrait avoir 62 % de chances de répondre correctement à une question donnée de ce test. Dans le même temps, 0,62 questions sur 25 équivaut à 15,5 et cela signifie qu'en moyenne, un candidat minimalement compétent devrait répondre correctement à environ 15,5 questions sur les 25 questions du test, sur la base des estimations de probabilité fournies par les experts. | L'analyse des données au niveau des items intervient plus tôt dans cette méthode, ce qui sert à justifier l’ordre des items. |
Recommandation finale: Note de passage | Calcul du score de coupure : cette valeur - 15,5 - sert de base pour fixer le score de coupure pour différents niveaux de compétence au sein du test. En arrondissant au nombre entier le plus proche, le score de coupure pour les personnes compétentes peut être fixé à 16. | Définition du score de passage : la question sur laquelle le signet est placé sert de note de passage ; Supposons que le signet pour le niveau « Compétent » se trouve à la question 16, c'est le point où un MCT devrait commencer à avoir des difficultés à répondre correctement, mais doit répondre correctement aux 15 premières questions (considérées comme plus faciles), pour atteindre le seuil de réussite. |
Le tableau ci-dessous illustre les étapes pratiques d'une procédure d'établissement de normes dans son ensemble, avec les étapes principales suivantes : Nous avons la note de passage sous forme de score absolu unique, qui est généralement utilisé dans les examens de certification à enjeux élevés, par opposition à une plage de scores qui est souvent utilisée pour fournir un retour d'information à des fins d'apprentissage continu. De plus, certaines étapes, telles que la conduite de cycles itératifs pour reconfirmer la décision finale, la documentation du processus, la communication des décisions finales aux parties prenantes, le suivi de la mise en œuvre du score de coupure et la collecte de preuves pour une validation continue, ont été fusionnées ou abrégées pour plus de clarté. Il peut être judicieux que le jury fasse passer le test et lui fournisse des données d'impact - détaillant le nombre d'étudiants concernés et à quel niveau - pour donner pleinement le ton de la responsabilité requise pour les décisions résultant de la recommandation de la note de passage. Indépendamment de toute mesure supplémentaire adaptée aux besoins contextuels spécifiques, chaque étape doit respecter les normes décrites dans les " Normes pour les tests éducatifs et psychologiques " mentionnées plus haut dans notre introduction.
Surmonter les obstacles dans l’élaboration des normes : recommandations pratiques
À chaque étape du processus d’élaboration des normes, des défis liés à l’interaction humaine ou à l’environnement de travail peuvent survenir. Vous trouverez ci-dessous un tableau qui décrit certains de ces défis et fournit des stratégies d’atténuation pour garantir que le résultat final du processus remplisse son objectif de la meilleure façon possible :
Défis en matière d'élaboration de normes | Meilleures pratiques pour une élaboration efficace de normes |
|---|---|
Biais des panélistes | Sélection de panels d'experts diversifiés : nous devons nous assurer que le panel est diversifié en termes de démographie, d'expertise et de perspectives afin de minimiser les biais individuels. |
Définition des niveaux de performance | Formation complète : nous sommes tenus de fournir une session de formation informative aux membres du panel sur les critères et les définitions des niveaux de performance afin de garantir la cohérence. |
Incohérence entre les panélistes | Processus de consensus structurés : il serait judicieux d'utiliser des méthodes structurées comme la technique Delphi pour parvenir à un consensus entre les membres du panel. |
Complexité technique et méthodologique | Utilisation de plusieurs méthodes de validation : essayez d'employer diverses méthodes d'établissement de normes et de valider les résultats pour améliorer la fiabilité et la validité. |
Résistance des parties prenantes | Communication transparente : engagez le dialogue avec les parties prenantes tout au long du processus et communiquez clairement la justification des décisions. |
Modernisation de l'évaluation : l'IA dans l'établissement des normes
L'utilisation accrue de la technologie dans l'évaluation pédagogique, en particulier l'intégration de l'IA dans le cycle d'évaluation, nous encourage à considérer également le rôle futur de l'IA dans le processus d'établissement des normes. Bien que l'établissement des normes, comme la conduite des évaluations sur papier, se fasse principalement en face à face, les réalités actuelles nécessitent une approche différente : évaluer la maturité des processus d'établissement des normes exécutés dans le cadre du pipeline de solutions proposé par les fournisseurs de technologie. Dans le parcours de modernisation des évaluations pédagogiques, les plateformes de gestion des données sont très importantes pour gérer le flux d'informations et l'aligner systématiquement sur les besoins des parties prenantes. Dans ce contexte, le processus d'établissement des normes pourrait bénéficier de fonctionnalités supplémentaires dans les plateformes d'évaluation pilotées par la technologie en permettant l'extraction de données au niveau des items à partir d'un pipeline de gestion des données et en facilitant l'organisation des activités d'établissement des normes avec des experts au sein de la même plateforme.
Dans le cadre de l'évolution de la gestion des données, les entrepôts de données (lieux où les données structurées sont stockées et facilement interrogées) et les base de données (grands pools de données brutes non structurées) ont traditionnellement été utilisés pour les rapports opérationnels, l'analyse et le soutien à l'exploration avancée des données et à l'innovation grâce aux technologies du Big Data et de l'IA. Aujourd'hui, nous entrons dans une nouvelle ère avec le « lakehouse » (un système moderne qui combine la récupération rapide des données des entrepôts de données avec la grande capacité de stockage des bases de données), une architecture de gestion des données moderne qui combine les fonctionnalités des bases de données et des entrepôts de données sur des plateformes de données cloud.
L’avenir de l'établissement des normes : collaboration et technologie
À l'avenir, l'établissement des normes passera de plus en plus à un format numérique, s'intégrant pleinement dans le cycle d'évaluation numérique, tout en étant soutenu par des rapports de données avancés, des analyses et des innovations grâce aux technologies du big data et de l'IA. Pour soutenir la mise en œuvre virtuelle continue de l'établissement des normes, qui manque de l'interaction personnelle que l'on trouve dans les environnements en face à face, la fonctionnalité collaborative et les capacités avancées d'exploration des données des plateformes d'évaluation pourraient être améliorées. Une approche systématique des normes de contenu et de performance, accompagnée d'efforts de validation continus entre les exercices d'établissement des normes, soutiendra une mise en œuvre cohérente et favorisera une culture holistique autour de l'évaluation.
À propos de l'auteur
Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapport rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre national d'examen d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que les examens des évaluations linguistiques conformes au CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.
Découvrez des pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l'avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.
