30 septembre 2023
La notation à l’écran : un guide pratique
S’inscrire au Vretta Buzz
L'UNESCO a organisé sa première Semaine de l'Apprentissage Numérique[i], au cours de laquelle des professionnels de l'éducation et des dirigeant politiques se sont réunis pour se pencher sur les plateformes publiques d'apprentissage numérique et l'IA générative. Les discussions ont porté comment ces technologies pourraient améliorer l'éducation humaniste et contribuer à l'Objectif de Développement Durable 4 (ODD 4) pour l'éducation. Dans le domaine de l’apprentissage et de l’évaluation numériques, la notation à l’écranrecèle un potentiel important pour propulser les réformes en cours et améliorer l’expérience d’apprentissage pour tous. La notation à l’écranest à l’avant-garde des avancées numériques dans le domaine de l’évaluation pédagogique, représentant un élément central du processus continue de la numérisation des évaluations[ii]. En termes simples, la notation à l’écranimplique l’évaluation des travaux numérisés des étudiants à l’aide d’un ordinateur ou d’une tablette. À une époque où les pratiques académiques traditionnelles se croisent avec l'innovation numérique, cet outil se distingue comme une approche sophistiquée pour évaluer les compétences et les connaissances des étudiants. Le rapport 2020 d'OFQUAL sur l'évaluation en ligne et à l’écran dans les qualifications de session à enjeux élevés[iii], met en évidence l’élan derrière la transition vers la notation à l’écran: aligner les évaluations avec la société numérique, améliorer la validité des évaluations et favoriser les progrès dans l'éducation.
Cet article vise à approfondir les subtilités de la notation à l’écran, en explorant ses origines, ses avantages et son rôle dans l’éducation contemporaine.
Aspects historiques et pratiques de la notation à l’écran
L'évolution des méthodes d'évaluation est naturellement liée aux types de questions - allant de la réponse sélectionnée à la réponse construite - et au mode d'évaluation, allant du format papier au format informatique. Alors que les évaluations informatisées des réponses sélectionnées éliminent la notation manuelle, les évaluations des réponses construites nécessitent une notation quel que soit le mode. Ces aspects historiques influencent également les choix faits par les juridictions cherchant à moderniser leurs systèmes d’évaluation. Prenons l’exemple d’un organisme d’évaluation aux enjeux élevés dans une juridiction numériquement jeune : la décision entre la méthode et le mode d’évaluation façonne la trajectoire d’adoption de la notation à l’écran. Les contextes aux ressources limitées peuvent donner la priorité à l’utilisation d’items à réponse sélectionnée, limitant potentiellement l’évaluation des capacités de réflexion d’ordre supérieur. À l’inverse, les juridictions matures sur le plan numérique pourraient affiner leurs méthodes d’évaluation pour les aligner sur les programmes d’études. En parallèle, les établissements d’enseignement comme les écoles et les universités pourraient adopter une numérisation complète, intégrant V de manière stratégique. Essentiellement, l’application pratique de la notation à l’écran est étroitement liée à la préparation au numérique, aux ressources disponibles et à l’alignement sur les objectifs pédagogiques d’une juridiction. Comprendre ces scénarios est essentiel pour exploiter le potentiel de la notation à l’écran et élever le domaine de l’évaluation.
Avantages et défis de la notation à l’écran
Différentes études ont été menées pour justifier l'utilisation de la notation à l’écran à différents niveaux d'organisations, comme les écoles ou les universités et les organismes d'évaluation à grande échelle. Par conséquent, différents documents d’orientation sont mis en pratique par diverses organisations. L’une d’entre elles est tout à fait pertinente pour les écoles produites par le système de notation des écoles européennes (2017) : des directives [iv] qui pourraient être utilisées pour aider les écoles et les enseignants à mettre en œuvre le système de notation de manière pratique, en les aidant à s’impliquer efficacement en fournissant des conseils avisés. L'une des études récentes sur le thème de l'engagement des étudiants[v] souligne l'importance de soutenir les connaissances en matière d'évaluation et le développement du personnel tout en relevant les défis de la rétroaction efficace. De plus, l'Université d'Oxford (2017) a écrit un rapport sur les recherches et pratiques en matière d'examens électroniques[vi] qui présente un ensemble de recommandations, notamment l'importance des compétences informatiques des correcteurs pour l'évaluation, qui cultivent un état d'esprit de la notation à l’écran et, à terme, améliorent la fiabilité et l’équité entre les évaluateurs simplement à partir de l'expérience de notation. Selon l’un des blogs publiés par le portail d’apprentissage IEP de l’UNESCO[vii], la correction assistée par l’IA rationalise l’évaluation en réduisant la charge de travail des enseignants et les parti pris ou préjugés potentiels, tandis que la supervision humaine maintient l’équité.
Avantages
Efficacité et rapidité : la notation à l’écran a gagné en popularité, en particulier pendant la pandémie, révolutionnant l'éducation et l'évaluation. Cet outil accélère la correction, offrant une alternative plus efficace que les méthodes traditionnelles sur papier. Cette efficacité est cruciale pour des évaluations rapides et précises. Les données générées par la notation à l’écran permettent une analyse approfondie de facteurs tels que les taux de réponse et le temps passé sur chaque question, aidant ainsi les enseignants à prendre des décisions éclairées pour un meilleur enseignement.
Précision et cohérence : un avantage remarquable de la notation à l’écran est son processus de marquage standardisé. En suivant des critères prédéfinis, cette méthode garantit l’équité et la cohérence des évaluations. Cette approche réduit la subjectivité dans la notation manuelle, offrant ainsi des résultats plus justes aux étudiants. La notation à l’écran améliore également la transparence en suivant le processus de correction, renforçant ainsi la confiance dans les résultats.
Avantages environnementaux : la notation à l’écran est une méthode respectueuse de l'environnement en réduisant la consommation de papier. La correction traditionnelle sur papier génère du gaspillage de papier et un impact environnemental. L'approche sans papier de la notation à l’écran préserve les ressources et s'aligne sur les pratiques vertes, ce qui en fait un choix respectueux de l'environnement.
Accessibilité et flexibilité : la notation à l’écran est polyvalente et transcende les frontières géographiques. Les correcteurs peuvent travailler de n’importe où grâce à Internet, éliminant ainsi le besoin d’une présence physique. Cette accessibilité responsabilise les correcteurs et les éducateurs, ce qui rend cet outil inestimable dans l'apprentissage à distance.
Par essence, la notation à l’écran transforme les évaluations en améliorant l'efficacité, l'équité, le respect de l'environnement et l'accessibilité, au profit des étudiants, des éducateurs et des institutions.
Défis
Formation et adaptation : passer à la notation à l’écran nécessite des compétences numériques. La formation est cruciale pour garantir que les correcteurs utilisent efficacement les outils numériques et comprennent les nuances de la notation électronique.
Problèmes de sécurité : la sécurité des données est essentielle dans la notation à l’écran. La flexibilité peut créer des vulnérabilités, comme le partage de devoirs corrigés ou un accès non autorisé. Une diversité de correcteurs et de surveillance améliore l’anonymat et la qualité.
Pour relever les défis associés à la notation à l’écran, aborder les subtilités techniques, proposer une formation complète et donner la priorité à la sécurité des données deviennent des étapes impératives vers la mise en œuvre réussie de cette méthode d’évaluation transformatrice.
Mise en œuvre du la notation à l’écran
Dans cette section, nous examinerons des exemples pratiques qui illustrent comment la notation à l’écran est efficacement intégrée dans le cycle d'évaluation. Une étude de cas convaincante provient de Vretta[viii], montrant comment leur système de notation électronique a révolutionné la gestion des réponses des étudiants et des équipes de correction sur plusieurs cycles d'évaluation.
Le système de correction intégré de Vretta, équipé de comptes autorisés, donne accès aux tableaux de bord des équipes de correcteurs et aux ensembles d'items désignés pour l'évaluation. Notamment, les correcteurs principaux jouent un rôle central dans l’utilisation d’une gamme de fonctionnalités, telles que :
Envoyer des invitations aux correcteurs pour évaluer des ensembles spécifiques d’items d'examen, supervisant ainsi le processus de notation.
Attribuer la formation nécessaire et valider les rôles des correcteurs.
Surveiller et comparer les performances des correcteurs, à la fois individuellement et par rapport à leurs collègues, en mettant l'accent sur la notation au niveau des items.
Évaluer de manière indépendante la notation des items et évaluer l'alignement des réponses avec les rubriques de notation établies.
Ces fonctionnalités polyvalentes fonctionnent dans divers contextes et génèrent des informations précieuses. Ils permettent l’analyse et l’amélioration fondée sur des preuves de performances de correction des correcteurs et des items tout au long du cycle de notation électronique. Cet ensemble d’outils à multiples facettes joue un rôle essentiel dans l’amélioration de l’efficacité et de l’efficience du processus d’évaluation.
Maintenant que nous avons exploré des cas pratiques d'intégration de la notation à l’écran dans le cycle d'évaluation, nous pouvons examiner de plus près le processus pour comprendre comment il se déroule en pratique.
Déroulement
Pour fournir une vue d’ensemble du processus, analysons-le sous différents angles. La pratique de la correction et de la notation comprend quatre étapes clés : configuration de l'évaluation, administration, notation et rapport. Ces étapes fonctionnent ensemble pour garantir une évaluation précise, cohérente et efficace des réponses des élèves.
Configuration de l'évaluation : cette étape consiste à identifier quels items doivent être corrigés par des humains et lesquels par des machines. Cela comprend également la mise en place de profils de notation, de rubriques et de critères. De plus, des options de notations sont établies pour maintenir la cohérence. Des politiques d'allocation de lots sont définies pour gérer le processus de correction. Des ajustements peuvent être effectués si nécessaire.
Administration : pendant l'administration, les réponses des étudiants sont collectées. Pour les items notés automatiquement, des configurations de correction prédéfinies sont utilisées. Cela peut inclure des méthodes telles que l'utilisation de clés de réponse pour des questions à choix multiples ou une évaluation algébrique. La plateforme comprend des outils en temps réel pour examiner les réponses inattendues. Les réponses numériques et numérisées sont prises en charge. Un résumé des sessions planifiées permet de gérer la distribution des items notés par une personne. Il existe également une fonctionnalité permettant de contrôler le temps du regroupement des réponses pour une notation efficace.
Notation : La phase de notation consiste à créer des fenêtres de notation, à inviter des correcteurs et des superviseurs, et à fournir du matériel de formation et des exemples. Après avoir terminé avec succès la session de formation, les correcteurs réclament des lots de réponses en fonction des politiques d'attribution et accèdent aux réponses numérisées et en ligne de manière anonyme. Ils peuvent signaler les réponses et accéder aux documents dans la fenêtre de notation. La productivité et la précision des marqueurs sont suivies. Les superviseurs suivent les correcteurs, examinent les réponses signalées, appliquent la deuxième ou la troisième lecture, résolvent les problèmes d'analyse et gèrent les réponses non réclamées. La fenêtre de rétro-lecture permet aux superviseurs de garantir l’exactitude. Les fonctionnalités clés sont organisées en catégories :
Types de réponses, affectation et double notation : le système de notation prend en charge divers types de réponses tels que les choix multiples et l'insertion de texte. Les items peuvent être attribués directement ou regroupés pour les correcteurs. Les réponses sont attribuées au hasard aux correcteurs, avec des options permettant de contrôler le nombre de réponses par heure et par école. La double notation est utilisée pour des raisons d'objectivité, impliquant deux ou plusieurs correcteurs évaluant la même question. Les rapports de fiabilité en temps réel garantissent l'exactitude.
Confidentialité, notation et suivi des réponses : la confidentialité des étudiants est respectée grâce à des réponses anonymes en ligne et à un recadrage des réponses numérisées par l'IA. Des guides de notation sont disponibles pour chaque item. Les rapports de progression sont accessibles dans la vue récapitulative des items. La vue de rétro-lecture de notation affiche les correcteurs et leur historique. Une attestation de correcteur personnalisable assure la confidentialité. Les horodatages suivent le temps de correction pour chaque lot de réponses.
Options d'affichage et commentaires : les correcteurs peuvent afficher les guides de notation sur le même écran ou séparément. Des zones de commentaires sont disponibles pour les correcteurs, tandis que les responsables de la notation peuvent accéder aux commentaires. La productivité et la précision des correcteurs sont suivies via un rapport sur les correcteurs. Le tableau de bord des correcteurs d’items permet de gérer les correcteurs, avec des fonctionnalités telles que la messagerie et la gestion des lots.
Rapports : au stade du rapport, les résultats des élèves sont déterminés en appliquant des règles de décision aux réponses notées par l’humain et par la machine, garantissant ainsi l'exactitude et la cohérence.
Tout au long de ces étapes, le processus garantit des informations sécurisées et privées sur les étudiants tout en fournissant une évaluation efficace et précise de leurs réponses.
L’intelligence artificielle et l’autocorrection numérique
Comme indiqué dans des articles précédents sur les technologies et tendances émergentes[ix], il existe une pression croissante pour intégrer la numérisation et améliorer les services d’évaluation pédagogique actuellement fournis. Cette demande est également alimentée par le besoin de compétences numériques pour conduire des réformes transformationnelles et faire progresser le domaine. Le principal catalyseur de ces développements est l’intelligence artificielle (IA). Il est fascinant d’observer comment ces technologies continueront d’avoir un impact sur le cycle d’évaluation, en particulier sur son avant-gardiste – la notation à l’écran. Même si l’IA est déjà appliquée, ses applications sont appelées à devenir plus intensives et plus répandues.
Voici quelques exemples de la façon dont ces technologies peuvent révolutionner différentes phases du processus d’évaluation :
Conception et création d'évaluations : l'IA permet à la notation à l’écran de prendre en charge des types d'items et des interactions plus complexes dans les évaluations. Des évaluations adaptatives qui ajustent la difficulté en fonction des performances individuelles des élèves sont créées avec l'aide de l'IA, améliorant ainsi l'expérience d'évaluation. Les algorithmes d'apprentissage automatique analysent de nombreuses données éducatives pour recommander des formats d’items optimaux, en accord avec l'intérêt porté au rôle de l'IA dans l'éducation et l'évaluation.
Analyse et capture de données : l'IA transforme la notation à l’écran en automatisant le processus d'analyse et d'extraction de données. Les modèles d'apprentissage automatique identifient et classent avec précision les réponses manuscrites et tapées, réduisant ainsi le besoin de saisie manuelle des données. Cela conduit à une saisie de données plus rapide et plus fiable, améliorant ainsi l’efficacité de la gestion des évaluations.
Notation et commentaires : l'IA améliore la notation à l’écran grâce à une assistance au marquage alimentée par l'IA. Les algorithmes d'apprentissage automatique pré-notent les réponses, aidant ainsi les correcteurs en identifiant les écarts potentiels pour une révision humaine. Le traitement du langage naturel fournit des commentaires automatiques sur les réponses écrites, combinant le contexte de l'IA et de l'éducation pour offrir des informations précieuses pour l'amélioration des élèves.
Analyse des données et rapports : l'intégration de l'IA dans la notation à l’écran génère des modèles de données complexes qui offrent des informations plus approfondies. Des analyses avancées prédisent les tendances des performances des étudiants, identifiant leurs forces et leurs faiblesses. Ces informations peuvent guider les établissements dans l’utilisation des informations basées sur l’IA pour améliorer les stratégies d’enseignement et les résultats des étudiants.
Assurance qualité et sécurité : l’IA renforce le contrôle qualité des évaluations dans la notation à l’écran. Des algorithmes intelligents valident la cohérence des correcteurs et identifient les erreurs potentielles, garantissant ainsi un marquage précis et fiable. Les détecteurs de plagiat basés sur l'IA signalent les cas de mauvaise conduite académique, ce qui correspond à l'intérêt de maintenir l'intégrité des évaluations sur tous les marchés.
Alors que l’IA continue de repousser les limites de la technologie d’évaluation, son intégration dans la notation à l’écran est appelée à remodeler la façon dont les évaluations sont conçues, exécutées et évaluées. L’interaction dynamique entre les applications d’IA et l’évolution de la notation à l’écran présente un domaine d’exploration passionnant.
Conclusion
La notation à l’écran apparaît comme une force pionnière, fusionnant l’innovation numérique et les pratiques pédagogiques dans le domaine en constante évolution de l’évaluation pédagogique. Il englobe l’efficacité, l’équité, la conscience écologique et l’accessibilité, annonçant une nouvelle ère de méthodologie d’évaluation. L’adoption de la notation à l’écran varie en fonction du contexte historique, de la préparation régionale au numérique et des systèmes éducatifs. La fusion de l'intelligence artificielle (IA) avec la notation à l’écran améliore la conception et le développement des évaluations, augmente la sécurité des tests et renforce l'intégrité académique dans le processus d'évaluation. Les mises en œuvre pratiques, comme le montre l'étude de cas de Vretta, responsabilisent les marqueurs principaux et les marqueurs, garantissant ainsi l'exactitude et une analyse perspicace. La convergence de l’IA et de l’autocorrection numérique promet une méthodologie d’évaluation transformatrice, propulsant l’éducation dans un domaine d’évaluations adaptables et d’amélioration de la qualité. Essentiellement, la notation à l’écran guide l’éducation à l’intersection de la technologie et de la pédagogie, ouvrant la voie à un domaine d’évaluation éclairé.
A propos de l'auteur
Vali Huseyn est une spécialiste de l'évaluation pédagogique qui fournit des conseils d'expert sur la modernisation des étapes clés du cycle de vie de l'évaluation, notamment la rédaction de l'évaluation (banque d'items), l'enregistrement, l'administration, la notation, l'analyse des données et la création de rapports. Il soutient et sert la communauté de l'évaluation par le biais de partenariats stratégiques avec diverses organisations de technologie d'évaluation, organismes de certification et centres de recherche. Il a également joué un rôle déterminant dans le soutien à la modernisation des évaluations à grande échelle au Centre d'examen d'État d'Azerbaïdjan en tant que chef des partenariats stratégiques et chef de l'unité de gestion de projet.
N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.