Survol de l’impact d’items améliorés par la technologie

Les évaluations à grande échelle peuvent être fastidieuses et stressantes pour les candidats, mais les développeurs de tests peuvent changer cela en créant des évaluations engageantes, efficaces et fournissant des informations plus approfondies sur la capacité de réflexion supérieure des étudiants. Dans un article précédent, j’ai exposé les raisons justifiant la réalisation d’évaluations d’élèves à grande échelle et proposé un résumé de haut niveau des nombreux avantages de les réaliser au format numérique. Cet article explique comment les évaluations peuvent être améliorées pour les rendre plus attrayantes et efficaces pour les candidats. Mais d’abord un peu de contexte.

Il y a plusieurs années, lorsque l'Office de la qualité et de la responsabilité en éducation (OQRE) a testé l'évaluation informatisée dans les écoles de la province, les premiers tests étaient composés de tests à choix multiples typiques, ainsi que de tests à réponse courte et de réponses ouvertes plus longues. Essentiellement, les questions présentées sur papier ont été directement converties pour être répondues sur ordinateur. Au cours de plusieurs mois, le personnel de l'OQRE a visité des écoles pour observer les essais d'administration des évaluations informatisées et faire des conversations de suivi avec le personnel scolaire et les étudiants pour connaître leurs réactions à la nouvelle approche. Même avec ces tests rudimentaires sur ordinateur, les étudiants étaient très motivés. Je me souviens d'un cas où un enseignant a pointé du doigt un élève avec étonnement. Le garçon, généralement désengagé par l’école, était complètement absorbé par l’expérience de passer le test. Dans l’ensemble, les étudiants étaient enthousiastes à l’idée de passer une évaluation sur ordinateur, et beaucoup d’entre eux ont été déçus lorsqu’ils ont appris que nous ne reviendrions pas le lendemain pour administrer à nouveau les évaluations!

Depuis ces débuts, l’initiative de modernisation des évaluations de l’OQRE a considérablement évolué. En passant aux évaluations informatisées en ligne, l'Agence a pu s'éloigner des questions simples, unidimensionnelles, à choix multiples et à réponse ouverte. Cette transition a donné l'opportunité d'élargir la gamme de types d'items, qui sont non seulement intéressants pour les étudiants, mais peuvent également améliorer l'efficacité des évaluations en permettant aux candidats de mieux démontrer ce qu'ils savent et ce qu'ils peuvent faire. Les options multimédias telles que des cartes, des diagrammes, des photographies, des animations, des vidéos et des fichiers audios, ainsi que des items améliorés par la technologie, y compris des simulations de type jeu, améliorent encore l'engagement et peuvent présenter aux étudiants des situations du monde réel à partir desquelles ils peuvent montrer leurs connaissances, leurs compétences et leurs capacités. 

Évaluation Formative multilingue pour le succès des étudiants

Plusieurs autres juridictions ont transitionné aux évaluations numériques pour rendre leurs tests plus efficaces et effectifs et pour renforcer l’engagement des étudiants. En réponse à une population scolaire hétérogène et multilingue croissante et à une volonté de promouvoir la sensibilisation au numérique, le ministère de l'Éducation nationale, de l'Enfance et de la Jeunesse (MENJE) du Luxembourg a lancé un programme appelé MathemaTIC en collaboration avec son partenaire technologique, Vretta. L’éducation numérique avait pour but de préparer les étudiants à apprendre, à vivre et à travailler dans le monde global du 21^e siècle, caractérisé par une utilisation croissante de nouvelles technologies, et d’explorer les façons d’utiliser la technologie en tant que partie intégrale d’un enseignement et apprentissage de qualité.

Le programme est un environnement d'apprentissage personnel qui offre aux élèves de 10 et 11 ans (5e et 6e années) une expérience d'apprentissage engageante, comprenant des ressources mathématiques numériques en allemand, français, portugais et anglais, pour développer une base solide et confiance en les mathématiques. Ce système d'évaluation intégré, adapté aux besoins individuels des étudiants, offre aux étudiants un retour d'information continu, immédiat et à faibles enjeux ainsi qu'un soutien de rattrapage alors qu'ils travaillent sur une carte de module personnalisée (comme indiqué dans le diagramme) à leur propre rythme.

MathemaTIC contient des items/tâches mathématiques interactifs, visuels, audio et vidéo. Ces items/tâches sont divisés en modules d'apprentissage du programme, où chaque module commence par une évaluation diagnostique de 10 minutes pour déterminer les connaissances et les capacités de l'étudiant en ce qui concerne le contenu. Les résultats de l’évaluation diagnostique déterminent la séquence d’items/tâches présentés à l’apprenant (modèle adaptatif). (Des activités supplémentaires peuvent également être proposées par l'enseignant.) Le programme peut être utilisé en groupe/en classe, ou les élèves peuvent travailler individuellement sur le programme à leur propre rythme. Après chaque module d'apprentissage, le système présente une évaluation sommative de 10 minutes que l'enseignant peut administrer à l'ensemble de la classe. Le suivi des résultats et des progrès des élèves au fil du temps permet aux enseignants, aux élèves et aux parents de comprendre où en sont les élèves par rapport à leur parcours d'apprentissage.

MathemaTIC possède un large éventail d’outils, incluant l’efface standard, un surligneur, zoomer/dézoomer, une calculatrice et un cahier de note. Voici quelques exemples d’autres outils utiles :

Une large variété de types d’item sont offert pour les mathématiques, en plus du standard glisser/déposer, items à choix multiples, et items de réponse à saisie numérique et ouverte. Voici quelques autres exemples de format innovant :

Un assortiment d’item de commentaires sont disponibles en mathématiques. Voici quelques exemples :

Il est également intéressant de noter qu’à compter de l’année scolaire 2024-25, les enfants du préscolaire (3 à 5 ans) seront initiés à un nouveau programme appelé MATHI. Les éducateurs du pays reconnaissent qu’à partir de 8/9 ans, les déficits en mathématiques, acquis dans les premières années, sont difficiles à combler. MATHI, qui prendra initialement la forme d’activités et de ressources sur papier, vise à susciter des attitudes positives des élèves à l’égard des mathématiques, alors qu’ils n’ont pas peur/entravés par la matière. Le programme sera à terme étendu aux élèves de 10/11 ans et les applications numériques seront progressivement introduites.

Quand la didactique rencontre la science des données : France

Face à l'intérêt croissant pour les items améliorés par la technologie, la Direction de l'évaluation, de la prospective et de la performance (DEPP) du ministère français de l'Éducation nationale a mené une étude incluant l'analyse des données de journal capturées lors de l'utilisation d'un items améliorés par la technologie qui a été développée en collaboration entre leur partenaire technologique, Vretta, et SCRIPT du ministère luxembourgeois pour l'évaluation CEDRE. Il s’agissait d’identifier comment les items améliorés par la technologie fournissent un aperçu des approches des étudiants pour résoudre les problèmes et de leurs stratégies de processus.

Pour leur étude, ils ont choisi l’items améliorés par la technologie « Croissance des arbres » (comme indiqué dans le diagramme) avec un échantillon de 3 000 élèves de 9e année, où les élèves entrent l'âge de l'arbre en mois dans le tableau. Un outil de calcul renvoie les hauteurs d'arbre correspondantes et un outil graphique repère les points dans le graphique.

Le résultat de l'étude a montré que les informations sur des compétences de niveau supérieur telles que la résolution de problèmes, l'élaboration d'une stratégie et la réalisation d'une réflexion mathématique, recueillies à partir des données du journal de réponses des élèves, aideraient les enseignants à mieux soutenir les élèves dans leur apprentissage. Ce profil qualitatif, basé sur le modèle stratégique des élèves dans la résolution des items améliorés par la technologie, ajouterait de la valeur au retour d’information national qui peut être fourni aux enseignants qui seraient en mesure de différencier l’enseignement en classe en fonction du profil cognitif de chaque élève.

Conclusion

L'utilisation d'une gamme élargie de types d’items (y compris les options multimédias et les items améliorés par la technologie) présente aux étudiants des situations authentiques et réelles à partir desquelles les éducateurs et les administrateurs peuvent acquérir un aperçu plus approfondi de nombreuses compétences du 21e siècle qui sont traditionnellement difficiles (ou impossibles) à recueillir à partir de types d’items standard (ou de tests sur papier). De plus, les évaluations peuvent être développées de manière qu’elles soient engageantes pour l’apprenant. Dans le cas de MathemaTIC, des indications ont montré que les étudiants et les enseignants luxembourgeois sont enthousiastes et gagnent en valeur dans la compréhension des compétences de haut niveau de leurs étudiants, qui incluent la pensée critique et la capacité d'évaluer et d'analyser des problèmes du monde réel ; cela est de bon augure pour la réussite du projet. À mon avis, on peut dire la même chose des projets de modernisation de l'évaluation récemment mis en œuvre dans les provinces canadiennes de la Colombie-Britannique, de l'Alberta, de l'Ontario et du Nouveau-Brunswick.

A propos de l'auteur

Le Dr Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique et de l’évaluation de programmes à grande échelle et travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de haute direction au sein de l'Office de la qualité et de la responsabilité en éducation (OQRE) en Ontario, ainsi qu'au sein des ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces rôles, il était responsable des initiatives liées à l'évaluation des étudiants, des programmes et du curriculum ; indicateurs de qualité de l'éducation ; planification de l'amélioration des écoles et des conseils scolaires; accréditation scolaire; et des tests provinciaux, nationaux et internationaux.

Le Dr Jones a débuté sa carrière comme éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une société multinationale basée aux États-Unis fournissant des services de conseil au Moyen-Orient.

N'hésitez pas à contacter Rick à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et/ou d'évaluation de programme.

[1] Jones, RM (2023, août). Valeur des évaluations en ligne à grande échelle des étudiants. Article préparé pour l'International e-Assessment Association (eAA), consulté sur https://www.e-assessment.com/news/value-of-large-scale-online-studentassessments/#:~:text=For%20education %20autorités%20et%20parties prenantes,responsabilité%20et%20système%20amélioration%20objectifs.

[2] Des exemples d'évaluations pour la 3e année sont accessibles à l'adresse : https://d3d9vqrpii4nuo.cloudfront.net/#/en/student/primary-assessment ; pour la 6e année : https://d3d9vqrpii4nuo.cloudfront.net/#/en/student/junior-assessment ; pour la 9e année : https://dwod99k06nyqh.cloudfront.net/#/en/test-auth/g9-sample/340/adaptive ; et pour la 10e année : https://d1c1qqn86e6v14.cloudfront.net/#/en/student/osslt-assessment/sample/573.

[3] Kafai-Afif, A. et Bertemes, J. (novembre 2016). Évaluation des élèves à faibles enjeux pour la réussite des élèves : un environnement d'apprentissage personnalisé en mathématiques pour améliorer les résultats et lutter contre les inégalités. Extrait le 1er avril 2024 de : https://www.researchgate.net/publication/309858388_LOWSTAKES_STUDENT_ASSESSMENT_FOR_STUDENT_SUCCESS_A_PERSONALISED_LEARNING_ENVIRONMENT_IN_MATHEMATICS_TO_RAISE_ATTAINMENT_AN D_TACKLE_INEQUITY/link/5825864008aeebc4f8 a194e9/download?_tp=eyJjb250ZXh0Ijp7ImZpcnN0UGFnZSI6InB1YmxpY2F0aW9uIiwicGFnZSI6InB1Y mxpY2F0aW9uIn19

[4] Modules d'apprentissage du programme MathemaTIC : https://mathematic.org/curriculum

[5] L'auteur tient à remercier Vretta pour avoir partagé des informations sur les exemples d'outils, de types d'éléments et de types de commentaires utilisés dans le programme MathemaTIC, qui est un projet collaboratif avec SCRIPT (Service de Coordination de la Recherche et de l'Innovation pédagogiques et technologiques), ministère de l’Éducation Nationale, de l'Enfance et de la Jeunesse du Luxembourg.

[6] Ministère luxembourgeois de l'Éducation nationale, de l'Enfance et de la Jeunesse (19 mars 2024). MATHI – une nouvelle série d'enseignement des mathématiques. Communiqué de presse. Consulté le 13 avril 2024 sur : https://gouvernement.lu/en/actualites/toutes_actualites/communiques/2024/03-mars/19-meisch-mathi.html

[7] Salles, F., Santos, RD et Keskpaik, S. (2020, décembre). Quand la didactique rencontre la science des données : traiter l’analyse des données dans l’évaluation des mathématiques à grande échelle en France. Extrait le 1er avril 2024 de : https://www.researchgate.net/publication/341738713_When_didactics_meet_data_science_process_data_analysis_in_largescale_mathematics_assessment_in_France.

[8] CEDRE (cycle d’évaluation par échantillon lié à une matière) est une évaluation à grande échelle par sondage qui vise à mesurer les capacités des élèves en mathématiques à la fin de la 9e année, tous les cinq ans en France.

---