31 juillet 2023
S’inscrire au Vretta Buzz
A l’aube d’une nouvelle ère passionnante dans le domaine de l’éducation, nous commençons à utiliser des technologies d’IA plus avancées, notamment dans le domaine des évaluations. Cette transformation, comme le soulignent les lignes directrices éthiques de l'UE sur l'utilisation de l'intelligence artificielle (IA) et des données dans l'enseignement et l'apprentissage des éducateurs (2022) et les orientations de l'UNESCO sur l'IA et l'éducation (2021), ne consiste pas seulement à remplacer les vieux stylos et la méthode papier avec une nouvelle technologie brillante. En fait, il s’agit d’une métamorphose totale de notre approche d’évaluation à partir de la base.
Selon les principes d’IA de l’OCDE (2019), l’IA utilise les données passées et beaucoup de pourvoir de calcul pour faire des prédictions éduquées. Pour accomplir cela, l’IA dépend de sa grande base de données ou un environnement cohérent pour faire des expériences répétées. Cette approche permet aux évaluations basées sur la technologie d’utiliser les données historiques des candidats pour créer des modèles qui peuvent compléter les performances humaines dans des tâches telles que la création d'items d'évaluation, l'identification de préjugés potentiels dans les réponses et la notation de données complexes à partir de rédaction ou d'évaluations basées sur des jeux. Ces avancées sont conformes aux lignes directrices pour l’évaluation basée sur la technologie (2022) de la Commission Internationale des Tests et de l’Association of Éditeurs de Tests.
Dans cet article, nous explorons les nombreuses façons dont l’IA crée le changement, depuis la façon dont nous créons et gérons les évaluations jusqu’à la façon dont nous notons les réponses et fournissons des commentaires complets. Mais l’influence de l’IA ne s’arrête pas aux évaluations. Il peut également décoder de nombreuses données d’évaluation, offrant ainsi une expérience d’évaluation sur mesure à chaque étudiant. Si l’IA offre de nombreux avantages, il est essentiel de les équilibrer avec des préoccupations cruciales telles que la confidentialité et l’équité. Nous approfondirons donc également l’aspect éthique de l’utilisation de l’IA dans l’évaluation et discuterons des moyens de résoudre ces problèmes de manière responsable. Enfin, nous jetons un coup d’œil sur l’avenir, en réfléchissant aux développements potentiels que l’IA pourrait apporter au paysage de l’évaluation. Alors, préparez-vous pour un voyage passionnant dans le monde de haute technologie de l’IA en matière d’évaluation pédagogique.
L'IA dans les évaluations : une perspective scolaire
L’intégration de l’IA dans l’éducation révolutionne le fonctionnement à l’école, offrant des avancées remarquables notamment dans le domaine de l’évaluation pédagogique. Au lieu d'enseigner à chaque élève de la même manière, les évaluations adaptatives basées sur l'IA permettent désormais aux écoles de personnaliser les cours pour répondre aux besoins uniques de chaque élève, favorisant ainsi des parcours d'apprentissage plus engageants et efficaces. Les enseignants commencent à considérer « l'IA en éducation comme un instrument pédagogique » plutôt que comme un instrument de remplacement, utilisant ces outils pour fournir des commentaires en temps réel et mieux comprendre la confiance et la motivation de leurs élèves (Selwyn, 2021 ; Luckin et al., 2016).
Les évaluations adaptatives basées sur l’IA constituent une application essentielle. Bien que l'évaluation adaptative, une méthode permettant de modifier la difficulté des questions en fonction des réponses d'un candidat, soit utilisée depuis un certain temps, l'avènement de la technologie de l'IA a considérablement amélioré ses capacités. Plutôt que de simplement ajuster la difficulté des questions, l’évaluation adaptative basée sur l’IA peut analyser le processus utilisé par un élève pour arriver à une réponse, identifier les hésitations éventuelles et comprendre les types d’erreurs commises. Cette capacité à apprendre de chaque interaction permet à l'IA de fournir une compréhension plus personnalisée et nuancée du style d'apprentissage d'un élève. Ainsi, même si l’évaluation adaptative est fréquente, l’IA a élargi et affiné son potentiel pour répondre plus efficacement aux besoins d’apprentissage individuels.
En outre, la mise en œuvre du traitement du langage naturel basé sur l’IA transforme considérablement le processus de notation des évaluations subjectives. Il améliore la précision et l'efficacité de la notation dans les évaluations sommatives, permet aux étudiants de bénéficier d'un retour d'information en temps réel dans les évaluations formatives et aide les éducateurs à identifier les lacunes d'apprentissage individuelles grâce à des évaluations diagnostiques. Cette évolution de la notation fournit des commentaires approfondis et complets aux étudiants tout en libérant du temps aux enseignants pour qu'ils puissent se concentrer sur la croissance et le développement global de leurs étudiants.
De plus, dans son livre The Fourth Education Revolution, Anthony Seldon souligne que l'IA ne se fatigue pas et n'est pas frustrée si un élève met plus de temps à comprendre un concept, et qu'elle est disponible chaque fois que nécessaire. Cette évaluation continue par l'IA capture plus qu'un simple instantané de la compréhension d'un étudiant, réduisant potentiellement le besoin d'examens de fin de cours. En fin de compte, l'IA facilite des parcours d'apprentissage personnalisés qui répondent aux besoins spécifiques de chaque élève, remodelant ainsi l'évaluation pédagogique pour fournir des méthodes d'évaluation plus adaptées et plus efficaces aux étudiants et aux enseignants.
Malgré l'immense potentiel de l'IA dans les évaluations pédagogiques, l'un des obstacles auxquels l'IA sera confrontée est la numérisation incomplète ou le manque de numérisation du processus d'apprentissage et d'évaluation en milieu scolaire, ainsi que le manque de culture numérique des éducateurs et des apprenants, qui nécessitent tous deux le soutien institutionnel, l’adhésion lors de l’élaboration des politiques stratégiques et, par conséquent, la confiance du public. Si ces objectifs ne sont pas atteints, il pourrait devenir irréaliste d’exploiter pleinement tous les avantages de l’IA mentionnés dans cet article.
L’IA joue un rôle important dans la modification de la façon dont les formulaires de test sont créés, rendant le processus plus efficace et innovant. Dans le passé, les enseignants créaient manuellement des items d’évaluation sur papier ou sur des documents Word. Désormais, grâce à l’IA, le processus est amélioré grâce à l’utilisation de la technologie pour créer automatiquement des questions, notamment un distraction-générateur. En pratique, les algorithmes basés sur l'IA analysent les banques de questions existantes, trouvent des modèles et créent de nouvelles questions basées sur certaines règles ou modèles et génèrent même de nouveaux contenus et images visuelles. Cela aide les développeurs d'items à travailler plus efficacement et à générer un certain nombre d'items à une vitesse plus élevée. L'IA peut également choisir et combiner des items d'une banque d'items pour créer des formulaires de test personnalisés, en tenant compte d'éléments tels que le niveau de difficulté et la couverture du contenu. Ce type d'automatisation facilite l'assemblage des tests et garantit une évaluation bien représentée. De plus, l’IA aide à valider les items d’évaluation en vérifiant leur qualité et leur fiabilité. Il peut détecter des problèmes tels que des questions biaisées ou des performances incohérentes, ce qui rend les tests plus fiables. En outre, l’IA transforme les rôles et les compétences des humains impliqués dans le processus, en soulignant l’importance de comprendre la technologie de l’IA parallèlement aux connaissances traditionnelles en matière de contenu et aux compétences en rédaction d’items. Enfin, une assurance qualité basée sur l’humain doit toujours être en place dans les pratiques de construction de tests basées sur l’IA afin d’éviter tout problème de fiabilité et de validité d’utilisation. En combinant les capacités de l'IA avec l'expertise humaine, nous pouvons garantir que les tests répondent à des normes élevées et maintiennent leur intégrité.
L’IA remodèle la façon dont nous gérons les tests, portant l’efficacité à de nouveaux sommets. Vous souvenez-vous de l'époque où les surveillants et les superviseurs agissaient comme des « gardiens » contre la tricherie lors des tests sur papier et sur ordinateur ? Désormais, grâce à l'administration des tests basée sur l'IA, ces rôles ont évolué vers des analystes stratégiques, tirant parti de la vision numérique et de la détection automatisée des collusions pour planifier efficacement les ressources et identifier les irrégularités dans l'environnement de test numérique à l'aide d'outils d'analyse du comportement. De plus, les technologies d’assistance de synthèse vocale peuvent aider à former les surveillants et les superviseurs, garantissant ainsi leur préparation au domaine dynamique des tests alimentés par l’IA. Avec ce changement, les exigences liées à ces rôles évoluent également. Être expert en technologie devient progressivement plus compétitif, à mesure que la capacité à naviguer dans ces nouveaux outils devient plus essentielle. De plus, l'IA offre bien plus, comme l'apprentissage automatique et l'apprentissage profond, qui aident dans de nombreux aspects de l'administration des tests. Celles-ci incluent la planification des tests, la sélection des surveillants, l'analyse des performances, la formation des surveillants et des superviseurs, et même la détection des erreurs avant qu'elles ne se produisent. Dans l'ensemble, en tirant parti des capacités de l'IA ainsi que du jugement humain en matière de planification, de surveillance, d'analyse des performances et de formation, nous pouvons ouvrir la voie à des pratiques d'administration des tests plus efficaces, fiables et équitables.
En matière de notation et de feedback automatisés, l’IA fonctionne comme un outil avancé qui évalue efficacement les réponses des étudiants, y compris les plus complexes, car elle utilise des algorithmes sophistiqués formés sur un vaste ensemble de données de réponses notées par des humains. Concrètement, les équipes de technologie d'évaluation conçoivent ces algorithmes capables de comprendre les nuances de contexte, de syntaxe et de sémantique, leur permettant d'évaluer de nouvelles réponses avec une précision similaire grâce à des méthodes telles que le marquage automatisé basé sur les caractéristiques des réponses et les données de processus, et la notation automatisée des dissertations. Surtout, l'IA offre également des commentaires personnalisés et opportuns, mettant en évidence les points forts et les domaines à améliorer de l'étudiant. Cette approche accélère non seulement le processus de notation, mais éclaire également les stratégies d'apprentissage personnalisées, améliorant ainsi la croissance et la compréhension des élèves.
Comparé au passé, où il existait des rapports de performance des élèves ou des cartes d'évaluation indiquant soit un score, soit des informations générales avec peu de personnalisation, la notation et les commentaires basés sur l'IA aboutissent à des rapports complets sur les évaluations et le potentiel d'apprentissage. Ainsi, l’IA apporte une mise à niveau majeure aux rapports d’évaluation. Au lieu d'un simple score, nous sommes désormais en mesure d'approfondir la façon dont un élève comprend et gère différentes tâches. C'est comme avoir un détective à nos côtés, trouver des modèles, suivre les progrès et donner une image claire des forces et des faiblesses d'un élève. Ces rapports détaillés sont très utiles tant pour les étudiants que pour les enseignants. Ils guident les stratégies d'apprentissage et d'enseignement, en veillant à ce que le temps de chacun soit utilisé de manière efficace et efficiente. En bref, il s’agit d’une prise de décision fondée sur des données probantes et axée sur l’amélioration de l’apprentissage.
L’IA a révolutionné l’analyse des tests en fournissant un moyen avancé de traitement rapide et précis de nombreuses données de test. Il identifie les tendances, les modèles et les corrélations, améliorant ainsi considérablement la conception des tests et notre compréhension des interactions entre les apprenants. De plus, les informations générées par l’IA contribuent à adapter plus précisément les résultats d’apprentissage, optimisant ainsi les expériences et les résultats éducatifs. Considérez l’IA dans l’analyse des tests comme un expert perspicace, observant, analysant et fournissant sans cesse des connaissances précieuses pour façonner des stratégies et des résultats d’apprentissage supérieurs. Grâce à l'intégration de la visualisation des données de processus, de la théorie des réponses aux items aux sources ouvertes et des stratégies d'optimisation, dans la pratique, l'analyse des tests basée sur l'IA convertit les données de journal en visualisations de données et visualise l'activité des étudiants sans les délais associés à la mise en mémoire tampon vidéo.
Alors que nous explorons le potentiel de transformation de l’IA dans l’analyse des tests, il est essentiel de prendre en compte les données que nous collectons pour former en permanence les moteurs d’IA afin d’améliorer leurs performances. Nous devons donc traiter ces données avec la plus grande prudence, en veillant à préserver la vie privée de nos étudiants et à utiliser correctement les informations. Fondamentalement, l’IA apprend des données que nous lui fournissons, et si ces données sont biaisées, la notation de l’IA pourrait également l’être. Alors que nous adoptons l’IA dans l’évaluation pédagogique, le respect de règles et de stratégies bien pensées nous guidera pour maximiser ses avantages tout en garantissant une utilisation éthique et responsable.
À mesure que l’IA devient partie intégrante des évaluations pédagogiques, diverses règles et lignes directrices ont émergé pour garantir une mise en œuvre responsable et éthique. Ces règles servent de base à l’élaboration d’une stratégie globale d’IA dans le domaine de l’évaluation. Les organisations et les institutions ont établi des principes qui mettent l’accent sur l’équité, la confidentialité, la transparence et la responsabilité lors de l’utilisation de l’IA. En adhérant à ces règles, les enseignants et les professionnels de l’évaluation peuvent établir une base solide pour leur stratégie d’IA, favorisant un équilibre entre innovation et pratiques responsables.
Il y a eu de nombreuses discussions sur l'importance des lignes directrices éthiques autour de l'utilisation de l'IA, les leaders technologiques ont même appelé à arrêter les développements ultérieurs de l'IA pour rattraper leur retard en développant un cadre réglementaire approprié, comme le souligne une enquête – Perspectives des Directeurs des Risques principaux : juillet 2023. Certaines entreprises ont déjà commencé à rédiger des lignes directrices initiales concernant les règles d'utilisation de l'IA, à la fois de manière générale et spécifique dans l'éducation et les évaluations. Des entreprises comme Microsoft ont élaboré leurs propres règles pour développer l’IA de manière responsable, qui incluent des éléments tels que l’équité, la confidentialité et la sécurité des données, l’inclusion, la transparence et la responsabilité. De même, les universités du Russell Group, qui comptent parmi les meilleures universités du Royaume-Uni, ont élaboré des lignes directrices sur la manière d'utiliser l'IA dans l'éducation, qui visent à aider les gens à comprendre l'IA, à l'utiliser de manière éthique, à maintenir les normes académiques et à partager de bonnes méthodes d'utilisation de l'IA à mesure qu'ils évoluent.
Dans le monde de l’évaluation, il existe l’approche de Cambridge, qui favorise la surveillance humaine, l’utilisation de données diverses et le caractère personnel et transparent. Le comité d'examen britannique, AQA, voit également le potentiel de l'IA, mais souligne que les gens doivent faire confiance au système et qu'il doit y avoir de la transparence et de la responsabilisation. Dans le même ordre d’idées, selon une étude de Cesare Aloisi (2023), la recherche suggère que les défis liés à l’utilisation de l’IA dans des examens importants, tels que le manque de fiabilité, les biais et le manque de clarté, peuvent réduire la confiance dans le système, et suggère de remédier à ces problèmes en intégrant des règles claires en matière d’IA dans les politiques d’évaluation de haut niveau, en plus d’adopter l’équité, l’exactitude et l’explicabilité tout au long du processus. En tant que personnes travaillant à l’intersection de l’évaluation pédagogique et de la technologie, notre travail ne consiste pas seulement à inclure l’IA dans nos processus. À mesure que les règles et les lignes directrices autour de l’IA changent constamment, il est important d’avoir un plan directeur bien pensé pour son utilisation.
Dans cette optique, l’élaboration d’une stratégie d’IA est une étape clé dans l’utilisation prudente et systématique des outils d’IA dans les applications d’évaluation. Par exemple, la stratégie d’IA de Vretta consiste à améliorer de nombreux aspects du cycle d’évaluation. Cela comprend un copilote de création d'IA pour soutenir les développeurs d'items, une validation automatisée des items pour expérimenter différents types d'items améliorés par la technologie via des simulations, un assemblage de tests automatisé pour produire des formulaires uniques et équivalents, une détection automatisée de collusion pour identifier les étudiants qui utilisent des outils d'IA générative. (comme ChatGPT) pour répondre aux questions sur un test, traiter la visualisation des données et les pipelines de données modernisés pour aider les psychométriciens dans leur processus d'analyse des données, et bien d'autres applications d'apprentissage automatique, de systèmes experts, de vision par ordinateur et de techniques d'IA de reconnaissance vocale.
Enfin, pour garantir un équilibre entre innovation et responsabilité, il est essentiel que la stratégie d’IA soutienne l’intégrité du jugement des experts, soutienne le développement d’expériences d’évaluation de haute qualité (et cohérentes), protège la confidentialité et la sécurité des informations personnelles et renforce efficacité opérationnelle. Tous ces éléments visent à rendre le processus d’évaluation plus équitable, plus respectueux des considérations éthiques et plus efficace.
L’avenir de l’IA dans l’évaluation des étudiants s’annonce plutôt passionnant ! En regardant vers l’avant, l’avenir de l’IA dans les tests pédagogiques est rempli de possibilités :
L'IA pourrait devenir l'assistante pédagogique d'un enseignant, l'aidant à comprendre comment chaque élève apprend, offrant de nouvelles perspectives et aidant à donner un feedback personnalisé.
Imaginez une évaluation qui peut non seulement vérifier vos réponses, mais également comprendre comment vous y êtes parvenu, les moments d'incertitude que vous avez vécus et les erreurs que vous avez commises - ces interactions avec vous créent une compréhension unique de la façon dont vous apprenez.
Pensez à une IA qui devient encore plus intelligente, en devinant les sujets que vous pourriez trouver délicats et en vous informant afin que vous puissiez vous entraîner avant que cela ne devienne un problème et minimiser les cas d'anxiété potentiels.
Imaginez une journée qui commence avec la réalité virtuelle et augmentée utilisée lors de différentes occasions d'apprentissage, et nous voyons fréquemment des tests où les étudiants ont l'impression d'être dans une méta-réalité à travers un jeu, comme s'ils se trouvaient dans une situation réelle.
Aussi sophistiquée soit-elle, l’objectif principal de l’IA dans l’évaluation sera toujours d’améliorer l’apprentissage, de rendre le processus d’évaluation plus précis et de garantir à chaque élève une chance équitable.
En conséquence, l’IA change vraiment la donne en matière d’évaluations pédagogiques. Cela rend sûrement la création et la gestion des évaluations plus faciles, la notation plus rapide et plus personnelle, et nous aide à mieux comprendre nos étudiants. L’IA contribue également à résoudre les problèmes socio-technologiques au sein du cycle d’évaluation. Mais avec tous ces développements intéressants, nous devons nous avertir d’appliquer l’IA de manière juste et sûre, éventuellement en faisant en sorte que les jugements humains complètent le travail que nous effectuons avec les transformations basées sur l’IA et en adoptant des actions stratégiques cohérentes autour de celle-ci. À l’avenir, l’IA sera encore plus intégrée dans l’éducation, mais nous devons simplement rester toujours concentrés sur l’amélioration de l’apprentissage, l’amélioration des évaluations et la possibilité pour chacun d’avoir une chance équitable.
Vali Huseyn est un spécialiste de l'évaluation pédagogique possédant une vaste expérience dans l'amélioration des phases clés du cycle de vie de l'évaluation, notamment la création d’items (banque d’items), l'enregistrement, l'administration, la notation, l'analyse des données et des rapports. Son travail implique une collaboration stratégique avec une gamme de fournisseurs de technologies d'évaluation, d'autorités de certification et d'instituts de recherche, contribuant ainsi à l'avancement de la communauté de l'évaluation. Au Centre d'examen d'État d'Azerbaïdjan, Vali a joué un rôle crucial dans la modernisation des évaluations locales à grande échelle. En tant que chef des partenariats stratégiques et responsable de l'unité de gestion de projet, il a co-mis en œuvre plusieurs projets de développement régional axés sur l'apprentissage et l'évaluation dans la région post-soviétique.
N'hésitez pas à vous connecter avec Vali sur LinkedIn (https://www.linkedin.com/in/valihuseyn/) pour en savoir plus sur les meilleures pratiques de transition vers un environnement d'évaluation en ligne.