Il est important d’établir une communication claire, transparente et ciblée pour s’assurer que les évaluations soient perçues comme des expériences positives plutôt que négatives. Dans l’évaluation pédagogique, la validité et la fiabilité des évaluations sont tellement prioritaires en tant que mesures d’assurance qualité importantes que l’importance de la communication dans l’évaluation a été quelque peu négligée. De plus, le langage technique utilisé par de nombreux acteurs du domaine peut manquer de concentration sur la communication, une limitation souvent liée à la nature technique de leur travail. Cela peut rendre difficile l’explication de concepts fiables et valides mais complexes à articuler en termes simples. Nous présentons des cas avec divers scénarios où les ruptures de communication ont conduit à des problèmes importants, allant des incertitudes réglementaires aux dilemmes de confidentialité.

Inspiré par les discussions lors du 7e événement annuel FLIP+, sur le thème "Le rôle de l’IA dans les évaluations nationales et en classe" au Portugal en juin 2024, j’ai décidé d’écrire sur la façon dont le fait de ne pas communiquer efficacement les avantages des intégrations technologiques aux parties prenantes du domaine de l’évaluation, ainsi qu’une focalisation excessive sur les développements technologiques et qualitatifs des évaluations elles-mêmes, peut conduire à un examen public. En mettant l’accent sur la communication avec les parties prenantes du domaine plus tôt, nous pourrions potentiellement réduire les critiques liées au public et favoriser un esprit de collaboration, ce qui améliorerait en fin de compte l’engagement du public et l’acceptation des solutions technologiques dans les évaluations à enjeux élevés.

Cet article explore le rôle essentiel de la communication dans les évaluations à enjeux élevés, en présentant quatre cas pratiques de mauvaise communication et en suggérant des stratégies réactives et préventives.

Mauvaise communication fréquente : scénarios d’évaluations à enjeux élevés

Chaque cas ci-dessous illustre l’importance cruciale de maintenir une communication claire, transparente et opportune entre toutes les parties impliquées dans le processus d’évaluation. Qu’il s’agisse de coordination d’équipe interne, de confiance ou de méfiance activée par l’IA ou d’interactions avec des clients externes, ces exemples mettent en évidence les conséquences des échecs de communication et les stratégies employées pour atténuer ces défis afin d’obtenir de meilleurs résultats dans les milieux éducatifs et professionnels.

Incertitude réglementaire dans les évaluations à enjeux élevés

Nous avons tous rencontré des situations dans la gestion d'évaluations à enjeux élevés où des lacunes en matière de communication sont apparues en raison de l'incertitude, en particulier en raison d'un manque d'informations de la part des régulateurs sur la manière dont les évaluations évolueraient au fil des ans. Cette incertitude rend difficile la préparation stratégique d'un cycle complet d'évaluations et affecte également les candidats qui les passent à long terme.

Stratégies réactives

Lorsque vous êtes confronté à une incertitude réglementaire dans le cadre d’évaluations à enjeux élevés, la première mesure à prendre est d’établir une communication directe avec les régulateurs afin d’obtenir des éclaircissements et des mises à jour sur les changements attendus. Vous pouvez également engager un dialogue continu pour mieux comprendre le domaine réglementaire et plaider en faveur d’un partage d’informations en temps opportun. Pour plus de sécurité, il serait préférable de fournir une communication transparente à toutes les parties prenantes, y compris les candidats, sur les facteurs connus et les changements potentiels, en expliquant comment ils pourraient avoir un impact sur les évaluations. En outre, il est nécessaire de mettre en œuvre des modèles d’évaluation flexibles qui peuvent s’adapter aux changements réglementaires avec un minimum de perturbations. Enfin, il peut être utile de mettre en place un plan d’urgence qui comprend la planification de scénarios pour réagir rapidement aux changements réglementaires soudains, en veillant à ce que des stratégies de préparation et de réponse soient en place pour minimiser l’impact sur le cycle d’évaluation et les candidats.

Stratégies de prévention

La première approche générale pour atténuer l’impact futur des changements réglementaires consiste à suivre les tendances réglementaires et les changements potentiels qui pourraient affecter les évaluations à enjeux élevés, notamment en examinant les mises à jour et en participant activement aux forums du secteur où ces changements sont discutés. De plus, l’établissement de relations solides avec les organismes de réglementation peut faciliter une meilleure communication et fournir des alertes précoces sur les changements, aidant ainsi à anticiper et à s’adapter aux changements attendus. Ensuite, vous pouvez élargir cette sensibilisation en formant vos équipes à la gestion de l’incertitude réglementaire en comprenant le processus et en créant des cadres adaptables, et en favorisant l’agilité organisationnelle pour s’adapter rapidement aux changements réglementaires. Enfin, l’engagement avec d’autres parties prenantes du secteur pourrait aider à former une voix collective capable d’influencer les développements réglementaires, en promouvant des normes et des pratiques qui apportent stabilité et clarté aux procédures d’évaluation.

Transparence et confidentialité dans les évaluations à enjeux élevés

Il existe toujours un dilemme quant à la manière dont nous pouvons être ouverts au public tout en préservant la confidentialité. Prenons un cas impliquant des évaluations à enjeux élevés où les notes limites légales préétablies indiquent qu'environ 70 % des candidats échoueront. Ce niveau d'échec pourrait augmenter considérablement la charge de travail du client en raison d'une augmentation des recours formels, qui font partie de la politique de rapport de l'évaluation.

Une stratégie pour gérer cette surcharge consiste à rendre publiques les questions d'évaluation, ce qui augmente la transparence et réduit potentiellement le nombre de recours de 50 %. Cependant, cette approche signifie également sacrifier la confidentialité des items d'évaluation de haute qualité. En fin de compte, une telle décision dépend du niveau de connaissance et de familiarité des candidats avec les types d’items et leurs pratiques de notation. Un aspect positif de cette politique transparente est qu'elle encourage les anciens et les nouveaux candidats à discuter et à clarifier l'exactitude des questions sur les médias sociaux, ce qui peut être utile pour la compréhension et l'acceptation du public.

Stratégies réactives

En réponse au nombre croissant de recours et d’insatisfactions parmi les candidats, la première étape consiste à améliorer la communication avec toutes les parties prenantes, notamment en organisant des séances d’explications détaillées, des webinaires ou des forums de questions-réponses publics où les candidats peuvent poser des questions et recevoir des éclaircissements directement de la part d’experts. Parallèlement, il est très important de mettre en place une équipe de réponse dédiée pour traiter les recours en temps opportun, en veillant à ce que chaque cas soit examiné rapidement et minutieusement afin de maintenir la confiance. En outre, il est nécessaire d’envisager une diffusion contrôlée de certains items d’examen ou de contenu partiel afin d’équilibrer la transparence avec la nécessité de protéger l’intégrité de l’évaluation, en répondant aux préoccupations spécifiques soulevées par les candidats tout en préservant la confidentialité de la plupart des items.

Stratégies de prévention

La première étape préventive consiste à établir un plan de communication clair décrivant les objectifs de l'évaluation, la méthodologie de notation et la justification des notes de passage bien avant la date de l'examen. Ce plan doit inclure des documents d'information, des ateliers et des simulations qui aident les candidats à comprendre la structure de l'évaluation et le système de notation. En outre, la mise en œuvre d'une politique de communication unifiée qui comprend des mécanismes de rétroaction préventive - où les candidats peuvent exprimer leurs inquiétudes concernant le contenu de l'examen ou la notation avant les appels formels par le biais d'enquêtes préliminaires ou de canaux de rétroaction informels immédiatement après l'examen - pourrait aider à prévenir la pression du public après l'examen. En outre, des révisions et des ajustements réguliers des items et des processus d'évaluation, en fonction des commentaires des candidats et de l'évolution des normes éducatives, démontrent l'adéquation avec les besoins du public, soutiennent la pertinence et l'équité continues, et réduisent ainsi les motifs d'appel. Enfin, chaque événement public doit impliquer les communautés éducatives et les parties prenantes pour promouvoir une compréhension plus large des normes et des pratiques d'évaluation, en utilisant les médias sociaux et les forums professionnels pour faciliter un dialogue ouvert tout en préservant la confidentialité des contenus à enjeux élevés.

Mauvaise communication dans la mise en œuvre de l’évaluation et son impact sur la notation et les délais

Dans notre dernier cas, considérons le scénario dans lequel l’équipe de conception de l’évaluation d’un organisme d’évaluation travaille en étroite collaboration avec le client, comme le ministère ou une institution d’entreprise, et accepte de concevoir les types d’item demandés par l’organisme de réglementation. Cependant, l’équipe de conception de l’évaluation a oublié d’informer l’équipe de réalisation du test du nouveau type d’item demandé par le client, ce qui a fait que l’équipe de réalisation du test n’a pas su que ce nouveau type d’item avait été inclus dans le format du test. Par conséquent, la plateforme de réalisation n’a pas été ajustée pour s’adapter à ce changement, ce qui a conduit à l’administration du test sans les mises à jour nécessaires pour ce nouveau type d’item, ce qui a eu un impact pour l’équipe de notation.

En conséquence, l'examen a été organisé, mais la plateforme de test, non adaptée au nouveau type d'item, n'a pas pu noter les réponses des candidats comme l'exigeait le client. Ce manque de communication a entraîné des retards et un temps supplémentaire consacré à la résolution du problème. Finalement, le problème a été résolu dans un contexte de fortes tensions entre les équipes de conception et de réalisation du test, ce qui a entraîné un retard du côté de l'équipe de notation et les candidats ont dû attendre plus longtemps que le délai initialement annoncé pour obtenir leurs résultats d'examen.

Stratégies réactives

Une fois qu'une erreur est identifiée, l'équipe de réalisation du test doit immédiatement ajuster la plateforme pour prendre en charge le nouveau type d’item, si possible, et communiquer ces changements et tout retard prévu de manière transparente à toutes les parties prenantes. En outre, formez une équipe de résolution composée de membres des équipes de conception, de réalisation et de notation pour traiter et corriger rapidement les écarts de notation. Enfin, ajustez le système de traitement des résultats pour gérer avec précision le nouveau type d’item et présentez des excuses officielles aux candidats, en détaillant les raisons du retard et les mesures correctives prises.

Stratégies de prévention

Pour éviter que de tels cas ne se produisent, il est préférable d’élaborer et de mettre en œuvre un plan de communication complet qui garantit que toutes les équipes sont régulièrement informées de tout changement via des plateformes numériques partagées et des briefings inter-équipes obligatoires. En outre, il serait utile d’établir des protocoles clairs de gestion des changements avec une liste de contrôle pour notifier tous les services concernés et exiger l’approbation des principales parties prenantes avant la mise en œuvre de tout changement. En outre, il serait judicieux d’organiser des sessions de formation régulières pour toutes les équipes afin d’améliorer la compréhension du processus d’évaluation et de ses interdépendances.

Confiance ou méfiance du public envers les solutions basées sur l'IA pour les évaluations à enjeux élevés

Un cas issu de discussions récentes dans les cercles d'évaluation, à la fois lors de la Conférence internationale et des Prix 2024 de l'eAA à Londres et du 7e événement annuel FLIP+ au Portugal, porte sur la perception du public des solutions basées sur l'IA, en particulier sur la question de savoir si les parents sont à l'aise avec le fait que leurs enfants soient surveillés en direct dans des environnements de test à distance lors d'évaluations à enjeux élevés. Cette préoccupation s'étend à la rédaction ou à la notation assistées par l'IA, qui peuvent introduire des biais. Bien que la surveillance humaine dans les décisions finales puisse atténuer les risques associés, le public peut encore ne pas comprendre pleinement le rôle de l'IA dans le processus et s'il est entièrement sûr de faire confiance à l'IA pour des décisions à enjeux élevés affectant l'avenir des enfants. Les régulateurs se demandent désormais comment équilibrer l'exploitation de l'efficacité facilitée par l'IA dans le processus d'évaluation avec les préoccupations concernant la confidentialité, les biais et les risques associés.

Stratégies réactives

Dans le cas décrit ci-dessus, les actions immédiates doivent se concentrer sur l'engagement du public par le biais de forums centrés sur les étudiants, de FAQ détaillées et de séances d'information ciblées pour clarifier le rôle et les processus de l'IA pour les parties prenantes, en particulier les parents et les enseignants. Pour apaiser davantage les inquiétudes, il est utile de présenter des études de cas et des preuves de l'exactitude de l'IA dans la notation et la surveillance, ainsi que de vérifier et d'ajuster rapidement les algorithmes de l'IA, en particulier lorsque des biais sont détectés ou signalés dans des évaluations à enjeux élevés. Enfin, pour une réponse plus systématique, les régulateurs et les organismes d'évaluation doivent collaborer pour garantir que tout traitement des données soit conforme aux lois strictes sur la confidentialité et aux meilleures pratiques.

Stratégies préventives

De manière similaire au mode réactif expliqué ci-dessus, mais en impliquant plus systématiquement les parties prenantes, notamment les éducateurs, les parents et les régulateurs, dès les premières étapes du développement de solutions d’IA, nous pourrions éviter toute méfiance future et tout problème réglementaire. Sur le plan institutionnel, l’établissement de directives très détaillées pour l’utilisation de l’IA dans les évaluations, axées sur les normes éthiques, la transparence et la responsabilisation, peut établir un cadre clair pour les opérations quotidiennes. Parallèlement, investir dans une formation continue pour les créateurs et les utilisateurs d’outils d’évaluation de l’IA sur le renforcement des compétences en IA à différents niveaux favorise une compréhension plus approfondie et une utilisation plus responsable des deux côtés dans les environnements d’évaluation.

Solutions axées sur la technologie : combler les lacunes en matière de communication dans l'évaluation

Les scénarios que nous avons examinés jusqu'à présent nécessitent des solutions systémiques au sein des équipes d'évaluation et de responsabilisation qui peuvent être traitées efficacement avec des approches fusionnées avec la technologie, notamment en termes de communication d'informations à différentes étapes du cycle d'évaluation, qu'il s'agisse de données d'évaluation, de matériel de conception de tests ou de demandes des clients. Le concept de considérer l'évaluation à la fois comme une culture et une structure de responsabilisation, qui a fait écho à la présentation sur le thème de l'évaluation à la responsabilisation lors de la Conférence nationale sur l'évaluation des étudiants 2024, pourrait servir de bonne introduction à cette solution. Ainsi, le flux d'informations bien pensé avec la solution est facilité par des systèmes intuitifs qui minimisent le chevauchement technologique et les complexités d'intégration entre les fonctions opérationnelles. Ces systèmes, construits sur une culture de visualisation des données, une infrastructure de pipeline de données modernisée et des systèmes de gestion des données évolués, ce dernier étant notre objectif principal en raison de son impact systématique sur le cycle d'évaluation.

Évolution de la gestion des données

Les entrepôts de données traditionnels deviennent obsolètes en raison des coûts de maintenance élevés, de la prise en charge limitée de la Business Intelligence (BI) et de la création de rapport, et des capacités limitées de prise en charge des cas d'utilisation modernes de l'apprentissage automatique. En fait, ils manquent de l'évolutivité et de la flexibilité nécessaires pour gérer divers types de données, en particulier avec l'avènement de l'IA générant des données non structurées comme du texte, des images, de la vidéo et de l'audio.

Transition vers les systèmes Lac de Données (Data Lake) et Lakehouse

Les Lacs de Données permettent de traiter des données à grande échelle et d'analyser rapidement des données non structurées. Cependant, ils sont confrontés à des défis tels que l'application de la qualité et de la cohérence des données, ce qui peut rendre difficile l'ajout et la modification des données.

Le Lakehouse apparaît comme une solution qui combine les avantages des lacs de données et des entrepôts. Il facilite l'unification des équipes de données, empêche les données de devenir obsolètes et brise les silos de données, intégrant efficacement les équipes d'évaluation et de données. Ce modèle hybride prend en charge les prévisions, le traitement des données en temps réel, l'évolutivité flexible et la gestion des données brutes dans n'importe quel format, ouvrant la voie à un environnement d'évaluation plus intégré et plus efficace.

Enfin, en tirant parti de ces solutions technologiques, les organisations peuvent combler les lacunes de communication au sein du processus d'évaluation, favorisant ainsi un environnement plus collaboratif et plus efficace pour toutes les parties prenantes impliquées.

L'avenir des lignes de communication dans le contexte de l'évaluation

En conclusion, nous pouvons reconnaître que les lignes de communication – les stratégies et les plans entourant la communication des résultats d’évaluation et l’entretien d’une culture de communication autour de création de rapport– sont devenues plus importantes qu’il y a cinq ans, lorsque la confiance du public était moins perturbée par l’absence de technologie dans les processus d’évaluation. Étant donné que les progrès technologiques remettent en question les méthodes traditionnelles d’évaluation, nous devons appliquer la technologie pour répondre à ces défis. Par conséquent, l’intégration de la technologie, y compris les systèmes de gestion de données avancés tels que les lacs de données et les maisons de lacs qui prennent en charge le traitement complet des données tout au long du cycle d’évaluation, et l’utilisation de pipelines de données modernisés ainsi que le développement de solutions intuitives et axées sur la technologie, peuvent contribuer directement à établir une communication claire, opportune et efficace au sein du cycle d’évaluation. De telles solutions technologiques avancées non seulement rationalisent les processus, apportent de la transparence et favorisent la collaboration, mais permettent également une adaptation continue aux changements éducatifs et technologiques, surmontant les obstacles traditionnels pour créer un système d’évaluation plus intégré, efficace et transparent qui profite à toutes les parties prenantes.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapport rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Découvrez des pratiques guidées pour moderniser les évaluations et obtenez des informations sur l'avenir des évaluations éducatives en vous connectant avec Vali sur LinkedIn.

---