La formation est souvent perçue comme un pouvoir secondaire et reçoit souvent moins d’attention dans les sphères d’évaluation, généralement éclipsée par l’utilisation du langage technique et les pressions de responsabilité politique dans le système éducatif, et souvent réduite à de simples instructions écrites sur le lieu de travail. Si la formation est une forme d’apprentissage qui se mesure par l’évaluation, le processus de réalisation des évaluations lui-même peut également être amélioré par une formation ciblée. D’une certaine manière, la formation imprègne tous les aspects de l’évaluation, soulignant son importance et la nécessité de développer la bonne attitude envers la formation pour réussir dans le domaine de l’évaluation. Ainsi, développer cette attitude envers la formation qui contribue à la fois à l’excellence de la mise en œuvre de l’évaluation au sein du cycle et à la nature formative de l’évaluation est un art de créer un équilibre, dirigé par la direction de l’organisation.

Récemment, Oxford, Cambridge et RSA Examinations (OCR) ont publié un rapport intitulé "Striking the Balance^[1]" (Trouver l’équilibre en Français) discutant de la nécessité d’une réforme des programmes et des examens, en mettant l’accent sur l’équilibre entre la charge d’apprentissage et l’intensité des examens et en préconisant des changements dans les formes d’évaluation. L’équilibre entre l’apprentissage et l’évaluation peut nécessiter une formation ciblée pour que les enseignants puissent adapter leurs méthodes d’enseignement et d’évaluation, et pour que les administrateurs d’évaluations puissent reconsidérer la meilleure façon de mesurer les compétences de réflexion de niveau supérieur par le biais des évaluations. De plus, l’utilisation accrue de la technologie dans les domaines de l’apprentissage et de l’évaluation, alimentée par les applications technologiques, accroît la nécessité pour les professionnels multidimensionnels et pour les organismes d’évaluation de se concentrer sur des programmes de formation qui aident à améliorer les compétences de leur personnel impliqué dans tous les aspects de la formation dans le contexte de l’évaluation.

Dans cet article, nous nous concentrons d’abord sur l’explication de ce qu’il faut pour créer une culture de formation, puis nous décrivons les processus qui illustrent le rôle de la formation à chaque étape du cycle d’évaluation (rédaction, enregistrement, administration, notation, analyse et rapport), dans le but de réaffirmer l’importance de la formation dans le domaine de l’évaluation.

Créer une culture de formation: une approche basée sur un modèle de compétences

Quelles compétences nécessitent une formation dans une organisation, qu'elles soient éducatives ou non ? La question est de savoir identifier les besoins d'apprentissage auxquels la formation peut répondre. Sur le plan institutionnel, un modèle de compétences est utilisé pour saisir divers facteurs qui déterminent les besoins de formation et façonnent la culture organisationnelle de l'apprentissage et de la progression pour une performance efficace. En bref, le modèle de compétences englobe un ensemble de connaissances, de compétences et d'aptitudes définies pour diverses compétences de base et spécifiques à un emploi requis aux niveaux de base, modéré ou avancé pour les rôles généraux et techniques au sein d'une organisation.

Dans le contexte de l'évaluation pédagogique, un tel modèle pourrait faciliter la mise en œuvre de programmes de formation intégrés dans la base des processus de recrutement, intégrés ultérieurement dans la gestion des performances et le développement professionnel, et finalement inclus dans les plans de planification de la relève au sein des politiques RH d'une organisation d'évaluation. Alternativement, les organisations d'évaluation axées sur la technologie, telles que les fournisseurs de technologie, peuvent adopter une approche agile de la gestion du personnel, en identifiant et en fournissant une formation sur place. Dans ce modèle, le cadre de compétences est intégré dans l'état d'esprit des responsables de supervision, qui effectuent des analyses ad hoc des écarts de compétences à mesure que les besoins évoluent. Le processus de formation est plus organique, les employés acquérant une expérience pratique lors de leur intégration et recevant des conseils continus de la part des cadres supérieurs ou des chefs de produit. Cela permet aux équipes de rester adaptables et dotées des compétences et des connaissances nécessaires pour répondre aux demandes changeantes.

Exigences comparatives (Extrait d'un modèle de compétences)

Le ton de la politique de recrutement peut déjà indiquer le type de modèle de compétences intégré dans les pratiques de formation de l’organisme d’évaluation.

Pour concevoir un modèle de compétences efficace, qu’il soit clairement documenté en termes d’entreprise ou implicitement compris dans la dynamique de l’équipe dans les équipes agiles, un organisme d’évaluation peut mener des entretiens et des groupes de discussion, ou favoriser une culture de partage lors de courtes réunions quotidiennes. Ces méthodes permettent d’identifier les scénarios difficiles dans lesquels les titulaires d’un poste ont rencontré des difficultés, en utilisant ces informations pour définir les comportements et les compétences nécessaires à la performance professionnelle et pour fournir des interventions ciblées si nécessaire. La mise en œuvre d’un modèle de compétences peut également aider à réduire les coûts associés aux programmes de formation générale en introduisant des évaluations des lacunes de compétences et en comparant les évaluations de performance actuelles aux indicateurs de performance ciblés du modèle^[2].

Récemment, le rapport du groupe de travail présidentiel du National Council on Measurement in Education^[3] a identifié un cadre de compétences fondamentales dans la mesure de l’éducation qui combine trois domaines de compétences (communication et collaboration, statistique technique et informatique, et mesure de l’éducation) avec cinq sous-domaines qui englobent ensuite les compétences, illustrées visuellement ci-dessous :

Un cadre pour les compétences fondamentales dans la mesure de l’éducation

À terme, la connaissance de ces tendances peut soutenir le développement de programmes de formation pour le personnel des organismes d’évaluation et également être fondamentale pour la conception des évaluations et la formation requise pour développer ces évaluations.

Cycle d'évaluation complet : besoins de formation spécifiques à chaque étape

Besoin de formation de l'équipe de rédaction d’items. Les auteurs d’items conçoivent et révisent quotidiennement de nouvelles questions, ce qui nécessite des instructions claires et des documents d'orientation pour s'assurer que les items couvrent le programme et adhèrent au format spécifié décrit dans le plan directeur. Si les auteurs d’items ne sont pas formés sur la manière d'intégrer l'évaluation des objectifs d'apprentissage dans le processus de conception, les items qu'ils créent risquent de ne pas mesurer ce qui est prévu, ce qui ne permet pas d'enrichir la banque d’items avec des items de réflexion sur le contenu. Dans le cadre d'une meilleure alphabétisation en matière d'évaluation, un auteur d’item doit également être formé aux techniques de rédaction d’items qui expliquent chaque composant structurel du processus de rédaction d’items. Dans les organisations où les rôles d'auteur d’item et de contenu sont distincts, les auteurs de contenu rédigeant les questions et les spécialistes d’items se concentrant sur la qualité des items quel que soit le contenu, une formation distincte peut être nécessaire pour les experts liés aux items.

Dans un contexte pratique, si l’item est conçu sur une plateforme technologique, la formation doit également couvrir l'utilisation efficace de la plateforme pendant le processus de rédaction de l’item, et divers rôles, notamment l'auteur d’item, divers types de réviseurs d’items et le superviseur ou l'administrateur supervisant l'assurance qualité, ont besoin d'une formation sur la manière d'améliorer la qualité du processus à chaque itération. De plus, les auteurs d’items/contenus devront être formés aux aspects d’accessibilité et d’inclusivité des évaluations pour s’assurer que les items tels que les stems, les distracteurs et les scénarios multimédias ne discriminent aucun candidat. Cette approche qui émerge dans la génération d’items dès le début du processus de création d’évaluation est importante pour s’assurer que le produit de contenu final avant la livraison est impartial envers tout groupe d’étudiants, quelles que soient les bonnes intentions des fournisseurs d’évaluation. Ensuite, à mesure que les plateformes basées sur l’IA génèrent de plus en plus d’items, les programmes de formation des auteurs d’items et de contenu incluront des terminologies liées à l’optimisation rapide et à la validation des résultats, qui impliquent l’examen du contenu généré pour la cohérence, la qualité et l’alignement avec les besoins d’évaluation afin de soutenir l’efficacité et la précision des équipes de création d’items tout en collaborant avec les assistants d’IA.

Enfin, la formation de l’équipe de développement des tests doit inclure une réflexion systémique qui prend en compte non seulement la création d’items mais aussi leur présentation sur la plateforme. Dans les solutions de bout en bout fournies par la technologie, cette approche systémique est soutenue par des ajustements des fonctionnalités de la plateforme unifiée.

Besoins de formation des équipes de test. La distribution des tests est la deuxième fonction principale des évaluations numériques, les organisations investissant massivement pour accroître l'accessibilité et l'inclusivité de l'environnement de test, ce qui nécessite un certain nombre de considérations dans les programmes de formation des équipes de distribution des tests. Tout d'abord, pour assurer une transition en douceur de la création des items à la distribution des évaluations, il est important que le format dans lequel les évaluations sont présentées favorise un style de présentation sur les plateformes technologiques qui n'introduit pas de préjugés. Deuxièmement, un autre problème urgent dans la phase de distribution des tests du cycle d'évaluation est la sécurité du processus, en particulier avec la possibilité accrue de passer les tests à domicile. La récente escroquerie impliquant les tests à domicile de Pearson VUE en Floride^[4] a rendu cet aspect du secteur plus prudent, ce qui souligne une fois de plus l'importance d'une formation approfondie pour l'équipe de distribution des tests, en particulier lorsque les tests prennent en charge la surveillance à distance.

Un élément particulièrement pertinent pour les équipes de distribution des tests est que chaque examen comprend des phases avant, pendant et après l'examen. Les instructions pour chaque phase sont répétées le jour de l'examen afin de garantir que chaque membre de l'équipe soit aligné, quelles que soient les instructions fournies précédemment. De plus, la réalisation des tests implique généralement la première interaction de l'équipe avec les clients, généralement les étudiants, soulignant la nécessité d'une approche axée sur le service client qui place l'étudiant au centre pour offrir une expérience de test fluide et conviviale, donnant le ton à la satisfaction des candidats. Enfin, la phase de réalisation des tests reçoit souvent le plus de commentaires des utilisateurs, ce qui conduit à des mises à jour et des améliorations des programmes de formation pour toutes les phases du cycle d'évaluation en fonction de ces commentaires.

Besoins de formation des correcteurs de réponse des étudiants. Le recrutement et la formation des correcteurs constituent une part importante du travail au sein du cycle d'évaluation, intégrant des éléments numériques importants car le travail des étudiants et la notation sont effectués numériquement, c'est pourquoi les exigences numériques de cette phase sont importantes, notamment en ce qui concerne la fourniture de formations. Par conséquent, la formation en face à face par rapport à la formation en ligne nécessite une formation supplémentaire sur la manière de mener des sessions à distance. Par conséquent, une condition préalable devrait être d'apprendre à organiser une formation en ligne efficace qui conserve les éléments essentiels des sessions en personne.

De plus, la formation pour cette phase doit commencer plus tôt que pour les autres membres de l'équipe, car les correcteurs sont confrontés à des délais plus stricts liés à la communication des résultats des étudiants, ce qui crée une pression plus forte pour évaluer avec précision les réponses construites des étudiants. Par conséquent, les programmes de formation pour ce groupe de professionnels doivent être prioritaires pendant la phase de préparation globale. La formation pour cette phase peut être classée en trois ensembles pour les nouveaux correcteurs : théorie générale et notation basée sur des échantillons pour la certification, formation en temps réel pendant les examens réels pour l'étalonnage et formation post-notation pour la certification, tandis que les correcteurs de retour peuvent commencer le processus à la deuxième série.

Un programme de formation pour cette phase doit intégrer des modules sur la navigation sur la plateforme numérique, la résolution de problèmes en temps réel et des méthodes pour améliorer l'engagement et la précision des correcteurs, en s'assurant que tous les participants sont parfaitement équipés pour gérer les complexités du processus de notation. La formation numérique pourrait être prise en charge par un tableau de bord comme celui présenté ci-dessous :

Formation des analystes de données et des développeurs de rapports : Le point de contact final du cycle d'évaluation est constitué par les données résultant de l'évaluation des capacités des étudiants au moyen de divers types de questions. Le traitement des données comporte deux aspects essentiels : la formation et l'analyse, et la communication au moyen de techniques de rapport. Tout d'abord, les analystes de données doivent être formés non seulement aux méthodes d'analyse et de réflexion sur la conception de la recherche, mais également familiarisés avec les types de questions et l'environnement de passation des tests qui constituent la base des activités de collecte de données dans le cycle d'évaluation. L'autre extrémité des données concerne la manière dont les données d'évaluation, traitées par les analystes psychométriciens, sont communiquées. Au cours de cette phase de rapport, l'équipe doit se mettre à la place des parties prenantes et fournir des rapports dans un langage et des formats accessibles, facilitant une compréhension commune de la manière dont les évaluations peuvent soutenir les progrès globaux des étudiants.

Pour cette étape, une formation est nécessaire sur l'interprétation des données d'évaluation, la communication efficace des résultats aux différentes parties prenantes et l'application des résultats pour éclairer les pratiques éducatives et la prise de décision.

Conclusion

En résumé, les programmes de formation dans le cycle d'évaluation jouent un rôle important dans la construction d'une culture d'éveil et d'un état d'esprit de croissance à chaque phase du processus d'évaluation, même si parfois ces programmes sont tenus pour acquis et simplement documentés. En intégrant un élément de formation dans chaque processus d'évaluation, les organisations peuvent combler les lacunes découlant de divers défis sectoriels ou institutionnels. Différentes organisations peuvent adopter une approche plus corporative ou plus agile de la formation. Quelle que soit l'approche, le fait de disposer d'une liste claire des compétences attendues pour la performance permet de définir des attentes définitives pour une prestation d'évaluation efficace.

À propos de l'auteur

Vali Huseyn est un spécialiste de l'évaluation pédagogique, reconnu pour son expertise dans les projets de développement de divers aspects du cycle d'évaluation. Sa capacité à conseiller sur l'amélioration des modèles de prestation d'évaluation, l'administration de différents niveaux d'évaluation, l'innovation dans l'analyse des données et la création de techniques de rapport rapides et sécurisées le distingue dans le domaine. Son travail, enrichi par des collaborations avec des entreprises de technologie d'évaluation et des organismes de certification de premier plan, a considérablement fait progresser les pratiques d'évaluation de sa communauté. Au Centre d'examen d'État d'Azerbaïdjan, Vali a contribué de manière significative aux transformations des évaluations locales et a dirigé des projets régionaux clés, tels que la plate-forme unifiée d'enregistrement et de suivi des programmes de tests internationaux, les examens des évaluations linguistiques alignées sur le CECR, les formations à l'alphabétisation en évaluation soutenues par le PISA et le projet d'audit institutionnel, tous visant à améliorer la culture de l'évaluation dans tout le pays et dans l'ancienne région de l'URSS.

Vali a reçu deux bourses prestigieuses pour ses études : il a obtenu une maîtrise en planification et administration des politiques éducatives à l'université de Boston grâce à une bourse Fulbright et a également étudié l'évaluation pédagogique à l'université de Durham grâce à une bourse Chevening.

Découvrez les pratiques guidées en matière de modernisation des évaluations et obtenez des informations sur l'avenir des évaluations pédagogiques en vous connectant avec Vali sur LinkedIn.

References

[1] Trouver l'équilibre : https://www.cambridge.org/news-and-insights/news/Striking-The-Balance

[2] Un livre blanc, 2022, Society for Industrial and Organizational Psychology : https://www.infocop.es/wp-content/uploads/2024/05/CompetencyModeling.pdf

[3] Rapport du groupe de travail présidentiel du National Council on Measurement in Education : https://higherlogicdownload.s3.amazonaws.com/NCME/4b7590fc-3903-444d-b89d-c45b7fa3da3f/UploadedImages/NCME_Task_Force_on_Foundational_Competencies_-_Final_Report_v08.pdf

[4] Tests à domicile de Pearson VUE en Floride : https://www.local10.com/news/local/2024/06/27/south-florida-trio-accused-of-insurance-license-cheating-scheme-820-exams-were-subverted/

---