Introduction

Lorsqu’un organisme d’évaluation (ministère de l’Éducation, agence d’évaluation, département d’éducation d’État, etc.) décide de moderniser son programme d’évaluation des élèves à grande échelle, l’une des premières questions à se poser est de savoir s’il faut développer et maintenir la solution d’évaluation numérique (c’est-à-dire la plateforme) en interne ou utiliser la solution et les services d’un fournisseur de services externe.

Au cours des cinq dernières années, cinq provinces canadiennes (la Colombie-Britannique, l’Alberta, l’Ontario, le Nouveau-Brunswick et Terre-Neuve-et-Labrador), deux territoires (le Yukon et les Territoires du Nord-Ouest) et le Conseil des ministres de l’Éducation du Canada [CMEC] ont choisi d’externaliser, en faisant appel à un partenaire technologique externe pour moderniser leurs programmes d’évaluation des élèves à grande échelle.

La décision d’internalisation ou d’externalisation peut être difficile à prendre, car de nombreux facteurs doivent être pris en compte. Cet article fournit un résumé des avantages et des inconvénients (pour et contre) de chaque approche et fournit le raisonnement qui sous-tend les décisions prises par les organismes d’évaluation au Canada.

Internalisation et externalisation^[1]

L'internalisation (ou le développement en interne) signifie que l'organisme d'évaluation s'appuie sur son propre personnel, son temps et ses ressources pour concevoir, développer et mettre en œuvre sa propre solution d'évaluation numérique. L'externalisation est un processus par lequel l'organisme d'évaluation engage un prestataire de services externe (un fournisseur) pour effectuer le travail au lieu d'utiliser ses propres employés et d'autres ressources. La décision de recourir à l'internalisation ou à l'externalisation dépend d'un certain nombre de variables, notamment les exigences du projet, les compétences nécessaires pour créer et livrer le produit, les contraintes de temps potentielles, ainsi que le budget. Voici quelques-uns des avantages et des inconvénients de chaque approche.

Avantages de l’internalisation

• Contrôle du projet : lorsqu’un projet est développé en interne, l’organisation a un contrôle total sur tous les aspects du processus de développement. L’accès direct à l’équipe de développement facilite le suivi des progrès, la résolution des problèmes au fur et à mesure qu’ils surviennent, les ajustements de processus nécessaires et la garantie du respect des normes de qualité. L’internalisation peut garantir que le temps et l’argent sont alloués de manière appropriée.

• Collaboration et communication : une communication régulière entre la direction d’une organisation et l’équipe de développement, ainsi qu’une communication et une collaboration continues et efficaces entre les membres de l’équipe peuvent contribuer au bon fonctionnement d’un projet. En règle générale, les développeurs internes sont à proximité les uns des autres (physiquement et/ou virtuellement), ce qui peut contribuer à des lignes de communication claires et ouvertes. De plus, en tant qu’employés d’une organisation, les membres de l’équipe de développement sont susceptibles d’avoir une bonne compréhension du projet et d’avoir un intérêt direct dans sa réussite.

• Développement de l’expertise : des connaissances et/ou des formations spécialisées peuvent être nécessaires lors de la conception et du développement d’un programme. Prendre en charge un projet en interne peut offrir des opportunités d’apprentissage aux personnes impliquées. Si le temps et le coût ne sont pas un problème, il peut être dans l’intérêt de l’organisation de renforcer les connaissances et l’expertise de l’équipe, qui peuvent s’avérer très utiles à l’avenir.

• Économies de coûts potentielles : le coût est souvent la première préoccupation lorsqu’on envisage des approches optionnelles pour le développement de projets. Si l’organisation dispose déjà de personnel possédant l’expertise requise, opter pour une équipe interne peut être moins coûteux que de faire appel à un ou plusieurs fournisseurs externes pour effectuer le travail.

Inconvénients de l’internalisation

• Variété de talents insuffisant : bien qu’une équipe de développement interne puisse avoir une compréhension plus approfondie des activités, des objectifs et des exigences de l’organisation, il se peut qu’il y ait une pénurie, parmi le personnel existant, des compétences nécessaires pour mener à bien le projet. Dans le cas du développement de plateformes d’évaluation numérique, des experts sont nécessaires dans des domaines tels que : la connaissance des meilleures pratiques actuelles en matière d’évaluation à grande échelle et numérique, les technologies de l’information, la sécurité des tests et des données et la psychométrie. En raison de la nature spécialisée de nombreux rôles, il peut ne pas être rentable ou pratique de fournir au personnel interne la formation spécialisée nécessaire.

• Défis de mise à l’échelle : la mise à l’échelle d’une équipe interne peut être difficile pour les organisations qui doivent embaucher du personnel pour un projet ou s’adapter aux changements des exigences du projet. Les processus de recrutement peuvent être longs et peuvent mettre à rude épreuve les équipes et les ressources existantes. Les difficultés à augmenter ou à réduire les équipes de développement peuvent entraîner des inefficacités et des retards dans le processus de développement.

• Coût accru : le personnel interne peut être affecté de manière appropriée à certains projets ; Cependant, étant donné la complexité et la nature spécialisée des évaluations numériques à grande échelle des étudiants, il est probable que des spécialistes devront être embauchés pour remplir des rôles spécifiques dans le projet. De plus, des équipements et des systèmes spécialisés peuvent être nécessaires pour accomplir la tâche. Compte tenu de ces facteurs, les coûts peuvent être plus élevés que prévu et le projet peut ne pas être économiquement viable.

• Inefficacité : lors de la réalisation de travaux de projet en interne (en particulier des travaux complexes spécialisés tels que la création d'une plateforme d'évaluation numérique), il est plus probable que les membres de l'équipe rencontrent des problèmes, qui nécessiteront des recherches, une formation et des conseils externes. De tels problèmes peuvent entraîner des inefficacités dans le processus de développement. De plus, idéalement, l'équipe de développement interne sera dédiée uniquement au projet. Cependant (comme c'est souvent le cas), si les membres de l'équipe continuent d'avoir d'autres responsabilités ou peuvent être appelés à aider dans d'autres domaines, des ralentissements peuvent se produire et un délai d'achèvement plus long peut en résulter.

Avantages de l'externalisation

• Variété de talents supérieur : l'externalisation élimine la nécessité pour les organisations de s'appuyer sur des ressources humaines internes qui peuvent manquer de connaissances et de compétences spécialisées dans des domaines critiques du développement de projets. En revanche, lors de l'externalisation, les organisations ont la possibilité d'émettre des demandes de propositions afin de sélectionner des fournisseurs qui ont dans leurs effectifs des professionnels expérimentés possédant les compétences et l'expertise requises.

• Évolutivité et flexibilité améliorées : l'approche d'externalisation fonctionne comme un service à la demande. Dans ce modèle, les clients peuvent ajuster les exigences du contrat (par exemple, le personnel, les ressources, les produits, le calendrier) en fonction des besoins changeants du projet. Par conséquent, de nombreuses organisations préfèrent externaliser le travail du projet en raison de l'évolutivité et de la flexibilité offertes par cette approche.

• Rentabilité : le budget est toujours un problème majeur lors du lancement d'un nouveau projet. Fréquemment, les projets rencontrent des problèmes imprévus, qui peuvent avoir un impact négatif sur le budget prévu, en particulier si le travail est effectué en interne. Les coûts associés à la dotation en personnel, à la formation et aux autres ressources impliquées dans la réalisation du travail peuvent être affectés. Pour les projets spécialisés, l'externalisation offre souvent une meilleure rentabilité. Le fait de s'appuyer sur un partenaire technologique externe sous contrat signifie qu'il y aura une plus grande prévisibilité du coût du projet. Le recours à une entreprise externe pour créer une plateforme numérique d’évaluation des étudiants à grande échelle peut potentiellement permettre d’obtenir le résultat souhaité à un coût inférieur à celui d’une réalisation interne.

• Efficacité accrue : l’externalisation peut rendre l’ensemble du processus de développement du projet plus fluide et plus efficace. En faisant appel à un fournisseur externe expérimenté qui dispose des experts requis dotés de compétences spécialisées, ainsi que de l’expertise et de l’expérience dans le domaine, il y a moins de risques que des problèmes graves et inattendus surviennent. Et même s’ils surviennent, ils peuvent être résolus plus rapidement. De plus, comme le fournisseur est externe à l’organisation, l’équipe de développement peut se concentrer exclusivement sur le projet en cours, réduisant ainsi la probabilité que le produit final ne réponde pas aux attentes du client et augmentant la probabilité que le projet soit terminé dans les délais.

Inconvénients de l’externalisation

• Moins de contrôle et de communication : l’embauche d’un prestataire de services externe signifie que l’organisation doit travailler avec un nouvel ensemble de professionnels qualifiés qui sont désignés pour assumer d’importantes responsabilités. Bien que cette approche permette à l’équipe de direction et aux employés internes de se concentrer sur l’activité principale de l’organisation, elle crée des défis liés à la garantie de procédures de supervision et de contrôle de la qualité appropriées pour le projet. En outre, une communication efficace entre l’organisation et le prestataire de services peut être plus difficile à maintenir lors de l’externalisation que lors de l’internalisation du projet. Ces défis peuvent toutefois être résolus en instaurant des procédures efficaces de communication et de suivi/surveillance du projet.

Prise de décision

La décision de choisir l’internalisation ou l’externalisation pour moderniser les programmes d’évaluation à grande échelle implique plusieurs facteurs, notamment :

• Les exigences du programme d’évaluation,

• Le niveau de complexité du projet,

• Le personnel interne et l’expertise associée,

• Le budget du projet,

• Le calendrier prévu

• La stratégie et les objectifs à long terme de l’organisation.

L’expérience canadienne

Justification de l’externalisation

Comme nous l’avons déjà mentionné, au cours des cinq dernières années, cinq provinces canadiennes, deux territoires et le CMEC ont décidé de moderniser leurs programmes d’évaluation à grande échelle, soit en améliorant leurs évaluations numériques existantes, soit en passant leurs évaluations d’un format papier-crayon à un format numérique. Dans chaque cas, l’administration ou l’organisation a adopté une approche d’externalisation en concluant un contrat avec son partenaire technologique privilégié, Vretta.

Pour comprendre la justification de l’externalisation, l’auteur a mené une enquête en ligne auprès de représentants des autorités susmentionnées. (Quatre des huit répondants potentiels ont rempli l'enquête.) En référence à une échelle à trois points (sans importance, assez importante, très importante) :

Tous les répondants ont identifié le facteur suivant comme étant très important dans la prise de décision d'externalisation :

• Expertise du fournisseur (la variété de talents et l'expertise surpassent ceux du personnel interne)

Tous les répondants ont identifié le facteur suivant comme étant soit très important, soit assez important dans la prise de décision d'externalisation :

• Manque de ressources internes (par exemple, personnel, connaissances, technologie)

Trois répondants sur quatre ont considéré les facteurs suivants comme étant soit très importants, soit assez importants dans la prise de décision d'externalisation :

• Délais (les délais du projet étaient serrés ; on s'attendait à ce que le fournisseur livre le produit dans les délais)

• Rentabilité (l'externalisation devrait coûter moins cher que le développement de la plateforme en interne)

• Efficacité améliorée (le fournisseur peut se concentrer exclusivement sur le projet ; on s'attend à ce que l'expertise du fournisseur se traduise par un déroulement fluide et rapide du projet)

• Expérience d'autres juridictions (expériences positives d'externalisation observées/signalées dans d'autres juridictions)

Types d’externalisation et pratique canadienne

En général, l’externalisation vient en deux types : "prête à l’emploi" et "personnalisée". Généralement développées par des entreprises de technologie d’évaluation pour répondre à des besoins courants, les solutions d’évaluation numériques prêtes à l’emploi sont préfabriqués et peuvent être utilisées telles quelles par l’organisme d’évaluation (l’acheteur). En revanche, les solutions d’évaluation numériques personnalisées sont conçues pour répondre aux besoins spécifiques et uniques de l’organisme d’évaluation. Il s’agit de personnalisations apportées, selon les exigences uniques de l’organisme d’évaluation, à une solution d’évaluation numérique existante et largement utilisée.

Dans le contexte canadien, chaque organisme d’évaluation a des exigences uniques, ce qui fait que la solution d’évaluation numérique nécessite une certaine forme de personnalisation. La solution d’évaluation numérique de Vretta a donc été configurée et personnalisée en fonction des exigences uniques de chaque organisme d’évaluation.

Les personnalisations sont généralement assez étendues, impliquant des parcours utilisateur uniques (l’expérience de l’utilisateur lorsqu’il navigue à travers les différentes étapes d’interaction avec la solution d’évaluation numérique). Des environnements et des processus utilisateur personnalisables sont associés à toutes les étapes et à tous les aspects du cycle d’évaluation numérique, notamment :

• La création d’items et la livraison d’évaluations ;

• Le processus d'inscription et d'administration,

• La correction et la notation ;

• L’analyse des données ; et

• Les rapports.

Après la personnalisation de la solution d'évaluation numérique, les organismes d'évaluation canadiens exploitent la solution d'évaluation numérique selon leurs besoins en partenariat avec leur partenaire technologique qui fournit des conseils de développement et d'exploitation pour soutenir selon les besoins.

Conclusion

Lorsqu’une administration décide de moderniser son programme d’évaluation à grande échelle des élèves, une question importante se pose : doit-on mener le travail de développement à l’interne ou le confier à un sous-traitant ? Cet article fournit une description sommaire des avantages et des inconvénients de chaque approche et explique pourquoi le CMEC, ainsi que les provinces et territoires canadiens qui ont récemment modernisé leurs programmes d’évaluation à grande échelle des élèves, ont choisi d’externaliser le travail de développement. Étant donné que chaque organisme d’évaluation a des exigences uniques, un nombre important de personnalisations ont été nécessaires. De plus, une fois les personnalisations mises en œuvre, elles effectuent les fonctions d’évaluation avec le soutien du fournisseur, au besoin. Dans un avenir pas trop lointain, d’autres administrations canadiennes iront de l’avant avec la modernisation de leurs programmes d’évaluation, et il sera intéressant d’observer les approches qu’elles adopteront pour élaborer et mettre en œuvre leurs projets.

À propos de l’auteur

Le Dr Richard Jones possède une vaste expérience dans les domaines de l’évaluation pédagogique à grande échelle et de l’évaluation de programmes et travaille dans le domaine de l’évaluation depuis plus de 35 ans. Avant de fonder RMJ Assessment, il a occupé des postes de direction au sein de l'Office de la qualité et de la responsabilité en éducation (OQRE) de l'Ontario, ainsi qu'aux ministères de l'Éducation de la Saskatchewan et de la Colombie-Britannique. Dans ces fonctions, il était responsable des initiatives liées à l'évaluation des élèves, des programmes et des cursus, aux indicateurs de qualité de l'éducation, à la planification de l'amélioration des écoles et des conseils scolaires, à l'accréditation des écoles et aux tests provinciaux, nationaux et internationaux.

Richard a commencé sa carrière en tant qu'éducateur aux niveaux primaire, secondaire et postsecondaire. Par la suite, il a été chercheur et cadre supérieur pour une multinationale américaine fournissant des services de conseil au Moyen-Orient.

N'hésitez pas à contacter Richard "Rick" à richard.jones@rmjassessment.com (ou via LinkedIn) pour vous renseigner sur les meilleures pratiques en matière d'évaluation à grande échelle et/ou d'évaluation de programme.

Références

[1] Les sources d'information de cette section sont les suivantes : Duran, N. (2024). Développement de logiciels en interne ou en externe : avantages et inconvénients. Récupéré le 24 août 2024 sur : https://www.isucorp.ca/blog/in-house-vs-external-software-development-pros-and-cons et l'équipe éditoriale d'Indeed. (24 juin 2024). Avantages du développement interne par rapport à l'externalisation (avec définitions). Récupéré le 24 août 2024 sur : https://ca.indeed.com/career-advice/career-development/in-house-vs-outsourcing.

---