Teach Up a participé à la dernière édition des Grands Débats du Digital Learning, organisée par Ildi, sur le sujet « Maîtriser l’économie du Digital Learning ». Pour les entreprises, la mesure du succès des formations est devenue un enjeu prioritaire. Est-ce que les collaborateurs sont allés au bout de leur formation ? Est-ce qu’ils maîtrisent réellement le contenu ? Est-ce qu’ils ont développé les compétences visées ? Lors de ce débat, Nicolas Bourgerie, CEO de Teach Up, a proposé une échelle d’impact en ciblant 7 KPIs possibles pour mesurer l’impact du digital learning sur le business. Découvrez, dans cet article, ces différents niveaux de mesure d’impact illustrés par un exemple concret.

Replay des Grands Débats du Digital Learning - intervention de Teach Up de 1 h 13 à 1 h 30. 

Cas d’usage : mesurer l’impact d’un parcours en blended learning

Pour illustrer la complémentarité des 7 KPIs présentés ci-dessous, prenons l’exemple fil rouge d’une entreprise de retail qui a formé 1 000 de ses collaborateurs pour faire en sorte que plus de 7 % des clients adoptent la carte de fidélité. Elle a crée un parcours en blended learning dont l’objectif était de « Promouvoir la carte de fidélité du groupe auprès des clients en utilisant les cinq principaux leviers d’adhésion ». À la veille des fêtes de fin d’année, l’enjeu est de taille et Géraldine K., la directrice Learning & Development, souhaite mesurer l’impact de ce parcours. 

La formation s'est déroulée sur un mois et a duré environ 4 h : 

• 4 modules de e-learning,
• 1 classe virtuelle pour développer les bonnes postures avec un formateur coach - seul moment synchrone du parcours,
• 2 défis sur le terrain pour s'entraîner avec ses clients et ses collègues,
• 2 évaluations, une sommative en autonomie et une autre en situation par le manager à la toute fin. 

   

KPI 1 : Le Coût Complet par Apprenant (CCA)

Première façon de comparer l’impact entre vos différents parcours de formation : mesurer combien ça vous coûte au total (d'où la notion de « coût complet ») de designer, de produire et de déployer un dispositif par apprenant. Le Coût Complet par Apprenant (CCA) est facile à calculer puisqu’il correspond à la totalité des coûts engagés pour créer et mettre en œuvre un dispositif de formation, divisé par le nombre d’apprenants formés (avec ou sans coût salarial en fonction de votre culture d’entreprise).

💡Exemple de CCA

Pour calculer le coût complet, Géraldine K. a listé tous les pôles de dépense de la création à la diffusion du parcours.

Design & production

• Design détaillé du parcours : 27 h de travail en équipe.
• 4 e-learning de 10 minutes : réalisés avec Teach Up en 23 h par l’équipe L&D.
• 1 classe virtuelle en mode coaching : sous-traitée à un prestataire.
• 2 défis sur le terrain, digitalisés sur Teach Up : 16 h de travail d’Anthony, de l’équipe L&D.
• 1 SPOC pour encapsuler et scénariser le parcours blended : 3 h environ avec Teach Up.

Déploiement

• LXP pour 1 000 personnes : l’équipe de Géraldine K. produit environ 20 parcours par an donc ici 1/20e du coût de l’abonnement annuel.
• 100 classes virtuelles à 10 à animer, soit 100 x 4 h (1 h de préparation + 2 h d’animation + 1 h de gestion et de suivi), soit 400 h de temps formateurs.
• 4 h en moyenne par apprenant pour réaliser le parcours soit 4 000 h en tout pour les 1 000 personnes ciblées.

Pour obtenir le coût complet par apprenant, Géraldine K. devra calculer et additionner tous les coûts puis les diviser par les 1 000 apprenants. 

KPI 2 : Le Taux de Participation du Cœur de Cible (TPCC)

À la fin d’une formation, l’un des indicateurs à consulter est le taux de participation du cœur de cible, c’est-à-dire des personnes clés dont on veut absolument qu’elles aient réalisé la formation. En effet, très souvent, certains publics sont prioritaires pour avoir l’impact business souhaité. Plus que le taux de participation moyen, il est donc surtout intéressant de mesurer celui qui concerne ce public prioritaire : le Taux de Participation du Cœur de Cible (TPCC).

Pour le booster, pensez à marketer votre formation et à lancer des campagnes de communication ciblées pour embarquer les bonnes personnes au bon moment.  

💡Exemple de TPCC

Dans notre exemple, la formation concernait l’ensemble des populations en magasin : les Directeurs, les agent.e.s de caisse, les hôtes et hôtesses d’accueil et les vendeurs. Ces derniers étaient, pour cette enseigne, le cœur de cible afin d'avoir un impact maximum sur le pourcentage de clients qui souscriront à la carte de fidélité.

Et si le taux de participation moyen a été de 90 %, celui des vendeurs a dépassé les 97 %. Cible prioritaire atteinte pour Géraldine K. et son équipe.

KPI 3 : Le taux de complétion

Certes, il est important de savoir si les apprenants cœur de cible ont participé à la formation mais sont-ils allés au bout du dispositif prévu ? Pour le vérifier, l’indicateur à suivre est le taux de complétion c’est-à-dire le taux de celles et ceux qui ont « complété », dans le sens « terminé », leur parcours. Concrètement, il permet de savoir si les apprenants ont suivi l’intégralité de leur formation ou non.

💡Exemple de taux de complétion

Dans notre exemple, 88 % des collaborateurs ont réalisé le parcours en intégralité, dont 97 % des vendeurs ! Excellent score sachant que le précédent parcours a permis d’atteindre un petit 56 % de taux de complétion. Mais, le parcours était facultatif et perçu comme moins mobilisable immédiatement par les apprenants.

Le saviez-vous ?
Le taux de complétion moyen pour une formation en ligne non obligatoire en Europe est compris entre 13 et 20 %, et ce taux est encore plus bas lorsqu’il s’agit de suivre un parcours complet en blended learning. Et s’il était temps de faire moins mais mieux en matière de formation professionnelle ?

KPI 4 : Le NPS Apprenants

Le Net Promoter Score Apprenants est un indicateur qui permet de calculer le taux de recommandation des apprenants qui ont suivi et terminé la formation. Il est utilisé spécifiquement pour mesurer la fidélisation et la recommandation. Le résultat se présente en trois groupes :

• Détracteurs (note entre 1 et 6 sur 10).
• Passifs (note entre 7 et 8).
• Promoteurs (note entre 9 et 10).

Le calcul du NPS se calcule en soustrayant le pourcentage de promoteurs au pourcentage de détracteurs.

💡Exemple de Net Promoter Score Apprenants

Après la diffusion du parcours, le NPS de la formation a été envoyé en posant la question suivante à chaque apprenant : « Sur une échelle de 1 à 10, quelle est la probabilité que vous recommandiez la formation à vos collègues ? ».

Résultat ? 880 apprenants (celles et ceux qui ont terminé) ont répondu et parmi eux :

• 12 ont mis une note entre 1 et 6,
• 67 entre 7 et 8,
• 801 entre 9 et 10.

Le NPS Apprenants aura donc été de (801 / 880) - (12 / 880) = 91 % - 1,4 % = 89,6, un excellent score ! Il est fort probable que les participants aient parlé en bien de cette formation autour d’eux. Vous savez ce qu’on dit, un.e satisfait.e le dit à 3 personnes, un.e insatisfait.e à 9 !

KPI 5 : Le taux de maîtrise

Bien entendu, les apprenants ont participé à la formation mais ont-ils mémorisé les méthodes et les trucs et astuces clés de leur parcours ? Mieux, savent-ils vraiment les utiliser en situation de travail et sont-ils vraiment compétents ? Le mesurer, c’est mesurer le taux de maîtrise.

Le saviez-vous ?
Avec Teach Up, vous pouvez créer très facilement des évaluations de connaissances, des cas digitalisés avec des formulaires automatiques et des défis-évaluatifs dans des parcours, à réaliser sur le terrain par les apprenants. De plus, avec notre innovation d’Hyper Mémorisation, vous pouvez même avoir la garantie que 100 % des participants qui ont terminé maîtrisaient 100 % des connaissances essentielles à un moment clé de la vie de votre entreprise. Une garantie qui permet de maximiser l’impact business de vos dispositifs.

💡Exemple de taux de maîtrise

Dans notre exemple, Géraldine K. a utilisé la fonctionnalité d’Hyper Mémorisation de Teach Up. 100 % des 880 apprenants qui sont allés au bout maîtrisaient donc 100 % des 27 connaissances que les équipes L&D avaient ciblé.

L’évaluation complémentaire par les managers a été réalisée par 85 % des managers et le taux de maîtrise moyen était de 94 %. Suffisant pour réussir une très belle campagne de fin d’année !

KPI 6 : Le score d’efficience

L‘efficience, c’est un KPI à forte valeur ajoutée que seules quelques plateformes LXP peuvent donner. Chez Teach Up, elle prend la forme d’un point d’équilibre, pour chaque apprenant, entre trois valeurs à impact :

• La complétion : les algorithmes de Teach Up motivent tous les apprenants à aller au bout en leur proposant des modalités et des approches qui leur conviennent et en adaptant, en temps réel, la difficulté des exercices proposés à leur niveau.
• Le taux de maîtrise : celui explicité juste avant.
• Le temps : Teach Up fait en sorte que chaque apprenant passe le temps dont il a besoin en formation, en choisissant le chemin le plus approprié. Les plus experts économisent ainsi 40 à 60 % de leur temps par rapport à un débutant grâce aux apports de l’Adaptive Learning. 

L’efficience est un KPI d’impact individuel qui s’exprime en pourcentage. La moyenne des efficiences individuelles est appelée « Efficience Collective ».

Une formation uniforme, complètement linéaire, a une efficience à 0. Une formation qui permet à un apprenant d’aller au bout de sa formation (100 % de complétion), d’atteindre 100 % de maîtrise et ce dans le temps le plus court possible grâce aux apports de l’IA et des formateurs, aura une efficience de 100 %.

💡Exemple de score d'efficience

Dans notre exemple, l’efficience moyenne était la suivante :

• 880 personnes à 94 % en moyenne,
• 120 à 56 % en moyenne.

Soit une Efficience Collective de 89,4 %. Pour information, cet indicateur demande à être adapté dans votre contexte si vous n’utilisez pas Teach Up comme LCMS ou comme LXP.

KPI 7 : Le taux de pratique

Le taux de pratique est un indicateur majeur et pourtant très peu utilisé. Il correspond au temps passé à mettre en pratique sa nouvelle compétence dans le cadre d’un parcours de formation. En gros, il permet de mesurer le temps que les apprenants passent à « faire et à mettre en pratique ».

💡Exemple de taux de pratique

Dans notre exemple, le parcours avait une durée totale de 4 h. Sur les 4 h, les participants ont mis en pratique :

• 1 h 30 sur les 2 h pendant la classe virtuelle d’entraînement,
• 30 des 40 minutes pour les deux défis terrain,
• 15 minutes pour l’évaluation finale avec le manager en situation.

2 h 15 sur 4 h passées à faire, soit 56 % de taux de pratique : un très bon score pour une formation blended de ce type où une évolution des comportements et des gestes métiers est attendue.

Est-il possible d’aller encore plus loin pour mesurer l’impact de la formation sur le business ?

Eh bien oui, en l’espèce, mais ce n’est pas vrai dans tous les contextes. Dans notre exemple, Géraldine K. a pu mesurer l’impact business de son parcours directement. L'objectif des 7 % de clients adhérents à la carte de fidélité a largement été dépassé, ce qui a développé le sentiment de valorisation de toutes les équipes, y compris celle de Géraldine K. !

Le saviez-vous ? 
Chez Very Up, la grande sœur de Teach Up spécialisée dans la création de parcours hybrides sur-mesure, les ingénieurs pédagogiques calculent l’impact carbone de certains de leurs dispositifs de formation dès la phase de conception. À parcours équivalent en matière d’impact pédagogique et business, ils calculent l’impact carbone des différentes alternatives et ils choisissent celles dont l’impact carbone sera la plus faible. Malin et utile : surtout dans un contexte où une stratégie RSE devient incontournable.