Le Test & Learn comme Facilitateur de la Transformation

Cet article est co-écrit par @Magali Degouy-Bars & @Adilson Borges.

Le management est né avec la révolution industrielle, avec comme point d’orgue la division et spécialisation du travail qui permettait des gains de productivité significatifs. De plus, les transformations sociétales et concurrentielles permettaient la mise en place des planifications des transformations centralisées à long-terme, avec pour corollaires des plans stratégiques de 3 à 5 ans qui guidaient les actions des entreprises par rapport à leurs marchés.

L’économie du XXIème siècle apporte une accélération massive qui change fondamentalement cet état de fait, et qui réduit les plans stratégiques sur 5 ans à la catégorie des bonnes intentions. En effet, notre nouvelle économie est caractérisée par une énorme volatilité due en partie à des évolutions technologiques majeures et rapides, qui façonnent à leur tour des changements sociaux très importants et rapides. Les cycles longs de planification à horizon lointain sont challengés et des approches plus agiles se développent.

Cette accélération s’observe également dans le développement des nouveaux produits et services. Plutôt que d’attendre des cycles de planification et d’interactions avec les clients longs, les équipes lancent des versions Beta (ou MVP - Minimum Viable Product) après quelques interactions avec les clients potentiels, en les utilisant pour tester le concept et améliorer le produit rapidement. Cette pratique a été rendue populaire par les entreprises comme les GAFA (i.e. Google, Amazon, Facebook et Apple), et facilite la réduction du temps nécessaire pour le lancement des nouveaux produits, ainsi que la réduction de leurs taux de mortalités.

De plus, les technologies ont également permis d'accumuler beaucoup plus de données à faible coût, ce qui permet également une prise de décision plus avisée et moins biaisée, appuyée sur des données analytiques. Cela permet aux organisations - lorsque cela est bien intégré - d’apprendre des actions passées, grâce notamment à des mesures précises qui rendent les projets comparables sur des critères claires et bien définis.

Finalement, un changement majeur du management actuel consiste à travailler sur l’engagement des collaborateurs, pour augmenter la performance globale de l’entreprise. Suite aux réductions des strates hiérarchiques, les entreprises cherchent à engager les collaborateurs en identifiant leurs systèmes de motivation intrinsèques, ce qui permet de garantir son implication, tout en le rendant autonome dans ses actions. Cela permet également au manager de ne plus être dans une posture de contrôle, mais plutôt dans une option d’engagement, identifiant ces motivateurs intrinsèques de son équipe et en les alignant avec la stratégie de l’entreprise.

C’est dans ce contexte que l’approche dite du “Test and Learn” (ci-après T&L) devient un outil majeur pour la transformation des entreprises. En effet, elle permet de décentraliser la réflexion et l’action sur la meilleure manière de répondre à une problématique, rendant les équipes plus autonomes et plus intelligentes, ce qui par conséquent augmente l'intelligence de l’ensemble de l’organisation. De plus, cette approche est plus motivante et donc plus engageante pour les collaborateurs.

Plutôt que de planifier à outrance pour éviter de se tromper, les organisations ont tout à gagner en réalisant rapidement les erreurs sur des périmètres plus petits, et surtout en les corrigeant rapidement et en apprenant véritablement au passage. Dans ce sens, le T&L ferait partie intégrante de la culture de transformation d’une entreprise apprenante.

Mais le Test & Learn, c’est quoi exactement?

Le T&L est un état d’esprit  qui s’appuie sur des méthodes permettant aux organisations de tester rapidement et efficacement leurs concepts, tout en garantissant un apprentissage collectif et rapide au sein de l’organisation. Ces concepts testés peuvent être de plusieurs natures, tels que les produits ou les services que l’entreprise produit pour ces clients, mais également tous les actions qui sont misent en place pour créer de la valeur au client (ex. des processus internes, une nouvelle organisation, une manière de travailler ensemble, une façon de conduire une réunion, etc).

Il y a cinq étapes dans la réalisation du T&L, et elles sont décrites dans la Figure ci-dessous.

L’étape numéro 1 consiste à la définition de la problématique, qui délimite le champ d’action du T&L. Cette étape est suivie de la conception du test (étape 2) et de son déploiement (étape 3). Une fois le test réalisé, l’étape 4 est celui des analyses, ce qui est suivi de l’intégration de ces résultats dans une base de connaissance de l’entreprise (étape 5).

Example: Imaginez qu’une banque souhaite lancer un assistant digital basé sur l'intelligence artificielle pour répondre aux questions de son client, alors que cette activité est réalisée aujourd’hui par des collaborateurs dans un centre d’appel. La problématique (étape 1) est d’augmenter la satisfaction du client dans l’expérience d’usage et de réduire les coûts. Plutôt que d’attendre la version parfaite de cet nouvel outil, la banque lance (étape 2 et 3) un MVP (Minimum Viable Product) dans un périmètre bien précis (ex. une ville). Ensuite, la satisfaction client et le coût d’exploitation (les deux KPIs du projet) sont mesurés et comparés avec d’autres villes témoins, ce qui permet de voir l’impact et poursuivre l’amélioration du projet (étape 4). Les résultats sont ensuite publiés dans une banque de cas interne à l’entreprise, et pourront servir au déploiement dans d’autres pays du groupe.

Un autre exemple qui peut illustrer les étapes du schéma de mise en place d’une initiative locale T&L est celui-ci. Imaginez un chef de rayon - on va l’appeler Marie dans notre exemple - dans un magasin de la grande distribution qui aurait un objectif d’augmenter la masse de marge dans son rayon. Une faible masse de marge veut dire qu’il faut augmenter les ventes des produits à forte contribution (marge plus élevée) au sein de la catégorie de produit. Suite à une analyse faite avec les équipes, le problème semblait être le bénéfice client peu visible pour la montée en gamme dans le rayon (Etape 1). Dans ce cas, le client ne voit pas l’intérêt d’acheter des produits plus contributeurs en terme de masse de marge pour le rayon.

Pour résoudre cette problématique, Marie et son équipe ont proposé la mise en place une signalétique nouvelle en rayon qui explique bien les bénéfices clients des produits plus contributeurs de masse de marge. Elle a mis en place cette nouvelle signalétique pendant deux semaines avec des mesures des ventes par rapport aux deux semaines précédentes (et à l’année dernière pendant la même période) pour voir si cela avait un effet sur la masse de marge dans le rayon (Etape 2 et 3). Marie a également comparé ses résultats avec un magasin proche, dans lequel aucun changement n’avait été fait (aussi appelé magasin témoin). Le chiffrage par rapport à son KPI(Key Performance Indicators) - dans ce cas la masse de marge - permet de voir si le test a été positif ou pas (Etape 4). Si le test est positif, cette initiative peut être partagée avec les autres magasins de l’entreprise par le biais d’une plateforme des bonnes pratiques. Si le résultat n’est pas positif (masse de marge identique voir moins importante), cela peut être également être partagé pour que cette même solution ne soit pas répliquée de la même manière dans d’autres magasins, évitant ainsi une perte de temps et une amélioration des solutions proposées (Etape 5). Chacune de ces étapes sera présentée en détail ci-dessous.

Le Test & Learn peut-il s’appliquer à des organisations?

Illustration: Le cas MOM (Materne-Mont Blanc)

Test & Learn dans une entreprise agroalimentaire en croissance depuis plusieurs années : Le Groupe MOM (Mont Blanc Materne) qui à travers de ses gourdes fruitières et laitières Pom’Potes® en France et GoGo squeeZ® aux Etats-Unis, a pour vocation d’offrir aux familles des solutions de snacking saines, pratiques et ludiques. Il regroupe 1 300 collaborateurs répartis dans 5 pays et 4 usines de production en France et aux Etats-Unis.

Un changement d’organisation au sein d’une structure doit répondre à un objectif. Notre exemple concerne le service Recherche & Développement dont l’objectif est d’améliorer la rapidité de mise sur le marché de nouveaux produits. Notre organisation témoin, est celle qui existait et qui va servir de référence pour mesurer le niveau de performance de la nouvelle organisation.

A partir de l’audit sur les forces et faiblesses de l’organisation existante, des scénarii d’organisation possibles sont élaborés entre le VP R&D et le Directeur de la transformation. Ces différentes possibilités sont challengées par les parties-prenantes internes et l’équipe R&D concernée (manager direct dans un premier temps). C’est à partir de ces différents challenges que le scénario d’organisation final est sélectionné et mis en place. L’accompagnement des personnes qui changent de poste au sein de l’organisation est une étape clef (formation, coaching ….) et elle démarre le plus tôt possible. L’organisation mise en place s’est donc appuyée sur du rationnel (l’audit) et sur l’expérience de l’équipe.

Dans notre cas, une partie de l’organisation la plus challengée est la création d’un service de ressources partagées, animé par un coordinateur dont le rôle sera l’allocation des techniciens en fonction des besoins des chefs de projet. Ce changement est important par rapport à une allocation dédiée de techniciens. Le processus de fonctionnement est établi à priori, il est ensuite expérimenté par l’équipe et amélioré par eux. Des réunions systématiques entre les différents chefs de projet ayant besoin de ressources et le coordinateur pourvoyeur de ressources sont mises en place de façon régulière tout comme des réunions avec le coordinateur et les techniciens afin d’établir le planning hebdomadaire de leur charge. Ces réunions permettent de fluidifier l’information, de mettre en exergue les difficultés rencontrées et de trouver collectivement les solutions pour arriver à un point de fonctionnement acceptable pour les uns et les autres.

Après un an de fonctionnement, l’organisation est stabilisée et le KPI de performance (temps de réalisation de maquette produite dans les délais en fonction de la cible souhaitée) est ainsi évalué.

Nous sommes donc dans un processus d’amélioration continue de notre fonctionnement, associé à une transparence des évolutions. Le Test & Learn de l’organisation s’appuie sur l’expérience des salariés et leurs propositions d’amélioration.

Un bon Test & Learn commence avec une bonne problématique

Un problème bien posé est un problème à moitié résolu - Henri Poincaré

Il est fondamental de bien définir le problème que nous souhaitons résoudre. Cela nous aidera à définir les KPIs et la méthode du T&L. Ensuite, il faut identifier les hypothèses qui peuvent nous aider à adresser ce problème de la meilleure manière possible. Dans notre exemple de Marie, le problème est bien la faible masse de marge dans le rayon.

Le problème doit être précis et mesurable. Il est donc très important de partager avec les équipes impliquées pour arriver à une bonne définition du problème à traiter.

Par exemple, imaginez que Marie parte du principe que sa problématique n’était pas la masse de marge total de son rayon, mais plutôt le chiffre d’affaire. Cela implique une réflexion très différente de la part de Marie et son équipe, avec des actions proposées qui seraient probablement différentes..

Le problème doit pouvoir également être mesuré, et les KPIs bien définis. Cela peut paraître secondaire au début du projet, mais il est souvent critique lors de la phase d’analyse. De plus, cela est une source majeure de divergence lors de la présentation des résultats et des actions à mettre en place à la suite du T&L.

Par exemple, imaginez que dans le cas Materne Mont Blanc évoqué ci-dessus, l’unique KPI initialement identifié ait été la productivité des collaborateurs. Lors de la présentation, certains collègues s'interrogent sur l’impact de cette nouvelle organisation sur l’absentéisme, ce qui n’a pas été mesuré (cela n’avait pas été identifié comme un élément important). Sans cette information mesurée, les participants ne seront pas en mesure d’identifier si le test a été vraiment positif pour l’entreprise. De plus, cela est source de frustration pour l’équipe qui a mis le projet en place.

La conception d’une bonne problématique est aussi facilitée par la composition d’une équipe projet qui doit être composée de l’ensemble des personnes dans organisation qui peuvent faciliter l’adoption du projet et contribuer à son exécution.

Les clés d’un Test réussi.

Une fois que la problématique est bien définie et que les KPIs sont identifiés, nous pouvons préparer le test pour déploiement. La première étape consiste à bien identifier le groupe test et le groupe témoin. Le groupe test est celui dans lequel le changement proposé, est réalisé. Le groupe témoin - aussi appelé groupe de contrôle - est celui ou aucun changement est proposé.

Par exemple, le groupe test dans le cas de Marie, est son magasin - et plus particulièrement son rayon - où elle va mettre en place la signalétique pour la montée en gamme. Le groupe de contrôle dans cet exemple est l’autre magasin similaire, ou ce changement n’aura pas lieu et qui servira de base de comparaison en termes des ventes. Si la masse de marge augmente de 7% dans le rayon de Marie pendant la période du test, elle a besoin du magasin témoin pour être sûr que cela n’est pas un effet externe pas liée à la signalétique. Par exemple, il se pourrait qu’un industriel qui produit des produits fortement contributeur en terme de marge dans le rayon ait lancé une campagne promotionnelle qui a eu un impact positif dans les ventes. Marie aurait vu sa masse de marge augmentée non pas grâce à sa nouvelle signalétique, mais plutôt en fonction de la promotion de l’industriel sur ce produit. De même, si elle compare avec les ventes de la même période l’année précédente, cela ne prendra pas en compte le changement causé par cette même proportion de l’industriel (qui n’avait pas eu lieu l’année dernière). En revanche, si la masse de marge dans le magasin témoin a progressé de 1%, alors que tous les deux magasins ont eu la même promotion de l’industriel, alors cela est une indication importante du fait que la montée en gamme est la cause de ce changement.

Un bon groupe de contrôle est également un groupe qui ressemble au groupe test dans plusieurs dimensions qui peuvent impacter les résultats. Par exemple, si le changement organisationnel mis en place dans le cas Materne Mont Blanc avait été réalisé en Chine, et le groupe de contrôle aurait été une autre branche de l’activité aux USA, cela permet d’imaginer plusieurs variables culturelles qui peuvent impacter les résultats. Dans ce sens, il vaut mieux travailler sur deux unités dans le même pays, pour pouvoir dire que les différences au niveau du KPI ne peuvent être expliqué que - et seulement que - par le changement testé.

Au-delà du groupe test et du groupe témoin, il est également important bien réfléchir à la période du test. Cela va de soi, mais il est important de rappeler que la période doit être similaire dans les deux groupes. Si vous mesurer le KPI de la masse de marge pendant les ventes de Noël et ce même KPI pendant Pâques dans le magasin témoin, cela ne sera pas comparable, et plusieurs autres événement peuvent venir expliquer l’impact sur la masse de marge.

Mais comment faire les analyses?

Les analyses statistiques sophistiquées n’étant pas dans le scope de ce livre, nous allons donner les procédures de base pour inférer les résultats. Le principe général est celui de comparer le KPI obtenu dans le groupe test par rapport à celui obtenu dans le groupe de contrôle. Ensuite, en fonction de la manière dont nous avons mesuré le KPI, des outils statistiques peuvent nous aider à vérifier si ces résultats peuvent être extrapolés à la population (et avec quel niveau de risque).

Par exemple, dans le T&L de Marie, la masse de marge est mesurée avec un chiffre en Euros, et cela comparé par rapport aux ventes de son rayon (pour le rendre comparable avec d’autres magasins). Dans ce sens, Marie peut comparer le montant de variation moyen de son rayon par rapport à la variation moyenne de la masse de marge du magasin de contrôle. Imaginons que la masse de marge dans le rayon de Marie ait augmenté de 20% dans la période du test, et que le magasin de contrôle quant à lui n’a vu cette même masse de marge augmenter de 1%. Cette différence est vraiment importante et apporte un indice important pour soutenir le projet de signalétique pour tous les magasins de l'enseigne.

Mais dans la réalité, la différence est souvent plus faible que celle-là. Dans ce cas-là, des tests statistiques (tel que le t-test) peuvent aider à voir si la différence retrouvée dans l’échantillon utilisé dans le test est significatif dans la population. Ces tests peuvent être facilement réalisés sur Excel ou d’autres outils statistiques, et ne seront pas présentés ici.

Pour réduire le risque, il est également possible de déployer l’approche testée par étape pour vérifier si les résultats se confirment. Dans un déploiement programmé, nous pouvons accompagner les résultats par rapport à des groupes qui n’auraient pas encore basculés dans la nouvelle approche, adaptant ainsi les actions dans une démarche agile. Par exemple, suite au test réussi dans son magasin, la signalétique proposée par Marie pourrait être déployée dans une région, qui serait comparée avec les autres régions de l’entreprise. Cela permet de confirmer le bien-fondé de l’approche et de réduire le risque pour l’entreprise.

Dans Test & Learn, il y a le Learn: comment faire pour que toute l’entreprise profite des résultats?

Même si la démarche du T&L est de plus en plus développée dans les entreprises aujourd’hui, le volet learn reste encore trop souvent délaissé. En effet, une fois le projet testé et le déploiement mis en œuvre, nous avons tendance à passer au prochain projet. Cela est dommage, car nos organisations complexes font que la multiplication des tests semblables est fort probable, et que l’apprentissage inhérent à ce processus, soit parfois perdue.

La préconisation ici serait d’utiliser les réseaux sociaux d’entreprise pour créer une bibliothèque interne des bonnes pratiques. Cette bibliothèque peut être basée sur l’écrit ou la vidéo, en fonction de la culture de l’entreprise. Il est vrai que la récente démocratisation de la vidéo et la facilité pour les collaborateurs de s’enregistrer fait que cette dernière semble être la plus adaptée. Cette bibliothèque devrait poser une structure qui permet à toutes les vidéos de partager des informations clés sur le projet, tout en étant courte et directe. Par exemple, un format potentiel pourrait présenter le problème, la solution et résultat, où chaque étape prendrait environ 30s (donc une durée de 1,5 minutes au total).

Dans cette base, les collaborateurs seraient invités à mettre en ligne les tests qui ont été réussi, mais aussi les tests dont les résultats n’ont pas été satisfaisants. Pour les premiers, il s’agit de diffuser la démarche du T&L ainsi que de partager les résultats du test en lui-même, ce qui facilitera la présentation par les équipes sur le terrain. Pour le second, il s’agit de valoriser la démarche de T&L, de montrer que l'échec est accepté dans l’organisation, et aussi d’éviter que d’autres collaborateurs, dans d’autres services, ne soient pas en train de préparer un test identique ou trop similaire, amenant ainsi à une perte de temps et des ressources pour l’organisation.

Finalement, une démarche complémentaire importante serait de bien intégrer les contenus présents dans cette bibliothèque interne de savoir-faire de l’entreprise dans l’ensemble des formations existantes dans celle-ci. Non seulement cela serait une manière de convier le message de valorisation de la démarche T&L dans cette organisation, mais cela permettrait aussi à l’ensemble des métiers de voir ce qui a été développé de mieux à l'intérieur de l’entreprise, et facilement. Cela est une étape fondamentale pour booster une entreprise qui soit vraiment apprenante.

Le Test & Learn est une méthodologie pragmatique basée sur l’expérimentation réelle, porteuse d’enseignement, qui permet d’éviter les « études » longues, théoriques et fastidieuses. Les bénéfices sont la réduction des durées des projets de façon significative, avec la réduction des risques associés.  Dans un monde VUCA, cette méthodologie devient un basique de nos boites à outil.

_______

Les auteurs remercient les membres du Cercle OpenTransformation pour leurs commentaires et propositions. L'article présente les opinions exclusivement personnelles des auteurs.