Élaborer un cadre d’évaluation pour la prestation des produits et services

Si vous êtes une personne qui suivez les activités du SNC ou qui travaillez avec ce dernier, vous êtes probablement intéressée par la façon dont nous évaluons le succès de nos produits et partenariats.

Évaluer notre évaluation

Nous pratiquons l’évaluation de notre travail de prestation depuis le premier jour du SNC. En y allant à tâtons, nous avons atteint un stade où nous commençons à avoir l’assurance que notre approche en matière d’évaluation est efficace.

Au départ, nous essayions de mesurer les mêmes éléments pour tous nos produits, afin de pouvoir les comparer. Nous voulions connaître le nombre total d’utilisateurs, les taux d’achèvement, les niveaux de satisfaction des utilisateurs et le coût par transaction sur certaines périodes.

Il s’agit là d’indicateurs de rendement clés raisonnables, mais, dans la pratique, il se passait beaucoup de temps avant que les données ne soient disponibles pour que nous les utilisions. Les comparaisons étaient aussi forcées parce que tous les produits n’ont pas les mêmes caractéristiques. Au fond, ces mesures ne nous disaient pas comment nous répondions aux besoins des utilisateurs.

Nous avons donc évalué notre évaluation. Nous avons apporté certains changements qui commencent à porter fruits : ils nous permettent de déterminer si nous répondons aux besoins des utilisateurs grâce à ce que nous livrons et de remplir notre mandat.

Cohérent, pas uniforme

Maintenant, au lieu d’un ensemble de mesures très spécifiques et uniformes, nous travaillons avec quatre grandes catégories :

Résultats : sommes-nous en train d’améliorer la vie des gens?
Renforcement des capacités : les ministères utilisent-ils de nouvelles technologies, techniques et principes?
Performance du produit : le produit fonctionne-t-il comme prévu?
Exécution : comment utilisons-nous nos ressources pour fabriquer la « chose »?

Chaque équipe de prestation est tenue d’assurer un suivi pour chacune de ces catégories et d’en faire un compte-rendu régulièrement.

Les équipes choisissent elles-mêmes les indicateurs qu’elles vont utiliser. Ces choix sont fondés sur des facteurs comme : la nature du service, les besoins des utilisateurs, la démarche que nous utilisons pour nous assurer que le service réponde mieux aux besoins, et les personnes avec lesquelles nous travaillons dans le ministère partenaire.

Ainsi, par exemple, un indicateur des résultats pourrait être que nous avons aidé 56 000 personnes de plus à obtenir des prestations, ce qui représente 4,5 millions de dollars destinés aux personnes qui en ont besoin; ou que nous avons réduit les délais de traitement des demandes de 75 %, ce qui a accéléré les délais d’exécution pour les demandeurs. Par ailleurs, un indicateur du renforcement de la capacité des partenaires pourrait être que nous avons aidé un ministère à mettre sur pied une équipe de prestation multidisciplinaire, ou que 80 % des demandes de tirage dans GitHub ont été faites par un ministère partenaire avant la fin de son partenariat avec le SNC.

Les indicateurs de performance des produits pourraient être que le nombre d’utilisateurs par jour était de 300 ou que le temps d’interactivité d’une page est de 70 millisecondes. Enfin, les indicateurs de prestation pourraient être que la vitesse d’une équipe a augmenté de 12 % par sprint, ou que nous avons réduit le coût d’une phase bêta de 15 000 $ sur la même période.

Quelles que soient les mesures choisies, elles doivent être pratiques. Autrement dit, elles doivent nous aider à prendre des décisions, à comprendre nos progrès et à démontrer notre rendement du capital investi. Mais pour viser juste, il faut de l’expérimentation.

Adapter les indicateurs aux phases de conception

Les données d’évaluation deviennent disponibles à différentes étapes de la conception, et nous nous attendons à ce que les équipes s’y rapportent pour itérer leurs plans d’évaluation.

Pendant la recherche de la phase découverte, l’équipe de prestation étudie quels doivent être les résultats dont ont besoin les personnes qui utilisent un service. Elle peut toutefois commencer à suivre le coût de l’exécution dès le premier jour.

Pendant la phase alpha, l’équipe peut commencer à surveiller ce dont les partenaires ont besoin pour réussir. Elle peut également examiner les problèmes liés à la performance du produit.

À la phase bêta, les indicateurs de résultats commencent à être disponibles. L’équipe peut donc commencer une analyse comparative dans les quatre catégories. Ensuite, une fois que le produit est mis en ligne, les indicateurs peuvent être utilisés pour déterminer à quoi ressemble la routine et comment exploiter efficacement le produit.

Nous donnons le pouvoir à nos équipes de prestation de réfléchir à des objectifs d’évaluation, de choisir des paramètres et d’élaborer un plan. Nous nous attendons à ce que l’évaluation soit de mise chaque jour, chaque sprint et chaque phase. Certaines personnes, comme les chercheurs et les analystes, se spécialisent dans l’évaluation. Nous nous attendons toutefois à ce que chaque membre de l’équipe joue aussi un rôle, allant du chercheur au propriétaire du service, lors des évaluations.

S’améliorer avec les évaluations

Nous appliquons ce cadre d’évaluation à l’ensemble de nos produits et services. Nous avons élaboré des lignes directrices et des modèles à l’appui de ce cadre, que nous mettons à l’essai avec les équipes du SNC et nos partenaires. Nous prévoyons faire des itérations en fonction des commentaires reçus, puis partager ces solutions pour qu’elles puissent être utilisées et améliorées par d’autres personnes en dehors du SNC.

Par ailleurs, nous partagerons publiquement les plans et les résultats de l’évaluation de plus en plus régulièrement. Pour un exemple de ce à quoi tout cela ressemble dans la pratique, vous pouvez [lire au sujet de l’approche adoptée par l’équipe pour faciliter la recherche d’avantages pour les anciens combattants] (https://numerique.canada.ca/2019/04/24/comment-nous-avons-mesur%C3%A9-notre-prestation-avec-acc-et-pourquoi-cest-utile/).

Travailler ouvertement est important pour le SNC et ses partenaires, afin que le gouvernement du Canada puisse changer la façon dont il offre ses services pour mieux servir la population.