Comment nous mesurons notre prestation et pourquoi c’est utile

Si nous mesurons une prestation, nous pouvons savoir si nous l’améliorons. C’est pourquoi au Service numérique canadien, nous aimons savoir où nous en sommes avant de commencer à itérer. De cette façon, nous pouvons constater tout le chemin parcouru après avoir perfectionné un produit ou un service.

Au cours de la dernière année, une équipe composée d’employés du Service numérique canadien (SNC) et d’Anciens Combattants Canada (ACC) a collaboré à la création de l’application Rechercher des avantages et des services. Ensemble, nous avons mené des recherches en conception pour déterminer les besoins des anciens combattants et de leurs familles.

Nous nous sommes concentrés sur la collecte de mesures appelées indicateurs de rendement clés (IRC). Ces IRC nous ont aidés à évaluer si le produit fonctionnait ou non en fonction de ce que les anciens combattants nous ont dit. Nous avons également suivi des indicateurs de développement agile de produits et de conception centrée sur la personne. Ces indicateurs ont tous été fondés sur les Normes numériques du gouvernement du Canada. Ces dernières aident à évaluer la fonction générale et la norme pour les services gouvernementaux.

Indicateurs de rendement clés (IRC)

À partir des entrevues approfondies que nous avons menées auprès des utilisateurs pendant la phase de découverte, nous avons déterminé trois indicateurs que nous voulions mettre à l’essai pour déterminer le taux de succès du produit, la confiance envers le produit et la compréhension du produit. En cours de route, nous avons utilisé ces IRC en vue de mesurer les incidences de chaque modification.

Les mesures suivantes sont tirées de notre test d’utilisabilité final mené auprès de 31 participants. Nous expliquons pourquoi nous avons choisi de mettre à l’essai chacun de ces IRC, comment nous savions que le test atteignait l’objectif et quelle était la note moyenne après nos séries de tests.

Taux de succès

Pourquoi : Les anciens combattants ont indiqué qu’ils avaient besoin de conseils pendant leur recherche d’avantages. Le taux de succès nous permet de savoir si les anciens combattants réussissent à trouver des avantages et s’ils prennent les mesures nécessaires pour en apprendre davantage ou présenter une demande.

Note : 79,3 % des participants ont indiqué avoir trouvé des avantages pertinents pour leurs besoins.

Cote de confiance

Pourquoi : Les anciens combattants ont indiqué avoir besoin d’attentes mieux définies et de renseignements plus clairs pendant le processus.

Note : Les participants ont donné une note de 7,4 sur 10 concernant leur niveau de confiance envers leurs résultats.

Compréhension*

Pourquoi : Les anciens combattants ont déclaré être surchargés d’information, déconnectés du langage d’ACC et stigmatisés lorsqu’ils décident de présenter une demande.

Note : 1 participant sur 4 a indiqué un seul mot imprécis.

*Une partie de la compréhension découle du niveau de lecture de notre contenu. Nous avons mesuré le niveau de lecture de nos brèves descriptions pour nous assurer que les anciens combattants peuvent parcourir rapidement le contenu, avoir une idée des avantages et voir si ceux-ci s’appliquent à leur situation.

Le niveau de lecture moyen :

Anglais : entre la 2e et la 3e secondaire
Français : 3e secondaire

Autres mesures

Pour veiller à ce que le produit respecte les normes établies par les Normes numériques du gouvernement du Canada, nous évaluons régulièrement l’accessibilité des produits, les chiffres sur les déploiements et les tests d’utilisabilité.

Concevoir avec les utilisateurs

Description : Faire des recherches en collaboration avec les utilisateurs pour bien comprendre leurs besoins et les problèmes que nous voulons régler. Mener des essais continus avec les utilisateurs pour éclairer la conception et le développement.

Note : Nous avons mené des recherches et des tests d’utilisabilité auprès de 106 participants, et 81 d’entre eux ont participé à quatre séances de la phase bêta.

Effectuer régulièrement des itérations et des améliorations

Description : Élaborer des services au moyen de méthodes agiles et itératives, axées sur l’utilisateur. Effectuer constamment des améliorations en réponse aux besoins des utilisateurs.

Note : Tout au long de la phase bêta, l’équipe de prestation a effectué en moyenne 17 déploiements de production par semaine.

Intégrer l’accessibilité dès le départ

Description : Les services devraient respecter ou dépasser les normes d’accessibilité. Communiquer dès le départ avec les utilisateurs ayant des besoins particuliers, pour s’assurer que le résultat conviendra à tout le monde.

Note : Le produit était conforme à 89 % par rapport aux Règles pour l’accessibilité des contenus Web (WCAG) 2.1 AA.

Collaborer largement

Description : Créer des équipes multidisciplinaires ayant des compétences variées qui sont nécessaires à l’atteinte d’un objectif commun.

Note : L’équipe de prestation d’ACC, composée de 8 membres, représentait 8 disciplines (gestion de produit, gestion de la livraison, développement, opérations de développement, analyse opérationnelle, conception, recherche en conception, conception de contenu).

Passer le flambeau

Maintenant que le produit est entre les mains d’ACC, on se prépare à le rendre public d’ici la fin d’avril et à poursuivre la phase bêta. Jusqu’à maintenant, nos essais se sont déroulés dans un cadre modéré, et bien que nous ayons de très bonnes données pour nous dire que l’application Rechercher des avantages et des services fonctionne pour les anciens combattants, nous ne le saurons pas avec certitude jusqu’à ce que l’outil soit mis en ligne. Mais c’est la valeur d’une approche itérative : on reçoit de la rétroaction tôt et souvent pour limiter le risque.

Nous sommes honorés d’avoir pu travailler avec ACC et participer à une meilleure prestation de services aux anciens combattants. Nous sommes impatients de découvrir la réaction de l’équipe d’ACC face aux commentaires des anciens combattants sur l’outil, lorsque celui-ci sera « dans la nature » et qu’il sera utilisé par des milliers de personnes. Nous avons adoré travailler avec l’équipe de prestation. Nous sommes heureux qu’elle continue d’explorer et d’améliorer le service en plaçant les anciens combattants et leurs familles au cœur du projet.

Aimeriez-vous savoir si ce produit peut aider vos utilisateurs à trouver des services?

Nous avons créé une version générique de ce produit qui est disponible sur GitHub et qui peut être adaptée par n’importe quel ministère pour leur cas d’utilisation spécifique!

Si vous souhaitez prendre le code (ou toute autre partie du processus) et qu’un pépin arrive en cours de route, n’hésitez pas à créer un problème (issue) dans GitHub ou à communiquer avec nous par courriel à l’adresse mailto:cds-snc@servicecanada.gc.ca. Vous pouvez aussi nous trouver sur Twitter à @sidewalkballet et @stevieraytalbot.