Principes

Voici quelques préceptes auxquels croit le SNC en matière d’évaluation.

  • Toute prestation fait l’objet d’une évaluation. L’évaluation est une constante du cycle de vie de livraison des produits. Elle est réalisée pour chaque récit utilisateur, chaque sprint et chaque phase.
  • Nos évaluations servent à prendre des décisions, à comprendre nos progrès et à démontrer notre rendement du capital investi.
  • L’évaluation porte à la fois sur la prestation, le rendement des produits, la capacité des partenaires et les résultats.
  • Toutes les équipes de prestation réalisent des évaluations. Les produits n’étant pas tous semblables, les équipes de prestation prennent la meilleure décision en fonction des besoins, du service, de la phase, du partenaire, de la solution et du temps. Nous formulons des hypothèses sur l’évaluation et nous l’itérons au fur et à mesure de nos apprentissages.
  • Certains membres d’équipe dirigent l’évaluation, mais il s'agit d’un effort multidisciplinaire.
  • L’évaluation s’effectue en collaboration avec nos partenaires. L’évaluation fait partie des éléments que nous remettons à nos partenaires en vue d’une amélioration continue.
  • Les plans et les résultats de chaque produit et de chaque équipe sont à la disposition du SNC et de ses partenaires et leur sont accessibles à partir d’un emplacement central.

Catégories de paramètres d’évaluation

Le SNC recueille des mesures qualitatives et quantitatives dans quatre catégories.

  1. Prestation
    Bien-être, fonctionnement et productivité d’une équipe.
  2. Capacité des partenaires
    Capacité des partenaires à travailler avec de nouveaux principes, technologies et techniques.
  3. Rendement du produit
    Rendement et efficacité du produit et de ses fonctions.
  4. Résultats
    Impact du produit ou du service sur la vie des gens.

Évaluation aux étapes de prestation

Les paramètres et les rapports d’évaluation augmentent en précision et en fréquence à chaque phase.

  1. Découverte
    Analyse de ce que devraient être les paramètres, de la façon de les obtenir en se fondant sur la recherche, et des renseignements de base disponibles à propos des besoins des utilisateurs.
  2. Alpha
    Tests et suivi des paramètres au moyen de prototypes.
  3. Bêta
    Analyse comparative et production de rapports sur les paramètres par la publication d’une version minimum viable.
  4. Mise en ligne
    Établissement de rapports sur les paramètres et amélioration continue du produit en ligne.

Exemples de paramètres d’évaluation

Voici des exemples de mesures qui pourraient être recueillies au cours de chaque phase pour chaque catégorie de paramètre.

Découverte
Prestation -
Information permettant de comprendre dans quelle mesure nous utilisons les ressources dans la découverte.
  • Coût de l’équipe de prestation
  • Ressources employées au recrutement d’utilisateurs
  • Évitement de coûts attribuable à la construction ou à l’achat
Capacité -
Renseignements de base sur la façon dont un partenaire travaille avant sa collaboration avec le SNC.
  • Fréquence de la publication de code dans l’organisme partenaire (référence pour les phases futures)
  • Pourcentage de postes au sein de l’équipe du SNC ayant un correspondant dans l’équipe du partenaire
  • Principaux obstacles à la conception de la recherche, au développement itératif ou aux méthodes ouvertes.
Rendement -
Établissement d’une base de référence à partir des renseignements disponibles sur le rendement actuel du produit ou du service.
  • Taux d’abandon des principales tâches nécessaires à l’exécution du service
  • Temps nécessaire pour effectuer l’interaction avec le produit ou le service
  • Niveau de lecture du contenu
Résultat -
Information sur les avantages qui devraient être apportés au public.
  • Seuls 20 % des personnes admissibles ont accès aux avantages
  • Le traitement de chaque demande prend 120 jours
  • 14 682 rendez-vous sont manqués chaque année
Alpha
Prestation
Information permettant de comprendre dans quelle mesure nous utilisons bien nos ressources dans la phase alpha.
  • Coût de l’équipe de prestation
  • Temps de livraison d'un produit minimum viable
  • Diversité des groupes d’utilisateurs avec lesquels les tests sont réalisés
Capacité -
Information sur la participation des partenaires à la création du service.
  • Fréquence de la publication de code par l’équipe de prestation et ses partenaires
  • Pourcentage de postes au sein de l’équipe du SNC ayant un correspondant dans l’équipe du partenaire
  • Pourcentage du code de produit disponible en source libre
Rendement -
Information sur la mesure dans laquelle les prototypes répondent aux besoins des utilisateurs.
  • Nombre de problèmes de conception critiques dans l’itération la plus récente
  • Nombre de problèmes d’accessibilité dans le code
  • Compréhension du contenu par les utilisateurs
  • Réaction à la proposition de service
Résultat
Information sur la façon dont le produit ou le service peut apporter des bénéfices au public.
  • Viser une sensibilisation accrue aux prestations ou aux services disponibles
  • Estimation du montant économisé ou fourni aux utilisateurs en raison de l’adoption du service
  • Gain de temps prévu pour les utilisateurs quand ils font la demande d’une certaine prestation
Bêta
Prestation -
Information permettant de comprendre dans quelle mesure nous utilisons bien nos ressources dans la phase bêta.
  • Coût de l’équipe de prestation
  • Moment du lancement public à partir de l’accord de partenariat
  • Utilité de la documentation sur le produit pour les partenaires
Capacité -
Information sur la participation des partenaires à la création du service.
  • Fréquence de la publication de code par l’équipe de prestation dirigée par un partenaire
  • Pourcentage de postes au sein de l’équipe du SNC ayant un correspondant dans l’équipe du partenaire
  • Temps pour acquérir un logiciel-service (SaaS) ou un hébergement en nuage appartenant au partenaire
Rendement -
Association entre les besoins utilisateurs et l’amélioration constante des fonctionnalités et des interactions.
  • Taux d’achèvement des principales tâches
  • Niveau de lecture du contenu
  • Conformité à l’accessibilité
Résultat -
Information sur la façon dont le produit ou le service peut apporter des bénéfices au public.
  • Augmentation de la sensibilisation aux prestations ou services disponibles
  • Montant économisé ou fourni aux utilisateurs en raison de l’adoption du service
  • Gain de temps pour les utilisateurs quand ils font la demande d’une certaine prestation
Mise en ligne
Prestation -
Information permettant de comprendre dans quelle mesure nous utilisons bien nos ressources dans la phase en ligne.
  • Temps de disponibilité du produit ou du service
  • Coûts permanents du soutien au service pour le partenaire
  • Nombre de demandes d’assistance
Capacité
Information sur la participation du partenaire à l’itération du service.
  • Fréquence de la publication de code par l’équipe de prestation dirigée par le partenaire
  • Nombre d’itérations de fonctions subséquentes réalisées par l’équipe
  • Nombre d’équipes multidisciplinaires supplémentaires établies
Rendement -
Association entre les besoins utilisateurs et l’amélioration constante des fonctionnalités et des interactions.
  • Taux d’achèvement des principales tâches
  • Niveau de lecture du contenu
  • Conformité à l’accessibilité
Résultat -
Information sur la façon dont le produit ou le service apporte des bénéfices au public.
  • Augmentation de la sensibilisation aux prestations ou services disponibles
  • Montant économisé ou fourni aux utilisateurs en raison de l’adoption du service
  • Gain de temps pour les utilisateurs quand ils font la demande d’une certaine prestation

Responsabilités de l’évaluation

Voici les responsabilités généralement attribuées à une équipe de prestation pour une évaluation.

  • Conception
    Participer à la définition, à la saisie et à l’analyse des paramètres; donner suite à l’évaluation pour décider des choix de conception.
  • Développement
    Participer à la définition, à la saisie et à l’analyse des paramètres; extraire les données générées par l’infrastructure des applications; donner suite à l’évaluation pour décider des choix techniques.
  • Partenariats
    Participer à la définition, à la saisie et à l’analyse des paramètres; extraire des données de référence, particulièrement sur la capacité des partenaires.
  • Politiques
    Soutenir les chefs de produit dans la coordination des activités d’évaluation de l’équipe; participer à la définition, à la saisie et à l’analyse des paramètres, et veiller à ce que ces activités soient éthiques, légales et harmonisées avec les autres cadres en vigueur.
  • Gestion de produit
    Coordonner les activités d’évaluation de l’équipe; participer à la définition, à la saisie et à l’analyse des paramètres; veiller à ce que les données servent à prendre des décisions et mobiliser les parties intéressées.
  • Recherche
    Produire des données qualitatives et quantitatives à l’aide de recherche et d’exercices d’analyse; documenter les résultats.