Comment améliorer l’utilisabilité d’un produit en combinant les méthodes qualitative et quantitative de recherche en conception

Dans toute industrie, la nouveauté vient avec des risques. Nous comprenons donc la prudence, voire l’hésitation, de nos partenaires de la fonction publique face aux nouvelles méthodes que nous proposons afin de fournir des services numériques gouvernementaux.

Comment faisons-nous pour établir une relation de confiance avec nos partenaires et nous assurer que les services que nous concevons ensemble sont réellement attrayants et conviviaux pour les citoyens? En nous appuyant sur des données valides.

Le point sur la recherche qualitative

Au cours des derniers mois, alors que nous travaillions sur l’outil « Signaler un crime informatique » de la Gendarmerie royale du Canada (GRC), nous avons mis à l’essai une nouvelle stratégie de recherche qui jetterait les bases nécessaires pour obtenir des données valides : une approche mixte de recherche en conception.

Mais qu’est-ce que ça veut dire? Eh bien, vous vous souviendrez peut-être que lors des premières [séances de recherche qualitative] (https://numerique.canada.ca/2019/07/11/donn%C3%A9es-qualitatives-inconfortables-oui-mais-elles-valent-le-coup/), nous avons discuté avec des utilisateurs potentiels du service afin de comprendre leurs besoins. À partir des résultats de cette recherche, nous avons apporté des changements au prototype afin de répondre à ces besoins.

Quels changements avons-nous apportés?

Nous avons simplifié la mise en page du formulaire et réduit le nombre de questions par page.
Nous avons adopté un langage émotionnellement rassurant afin d’essayer de dissiper le sentiment de honte que peuvent ressentir les victimes.
Nous avons affirmé aux victimes qu’elles ne sont pas seules et qu’elles font la bonne chose en signalant un crime.
Nous avons ajouté de l’information sur les stratégies permettant de récupérer les pertes et de protéger les victimes à l’avenir.

Bien que nous ayons amélioré le prototype grâce à la recherche qualitative, nous devions tout de même tester les répercussions de ces changements sur un segment plus vaste de la population. C’est là que la recherche quantitative entre en jeu.

Établir une relation de confiance grâce à la recherche quantitative

Alors que la recherche qualitative nécessite moins de participants, mais fait ressortir des histoires riches, la recherche quantitative exige de sonder un grand nombre de participants afin de déterminer la prédominance de chaque expérience. Nous avons combiné les deux méthodes : la recherche quantitative nous a servis à tester les répercussions suggérées par la recherche qualitative antérieure.

Pour ce faire, nous avons comparé le service de signalement existant à deux nouveaux prototypes. Nous avons séparé en trois groupes un panel en ligne de personnes touchées par la cybercriminalité et nous avons demandé à chaque groupe de remplir un rapport d’incident en utilisant l’une des trois versions du service. Nous leur avons ensuite demandé leurs commentaires sur l’utilisabilité du service et leur satisfaction à son égard. À l’aide d’une méthode de notation que nous avons mise au point avec nos partenaires de la GRC, nous avons déterminé laquelle des trois versions avait le plus haut taux de réussite, la plus grande quantité de rapports de qualité, et la plus grande utilisabilité.

Nous avons tiré des données précieuses de cet exercice :

Les deux nouveaux prototypes ont été jugés plus utilisables et se sont avérés plus susceptibles d’être remplis en entier que le formulaire existant.
Les participants étaient plus enclins à utiliser le prototype 2 (celui dont le langage est rassurant) que les autres versions.
Le prototype 2 et le formulaire existant ont abouti à des rapports de qualité équivalente.

Ces données nous ont finalement aidés, nous et la GRC, à prendre la décision de développer le service de signalement en nous basant sur le prototype 2. Par conséquent, nous allions nous écarter de ce que nous avions fait par le passé pour essayer quelque chose de nouveau.

Le point de vue d’un partenaire

Lorsque nous avons présenté notre projet de service (le prototype 2) et les résultats des deux expériences sur l’utilisation du service et son incidence, les décideurs ont pris conscience de l’importance de comprendre les besoins des victimes et d’y répondre.

Chris Lynam est l’un de ces décideurs. Chris, qui est directeur général du Groupe national de coordination contre la cybercriminalité de la GRC, a partagé certaines de ses réflexions sur l’importance de recourir à la recherche en conception pour offrir un service répondant aux besoins des victimes de cybercriminalité.

Quelle est la chose la plus surprenante ou intéressante que vous avez apprise au sujet des victimes signalant un cybercrime depuis le début de ce partenariat avec le SNC?

Chris : Le projet et le partenariat ont fourni des renseignements jusque-là inconnus sur les raisons pour lesquelles les gens signalent (ou ne signalent pas) des cybercrimes ou des fraudes à la police.

Ces travaux de recherche ont démontré que les gens qui signalent la cybercriminalité peuvent généralement être répartis dans plusieurs catégories. Par exemple, il y a ceux qui font un signalement pour des raisons altruistes, afin d’éviter que d’autres ne deviennent des victimes comme eux, tandis que d’autres cherchent à obtenir des mesures précises de la part de la police en réponse à ce qui leur est arrivé. Il est essentiel de bien comprendre les motivations des victimes à signaler les incidents ainsi que leurs attentes afin de concevoir un nouveau système de signalement public qui répond le mieux possible à leurs besoins.

Comment les résultats de l’expérience quantitative ont-ils changé votre point de vue sur le projet?

Chris : L’expérience quantitative s’est avérée extrêmement utile. Elle a confirmé que l’utilisation de pages ayant des questions moins nombreuses, mais plus simples à comprendre permettait d’obtenir un plus haut taux d’achèvement que les approches existantes, tout en continuant d’obtenir des rapports de qualité similaire.

Qu’avez-vous appris d’utile au sujet des victimes signalant un cybercrime durant la phase alpha?

Chris : La recherche a été particulièrement utile pour comprendre le niveau de [honte ressentie par de nombreuses personnes] (https://numerique.canada.ca/2019/08/29/apprendre-des-gens-qui-veulent-utiliser-notre-service-de-signalement-mais-qui-ne-lutiliseraient-peut-%C3%AAtre-pas-maintenant/) lorsqu’elles deviennent victimes d’un cybercrime. Cela m’a donné une nouvelle appréciation de cet aspect auquel je ne m’étais jamais réellement attardé auparavant.

De nombreuses victimes ont confié qu’elles se sentaient ridicules de s’être fait duper et que ce sentiment les dissuadait de faire un signalement à la police (elles étaient embarrassées et elles ne voulaient pas raviver leurs sentiments de honte). Une victime âgée a déclaré qu’elle ne voulait même pas dire à sa famille qu’elle avait été victime d’un cybercrime de peur que celle-ci ne remette en doute sa capacité à s’occuper d’elle-même.

Le fait de comprendre ce que les victimes ressentent nous a permis de concevoir un système de signalement en ligne doté d’un langage rassurant. L’objectif est de convaincre les victimes qu’elles ne devraient pas avoir honte et que si elles font un signalement, la police sera mieux équipée pour poursuivre les suspects et empêcher que d’autres personnes ne deviennent aussi victimes.

Le pouvoir des chiffres

Il est difficile de concevoir des services qui conviennent parfaitement aux personnes qui les utilisent. Aucune méthode ne permet de combler tous les besoins pressants qu’elles peuvent avoir. Par ailleurs, la recherche qualitative est parfois considérée comme anecdotique, alors que la recherche quantitative peut souffrir de l’absence du contexte social nécessaire pour avoir une incidence et être mémorable. Lorsque nous combinons les deux méthodes, les données sont renforcées et les décisions de conception deviennent plus claires.

Et comme nous le constatons avec cet outil de la GRC, il semble beaucoup moins risqué d’essayer de nouvelles idées lorsqu’il y a des chiffres pour les appuyer.