Sommaire
La qualité des données fait partie des enjeux cruciaux de l'informatique et du digital depuis leurs débuts. Comme l'exprime l'adage bien connu, "garbage in, garbage out" ! En d'autres termes, la précision et la pertinence des informations restituées dans vos systèmes (reporting, analyses, outils, ERP, CRM, etc.) sont directement liées à la qualité des données entrantes.
Selon notre expérience, la question de la qualité des données intervient systématiquement dans les projets impliquant de l'analyse des données, émergeant inévitablement à un moment ou à un autre.
Quel que soit votre secteur d’activité, l’exploitation pertinente de vos données impose en tout cas de “mettre sous contrôle” la qualité de celles-ci. Ceci implique généralement :
Dans cet article, nous vous présentons les principaux enjeux de la qualité de la donnée, et les bonnes pratiques pour aborder le sujet.
La qualité de la donnée s'analyse généralement selon les grandes dimensions suivantes :
De façon générale, un défaut de qualité des données se révèle pénalisant pour au moins les 4 raisons suivantes :
Quelques exemples pratiques de problèmes de non-qualité des données, que nous avons pu rencontrer dans nos projets récents :
Les avantages sont nombreux et varient avec votre secteur d’activité et notamment avec votre utilisation de la donnée. Le plus fréquemment, une donnée de qualité permet pour les entreprises de se démarquer dans les domaines suivants :
Cette liste est évidemment non exhaustive et l’application à votre domaine pourra faire apparaître de nombreux avantages.
Dans certains secteurs fortement réglementés (Banque, Assurance), la qualité des données peut même faire l’objet de projets qui lui sont entièrement consacrés. Dans ces secteurs en effet, la qualité de données constitue une contrainte légale forte :
La plupart des projets data que nous menons comprennent un volet traitant de la qualité de la données.
Pour mener à bien ces projets, notre méthodologie consiste en 5 étapes essentielles :
En détail, voici les enjeux et le détail des travaux menés à chaque étape :
Tout comme une carte et une boussole sont indispensables pour se lancer dans une course d’orientation, il est primordial de disposer d’une cartographie claire des données de son entreprise et des flux qui y sont associés avant de traiter la question de la qualité en tant que telle. C'est ainsi que commence tout exercice d'audit de la qualité des données.
Or, force est de constater que la majorité des entreprises ont une idée bien limitée de leur architecture de données ! S’il existe des outils permettant de cartographier en partie les flux de données, l'exercice de cartographie consiste bien souvent en un travail d'investigation, de fond, nécessitant une vue transverse du fonctionnement de l'entreprise, de ses process et de ses métiers.
L’exercice de cartographie des données permet d’évaluer votre patrimoine de données, et de documenter l’ensemble des traitements effectués, de l’amont (ex : saisie par un commercial d’un projet de contrat dans le CRM) à l’aval (ex : restitution dans un tableau de bord de Direction).
Mener à bien cet exercice nécessite à la fois une très bonne compréhension des aspects techniques, mais également une capacité à travailler en proximité avec les équipes métier, qui sont souvent les plus à même de qualifier la donnée.
Les conséquences des problèmes de qualité sont généralement bien connues des équipes métier et des équipes de Direction :
Comme le veut la devise du célèbre consultant en management américain Peter Drucker : "Ce que l'on mesure, on le gère."
Il est ainsi indispensable de quantifier précisément les problèmes de données, en matière de fréquence des erreurs, de sources, etc., et de suivre dans le temps cette quantification.
Le contrôle de la cohérence des chiffres peut se faire sur une base de règles logique (ex : on sait que certaines combinaisons sont impossibles), ou sur une base statistique (une combinaison de données est peu probable, et on peut la suspecter de révéler une erreur) qui permet de détecter de possibles anomalies.
Au-delà d’un sondage ponctuel, il est indispensable de mesurer la qualité de la donnée sur la durée. Le développement d’un tableau de bord de suivi de la qualité de la donnée présente de nombreuses vertus :
Enfin, des solutions technologiques "low-code" voire "no-code" sont disponibles sur le marché pour vous aider à devancer les problèmes de données en les détectant automatiquement dès qu'ils apparaissent, et avant que d'autres personnes ne soient affectées.
Une fois les problèmes de qualité identifiés, il va s’agir :
Dans la mesure du possible, le plus efficace est de contrôler la qualité des données au moment de sa création ou acquisition, de manière préventive. Dans les systèmes sources, il peut par exemple s’agir d’interdire la saisie de certaines données incohérentes, et de suggérer des corrections à l’utilisateur.
Ce traitement à la racine n’étant pas toujours possible – car pouvant nécessiter des développements sur mesure dans des systèmes dont on ne maîtrise pas forcément la technologie – il faut alors adopter une approche corrective. Les indicateurs calculés et restitués dans les tableaux de bord de qualité de la donnée permettent alors de repérer les erreurs, et de d’orienter vers les systèmes sources dans lesquels elles devront être corrigées.
Les approches décrites jusqu’ici nécessitent de mettre en place ou d’adapter l’organisation humaine.
Pour garantir un haut niveau de qualité dans la durée, les approches correctives nécessitent en effet de repenser les processus qui créent ou modifient les données.
Les processus peuvent être adaptés de deux manières au moins :
Dans les organisations à grande échelle, de véritables démarches de Data Governance sont mises en place pour distribuer la responsabilité de la qualité de la donnée au sein de l’organisation.
Bien que de plus en plus présente dans les esprits des dirigeants et des équipes, la qualité de donnée reste un enjeu majeur pour de nombreuses organisations.
Cartographier vos données, comprendre vos sources et l'ensemble des besoins est crucial pour de nombreuses raisons citées plus haut.
