Comment améliorer efficacement la qualité de vos données ?

Temps de lecture : 13 min

Cher lecteur, si vous lisez régulièrement nos articles ou si nous avons la chance de travailler ensemble, il y a fort à parier que vous connaissiez notre principale activité. Pour les autres, sachez que Némésis studio développe des solutions digitales sur-mesure pour répondre aux besoins spécifiques de ses clients. Ainsi, depuis 2003, nous avons développé de nombreux logiciels métier, intranet, extranet et autres outils digitaux. Bien que tous différents, ces outils ont un point commun : ils ont pour objectif d’augmenter les performances des sociétés en automatisant des processus et en traitant de grandes quantités de données.

C’est justement de ces données dont il va être question dans cet article. Car voilà, nous avons fait un constat : les données qui nous entourent ne sont pas toujours fiables. L’exemple le plus récent que nous pouvons citer concerne la déclaration d’impôts. En effet, de nombreuses données sont communiquées à la direction générale des Finances publiques pour pouvoir préremplir notre déclaration. Le système étant désormais largement digitalisé, on pourrait penser ne plus voir d’erreurs fausser notre tôt d’imposition. Cependant, il arrive encore de constater des chiffres faux ou encore des cases pré-cochées sans raison sur notre déclaration. Cela signifie que les Finances publiques ne sont pas toujours en possession de bonnes informations et que les données qui lui sont transmises par des tiers peuvent être erronées ou incomplètes.

Ces erreurs de données sont partout et peuvent porter préjudice à votre entreprise. Vous pourriez par exemple prendre une décision importante en vous basant sur des statistiques biaisés ou encore mettre à disposition de vos clients des informations fausses.

Pour limiter ces erreurs, il est possible de mettre en place une stratégie d’amélioration de la qualité des données. Cette stratégie a pour but d’améliorer la qualité de vos données existantes mais aussi de mettre en place des solutions pour atteindre une précision de données durable.

Selon nous, il n’existe pas de stratégie type puisque chaque entreprise est différente. Quelques étapes semblent toutefois importantes quand on souhaite optimiser la qualité des données de son entreprise. Nous vous les détaillons ci-dessous.

Mais avant, sachez que cet article a été consolidé par Arthur JURY, consultant DATA OEM Automotive & Mobility. Avec lui, nous travaillons à la centralisation, l’homogénéisation et la consolidation de données de véhicules et de produits conséquentes. Il a accepté de vous faire part de son expérience « métier » et non « technique » de la data.

Faire un état des lieux de vos données

En interne

Les entreprises sous-estiment souvent la volumétrie de leurs données. Au fil du temps le nombre de systèmes de stockage augmente, les données se fractionnent et chaque personne ou service traitent les données différemment. Certains vont utiliser des logiciels, d’autres des fichiers ou encore des supports papiers. Difficile alors de savoir quelle donnée va avec quoi et où. Il est donc primordial de faire un état des lieux des données de votre société et de les identifier pour pouvoir les consolider par la suite.

Arthur JURY : « Petit conseil : pensez à utiliser des clés uniques pour identifier chacune de vos données. Avec cet identifiant, vous pouvez rapidement retrouver une donnée spécifique. Cela facilite notamment la communication entre équipes (surtout en télétravail) et évite les erreurs. Par exemple, chez Total, nous traitons un grand nombre de véhicules qui ont le même nom. Sans clé unique, il serait très compliqué d’identifier le bon véhicule. Alors que si je parle du véhicule avec la clé unique 2746, tout le monde sait duquel il s’agit. »

 

En externe

De plus en plus de logiciels utilisent des API, des solutions d’ETL ou d’autres techniques de synchronisation pour échanger des données. Si votre société utilise ce type de service pour importer des informations, pensez également à les répertorier. Profitez-en pour vérifier que toutes les données se synchronisent correctement et ne sont pas obsolètes. Vous pouvez également demander à votre prestataire si les données importées font l’objet de tests de qualité réguliers.

Grouper les données liées dans des bases de données précises

Votre but va être ici de réduire considérablement vos sources de données pour les consolider et assurer leur qualité durablement.

Identifier les redondances et les associations de données possibles

Une fois que vous aurez identifié vos données, vous pourrez plus facilement distinguer les associations possibles. Le but est alors de rechercher le maximum d’informations pouvant aller dans une même base de données. Plus vous arriverez à associer de données et plus vous pourrez les consolider et assurer leur suivi par la suite.

Définir les supports les plus adaptés

Il est fort probable qu’une fois les données liées identifiées, vous vous rendiez compte que ces données sont enregistrées sur des supports différents (ex : Logiciel de relation client / Fichier Excel listant les coordonnées clients). Or, pour garantir la qualité de vos données dans le temps, il est impératif de limiter le nombre de redondances de données et donc le nombre de supports.

Pour ce faire, réfléchissez avec vos équipes à l’utilisation qui est faite de ces données et définissez le système le plus pertinent à conserver.

Associer les données liées dans une seule base de données

Quand vous aurez terminé d’identifier vos données et les supports adaptés, il sera enfin temps de passer à l’association concrète des données. Selon la quantité de données et les technologies utilisées, vous pourrez procéder à cette étape en interne ou faire appel à une entreprise spécialisée.

Si vous procédez en interne et que vos données sont conséquentes, gardez en tête que ce processus peut être très fastidieux et chronophage pour vos équipes. L’externalisation de la gestion de la qualité des données peut alors être plus rentable pour votre société car elle n’éloigne pas vos employés de leurs responsabilités principales.

Arthur JURY : « En travaillant avec Némésis studio, et notamment avec Stéphane LECOUBLE, CTO de Némésis studio, j’ai constaté qu’il était indispensable de mixer les points de vue pour créer une base de données performante. Par exemple, ce qui a du sens pour moi, en tant qu’utilisateur de la data ne l’est pas pour Stéphane qui pense au côté fonctionnel et inversement. En partageant nos points de vue et nos approches (métier et technique), nous arrivons à donner du sens à la donnée tout en la traitant de façon optimale pour atteindre l’objectif final. »

 

Nettoyez soigneusement vos données

Cette étape est la plus importante de votre stratégie d’amélioration de la qualité des données. Son but va être d’avoir une base de données précise et complète vous permettant de déduire des informations justes et puissantes auxquelles vous n’aviez pas accès jusqu’à présent. Pour cela, 3 actions nous semblent fondamentales :

Déterminez les informations essentielles pour vos bases de données

Il s’agit de définir les données dont vous et vos équipes avez besoin pour répondre à des objectifs clairs. Il est important à ce stade d’impliquer toutes les parties prenantes de votre entreprise pour décider quelles informations doivent être requises et pourquoi. Par exemple, plusieurs équipes pourraient avoir besoin de données détaillées sur les dernières ventes de la société : le service des achats pour prédire les futures ventes ou gérer les stocks et le service marketing pour analyser les tendances ou prévoir les futures actions de communication en fonction des préférences clients. Choisissez ces données avec soin car elles vont constituer le cœur de votre stratégie d’amélioration des données.

Éliminez les doublons

Les données en double peuvent considérablement fausser vos rapports. Il est donc important de s’en débarrasser. Attention toutefois à bien comparer les doublons. Il peut arriver que des informations supplémentaires puissent servir à consolider vos données et il serait dommage de perdre une donnée potentiellement cruciale par mégarde.

Pour ce processus d’élimination des doublons, certains systèmes de bases de données permettent d’utiliser la logique pour automatiser ce processus. Vérifiez donc auprès de votre administrateur système avant que quelqu’un ne commence à éliminer manuellement les doublons.

Renseignez les données manquantes

Pour finir, parcourez vos bases de données et remplissez les informations manquantes. Profitez-en également pour mettre à jour vos données obsolètes. Focalisez-vous en priorité sur les informations que vous avez définies comme essentielles.
Cette partie est souvent la plus longue de l’amélioration de la qualité des données, mais elle est nécessaire afin de garantir l’exactitude des informations que vous avez jugées vitales pour le succès de votre organisation.

Selon la taille de votre base de données, le nettoyage des données peut être un processus très long. Pour l’accélérer, vous pouvez l’externaliser à une société spécialisée qui consolidera toutes vos données dans une seule base de données, les nettoiera et s’assurera que toutes les données restent à jour à l’avenir.

Créer un système précis de saisie des données

Il est impossible d’augmenter ou de conserver une qualité de données sans un système définissant précisément la qualité de données attendue. Ce système doit être pensé pour et avec vos équipes afin d’en assurer la réussite.

Créez une documentation facilement accessible

Une fois que vos bases de données sont nettoyées et complétées, vous devez vous assurer que leur qualité reste élevée. Pour cela, vous devez mettre en place des systèmes permettant de garantir le respect des nouvelles exigences en matière de traitement des données. Vous pouvez par exemple mettre à disposition de vos équipes diverses ressources :

Tutos vidéo

La vidéo permet de présenter oralement et visuellement un sujet. Elle facilite la compréhension et peut-être facilement diffusée à un grand nombre de personnes. Elle est idéale pour les grandes entreprises souhaitant communiquer efficacement sur les bonnes pratiques de gestion de la qualité de données. Dans ce cas, une série de petites vidéos courtes portant chacune sur un sujet spécifique peuvent être diffusées et faire référence à de la documentation complémentaire.

Didacticiels écrits

Le didacticiel écrit (papier ou numérique) peut compléter ou remplacer la vidéo. Il a pour vocation de former les utilisateurs à la façon d’utiliser une base de données ou encore aux meilleures pratiques pour trouver rapidement des types d’informations spécifiques. Pour être efficace, un didacticiel doit répondre à des problématiques précises et expliquer en détail, étapes par étapes, les actions à effectuer.

Documentation de bases de données / logiciels

Tous les services n’utilisant pas les bases de données et logiciels de la même façon, il peut être intéressant de rédiger des documentations spécifiques. Ces documentations doivent comprendre le maximum de détails pour que les équipes soient autonomes et puissent assurer la qualité des données :

• Définitions des données
  Définissez aussi précisément que possible chaque donnée attendue afin que votre équipe sache comment saisir les informations (terminologie, syntaxe à respecter, etc.). N’hésitez pas à illustrer vos attentes avec des exemples concrets. Par exemple, le format attendu de date est JJ/MM/AAA > 04/06/2021.
• Répertoriez toutes les données obligatoires
  Pour assurer la qualité des données et de leurs objectifs (ex : génération de rapports), certaines informations doivent être obligatoirement présentes dans vos bases de données. Pour limiter les erreurs, certains logiciels ou solutions de gestion de bases de données permettent de rendre des champs obligatoires. N’hésitez pas à vous rapprocher de votre contact technique pour en savoir plus.
• Indiquez une fréquence minimum de mise à jour des données
  Définissez une fréquence minimum de mise à jour pour vos données et en particulier pour vos données « sensibles » ; Celles qui doivent être régulièrement revues pour rester des informations de qualité. Par exemple, vous pouvez demander à votre équipe commerciale de renseigner des données spécifiques dès qu’ils ont un nouveau prospect, à savoir plusieurs fois par jour. A contrario, vous pourriez demander au service RH de mettre à jours les données RSE 1 fois par an.

Ces indicateurs temporels sont essentiels pour que chacun sache ce qu’on attend de lui par rapport à la qualité des données.

Impliquez vos équipes

Si vous avez lu notre article sur la résistance au changement, vous savez qu’il peut être compliqué de faire adhérer votre équipe à de nouveaux usages. C’est d’autant plus vrai dans le cas d’une amélioration de la qualité des données. En effet, vos employés sont souvent les premiers concernés par les nouvelles pratiques mises en place. Quelques champs supplémentaires à renseigner et autres données à vérifier peuvent vite être un frein à l’adhésion de vos équipes à votre projet. Pour éviter une telle situation, vous devez réussit à impliquer vos employés dans votre recherche de qualité.

Pour cela, mettez en évidence les avantages de telles améliorations. Les employés doivent réussir à comprendre les bénéfices qu’aura leur implication. Par exemple, des données à jour et vérifiées permettront d’accélérer les processus de vente, d’améliorer la fidélisation de clients ou encore de créer des solutions plus pertinentes, etc. Tout ceci aura pour effet d’augmenter le chiffre d’affaires, le montant des primes, etc.

Si un employé comprend l’intérêt de maintenir des données cohérentes, il sera beaucoup plus disposé à investir l’effort nécessaire.

Arthur JURY : « Je pense aussi qu’impliquer les équipes est un excellent moyen de faire comprendre la quantité de travail et le temps nécessaire pour avoir un système de données performant. J’ai souvent l’impression que mes interlocuteurs, notamment les personnes plus âgées, pensent que la data est simple et rapide. Qu’il suffit d’un claquement de doigt pour extraire une donnée qualifiée. Seulement, avant d’arriver à un résultat pertinent, il faut au préalable longuement réfléchir, imaginer des processus, lier différents systèmes, créer de nouvelles bases de données, etc. »

 

Si votre équipe est trop réticente ou perdrait en productivité à mettre en place les nouvelles pratiques définies, il est aussi possible d’embaucher une personne dédiée à la donnée. De plus en plus de sociétés font par exemple ponctuellement ou régulièrement appel à des « assistants virtuels », des personnes en freelance qui peuvent intervenir au besoin.

Effectuer un audit régulier des données

Même avec une stratégie en place pour maintenir la qualité des données, des erreurs sont inévitables. La réalisation d’audits de données réguliers permet de les détecter avant qu’elles ne puissent causer trop de désagréments. Plus une base de données est utilisée, plus elle doit être testée régulièrement.

Voici comment effectuer vos audits :

Etudier un échantillon de données

Sélectionnez au hasard un échantillon de vos données. Il doit être suffisamment grand pour être représentatif de votre base de données. Demandez ensuite aux principaux utilisateurs de ces données de déterminer si elles sont exactes ou non. Ils doivent examiner attentivement cet échantillon et relever la moindre anomalie : erreur de frappe, donnée obsolète, information manquante, incohérence, etc.

Des erreurs régulières constatées sur une même donnée doivent être étudiées avec attention afin de trouver des solutions et éviter que ces problèmes perdurent.

Etudier les erreurs de données

Lorsque vous détectez des erreurs, corrigez-les mais prenez également le temps d’examiner de plus près les données similaires. Etudiez aussi des données saisies par la même personne pour voir si les erreurs sont individuelles ou liées à des problèmes fonctionnels ou organisationnels.

Dans le cas d’erreurs humaines liées à un ou plusieurs individus, organisez une nouvelle formation ou assignez la gestion des données à d’autres personnes. Si ces erreurs concernent un grand nombre de personnes mais un type de données particulier, étudiez attentivement ces données. Leur format peut ne pas être adapté à la donnée. Par exemple, si on a un champ libre pour renseigner une date à la place d’un sélecteur, l’utilisateur peut facilement faire une faute de frappe, ne pas respecter le bon format, etc.

Il peut arriver aussi que l’erreur soit liée à votre stratégie et aux méthodes mises en place. Il s’agit alors souvent d’erreurs d’obsolescence ou de données erronées qui résultent d’un manque de méthode pour vérifier les informations. Vous pourriez alors revoir vos processus de vérification pour régler ces problèmes.

Si l’erreur est fonctionnelle, comme par exemple si un champ est obligatoire alors qu’il devrait être optionnel ou encore s’il y a une liste déroulante à la place de cases à cocher, vous devrez probablement apporter des modifications à votre logiciel. En règle générale, évitez la saisie libre de données (ex : champ texte), favorisez plutôt les sélecteurs (sélecteurs de dates, liste déroulantes, cases à cocher, jauges, etc.) qui limitent considérablement les erreurs de frappe. N’attendez pas trop pour effectuer ces corrections car plus vous attendez, plus le nombre d’erreurs augmente et plus l’impact sur la qualité de vos données est grand.

Voir plus loin

Arthur JURY : « La donnée est encore trop souvent négligée au sein des entreprises alors qu’elle peut apporter tellement. Il n’est pas obligatoire d’avoir une équipe dédiée pour mettre en place des bonnes pratiques. Il est par exemple possible d’utiliser des indicateurs de performance (KPI) pour mieux comprendre le fonctionnement de son entreprise et ainsi faire face à la concurrence. »

 

Si vos données sont bien structurées et régulièrement mises à jour, vous pourrez en tirer des bénéfices considérables pour votre business. Encore faut-il pour cela avoir les bons outils et les bonnes méthodes. En effet, une simple base de données brute permet rarement de tirer des enseignements très pertinents. Par contre, en liant plusieurs bases de données et en utilisant des technologies de gestion avancée, vos données peuvent prédire l’avenir ou encore mettre en évidence les besoins précis de vos prospects.

Pour cela, Némésis studio développe et met en place des outils de traitement de données sur-mesure. Nous utilisons diverses technologies comme des solutions d’ETL (Extract-transform-load) pour faciliter la gestion de vos données. Au besoin, nous pouvons préparer et adapter vos données de façon automatisée et les déployer sur des infrastructures Big Data.

Ces solutions vous permettent d’exploiter judicieusement vos données grâce aux méthodes prédictives. En utilisant ces données de façon optimale, vous pouvez booster votre business et avoir un coup d’avance sur vos concurrents.

Une bonne gestion de données permet aussi de se projeter vers l’Intelligence Artificielle (IA) et de répondre à des problématiques jusqu’alors irrésolvables.

Comme toujours, notre équipe est à votre écoute. Si vous constatez que votre solution de gestion de données ne vous convient plus ou si aucune solution du marché ne répond à vos besoins, n’hésitez pas à contacter nos experts en gestion de données informatiques. Nous pourrons vous conseiller et vous proposer une solution sur-mesure répondant à l’ensemble de vos problématiques.