Mise en place d'un Data Warehouse pour un chocolatier (cas pratique)

Contexte et expression du besoin data

Dans le cadre de son implantation sur le marché européen, notre client, un chocolatier brésilien haut de gamme, fait face à plusieurs enjeux opérationnels : création d’un réseau de distribution multicanal (boutiques physiques, e-commerce), mise en place de la chaîne logistique (approvisionnement, gestion des stock en entrepôts), gestion de la relation client, pilotage de la performance.

‍

L’infrastructure informatique construite en support de ces opérations génère et déplace un volume important de données, dont l’exploitation est critique à plusieurs niveaux :

• La gestion des opérations, unifiée au niveau du siège pour le marché européen, nécessite de pouvoir centraliser, croiser et analyser ces données issues de systèmes opérationnels multiples.
• Le pilotage stratégique, qui doit pouvoir s’appuyer sur une compréhension globale de l’évolution de l’activité, exige la mise en place d’outils de Business Intelligence afin de suivre en continue des indicateurs clés de performance commerciale et financière (ventes en ligne et en boutique, coûts, résultat)
• Les exigences de conformité réglementaires (comptabilité, normes sanitaires, etc) supposent une stricte historisation et standardisation des données, en support des processus de contrôle.

‍

‍Comment mettre en place un Data Warehouse ? L’accompagnement par Solstice

Pourquoi un datawarehouse pour ce projet ? 

Une fois le besoin intégralement compris, voici les arguments nous ayant menés à opter pour un entrepôt de données (plutôt qu’un lac de données ou un ERP par exemple) :

• Données structurées : l’intégralité des données fournies par les systèmes opérationnels sont des données structurées et se prêtent parfaitement à un stockage dans des bases SQL.
• Besoin clairement défini : l’objectif est de créer des rapports de performances pour les boutiques. La donnée sera utilisée à des fins d’analyse, de reporting et d’exploration.
• Pas de temps réel : un rafraîchissement quotidien des données est largement suffisant pour ce projet, le temps réel n’ayant pas de forte valeur ajoutée.
• L’utilisateur sera un stratège / analyste : l’utilisation principale des données dans ce projet sera l’aide à la prise de décisions stratégiques quant au pilotage des boutiques. L’utilisation et l’exploitation des données doivent donc être simplifiées.
• Qualité de la donnée essentielle : pour la création de rapport comptables, il est crucial de disposer d’une donnée de qualité maximale.

‍

Pour répondre à ces enjeux, Solstice Lab a donc mis en place pour son client un Data Warehouse dans le Cloud, basé sur la technologie Microsoft Azure, alimenté par 4 sources distinctes. Pour permettre par la suite l’exploitation et l’analyse des données dans Power BI.

Alimentation du datawarehouse

Sur AirTable, service de bases de données offrant une interface de gestion visuelle, nous avons construit un “Product Master Data”, source unique de référence (Single Source of Truth, SSOT) pour la base produits, qui distribue aux différents systèmes opérationnels (logistique, e-commerce, boutique) le catalogue unique de produits distribués.

‍

Les outils d’ETL du service Azure Data Factory (ADF) ont permis la création de flux d’extraction et de transformation des données issues des systèmes opérationnels (ecommerce Shopify, logiciels de caisse Cegid, logiciel de gestion d'entrepôt Generix, outil sur mesure de gestion de la base produits et des commandes AirTable), vers une base de données unique :

• Les nombreux “connecteurs” spécifiques proposés par ADF permettent de s’adapter à toutes les interfaces de transmission de données (API, SQL, fichiers CSV…).
• Les pipelines de transformation automatiques sont configurés et planifiés pour rapatrier à intervalles réguliers les données des systèmes sources et leur fournir une structure optimisée pour l’analyse
• Une base de données unique centralise ces données, et alimente les outils de BI.
• Les données sont disponibles, prêtes pour l’analyse, et disposées dans des tables Microsoft Azure SQL Database.
• Un rafraîchissement quotidien des données, en venant tirer l’information des sources, permet de suivre de près, les performances de chaque boutique.

Exploitation et analyse des données

Sur Power BI, Solstice Lab a développé un ensemble de rapports sur mesure, alimentés quotidiennement par le Data Warehouse, offrant à son client un suivi continu de :

• ses ventes en boutiques et en ligne
• ses stocks en boutique et en entrepôt
• ses coûts, ses résultats opérationnels
• l’atteinte de ses objectifs
• ses indicateurs financiers et comptables.

‍

Les opérations pensées et réalisées en amont du stockage dans le Data Warehouse nous garantissent une donnée propre et exploitable.

Le modèle de données Power BI est exclusivement alimenté par les données du Data Warehouse, seule source utilisée. Nous évitant ainsi de multiplier les connexions externes et facilitant les règles de gestion et d’accès.

Ainsi nous avons été en capacité de créer les connexions nécessaires dans le data model, et de développer efficacement les nombreuses pages du rapport.

Ce rapport est disponible en production sur Power BI et est consulté quotidiennement par notre client.

Schéma d'architecture générale, simplifié

‍

Les enseignements à retenir

• Comme nous l’avons déjà expliqué, chaque solution / infrastructure data dispose de fonctionnalités propres. Une bonne analyse et totale compréhension du besoin permet un gain important de temps / ressources / efficacité.
• Un Data Warehouse est une solution de choix, à partir de laquelle des tableaux de bord et de visualisations peuvent être construits.

‍

Ainsi, la mise en place d'un Data Warehouse s'est avérée être le choix technologique le plus pertinent face aux enjeux en présence. En centralisant et en unifiant les données provenant de multiples systèmes opérationnels, le Data Warehouse permet une gestion optimisée des opérations et un pilotage stratégique basé sur des indicateurs clés de performance. Le reporting sur mesure offre au client une vision globale de son activité et une aide à la décision précieuse pour optimiser ses performances commerciales et financières. Le Data Warehouse s'est donc révélé être l'outil approprié et essentiel pour accélérer la croissance et le succès de notre client sur le marché européen.