Avancer les solutions de marketing digital avec un data warehouse amélioré

Contexte & Objectifs

Un leader des solutions de marketing digital avait besoin d'un data warehouse face à l'augmentation du volume et de la complexité de ses données. L'intégration de sources multiples directement dans Tableau ralentissait les dashboards, freinant les processus commerciaux et opérationnels.

Notre client a compris qu'il était temps de passer à une infrastructure de gestion des données dans le cloud pour optimiser les coûts, réduire la maintenance, exploiter des technologies de pointe et faciliter les développements. Ils ont fait appel à Agilytic pour déployer cette nouvelle solution.

Approche

Nous avons conçu un proof-of-concept pour valider un pipeline de données et un data warehouse hébergés dans le cloud.

D'abord, nous avons défini le périmètre et les besoins métier. Des entretiens avec les parties prenantes ont permis d'identifier les cas d'usage à court et long terme pour concevoir les nouveaux flux de données.

Ensuite, nous avons réalisé une étude de marché pour sélectionner le cloud provider le plus adapté. En choisissant Amazon Web Services (AWS), nous avons défini la configuration d'intégration idéale (développement, test, production) et l'architecture analytique pour garantir une infrastructure sur mesure.

Développement ETL avec AWS

Nous avons ensuite configuré l'infrastructure cloud (en partie via IaC) et géré le développement ETL du data warehouse. Les cas d'usage reposaient sur deux sources de données: une base PostgreSQL hébergée sur AWS et Google BigQuery pour les données analytics. Le client maîtrisait déjà certaines pratiques DevOps comme l'Infrastructure as Code (IaC). Le choix du cloud provider étant fait, il restait à sélectionner l'outil ETL. Deux options ont été évaluées: AWS Glue ou des fonctions Lambda en Python pilotées par AWS Step. Intéressés par le data catalog, nous avons choisi Glue. Sur le plan technique, le projet a principalement consisté à traduire des requêtes SQL en Spark. Nous avons également animé deux sessions de formation sur Glue et les concepts ETL.

Avant de finaliser le data warehouse, nous avons affiné la logique métier. Nous avons aussi créé un data catalog avec un lignage clair (lineage) et des règles de gouvernance pour simplifier la gestion à long terme.

Résultats

En deux mois, nous avons livré un pipeline ETL et un data warehouse robuste, flexible et basé sur une infrastructure cloud fiable.

Les équipes métier accèdent désormais à des données à jour pour prendre des décisions rapides et stratégiques. En cas de doute, elles peuvent vérifier la définition des données directement dans le data catalog fourni.

Grâce à la scalabilité de cette solution, les nouveaux développeurs pourront facilement ajouter des fonctionnalités ou adapter la structure selon les besoins du business.