Digitale marketingoplossingen versterken met een beter datawarehouse

Context & doelstellingen

Een toonaangevende aanbieder van digitale marketingoplossingen had door het groeiende datavolume en de toenemende complexiteit een datawarehouse nodig. Data uit verschillende bronnen werden in Tableau gecombineerd, waardoor dashboards traag reageerden en commerciële en operationele processen vertraagden. 

Onze klant wist dat het tijd was voor databeheer in de cloud, met voordelen zoals kostenoptimalisatie, minder onderhoud, moderne technologie en eenvoudiger ontwikkelen. De klant schakelde Agilytic in om een nieuwe oplossing te implementeren.

Aanpak

We startten met een proof of concept voor een datapipeline en een datawarehouse in de cloud. 

Eerst bepaalden we de scope en zakelijke vereisten. Via gesprekken met belanghebbenden bij de klant identificeerden we toepassingen voor de korte en lange termijn om de datastromen te helpen herontwerpen.

Daarna onderzochten we de markt om de cloudleverancier te vinden die het best bij de behoeften van de klant paste. We kozen Amazon Web Services (AWS) en bepaalden de ideale cloudintegratie voor ontwikkeling, test en productie en de iteratieve opbouw van de analyticsomgeving, zodat de infrastructuur bij de klant paste.

ETL-ontwikkeling met AWS

Vervolgens richtten we de cloudinfrastructuur in, deels via IaC, en deden we de ETL-ontwikkeling voor het datawarehouse. De toepassingen gebruikten twee databronnen: een PostgreSQL-database in de AWS-cloud en Google BigQuery met analyticsdata. De klant had cloudervaring en beheerste goede DevOps-praktijken zoals Infrastructure as Code (IaC). Na de leverancierskeuze moesten we dus alleen nog de ETL-tool kiezen. We overwogen AWS Glue of Python-lambdafuncties die door Step werden geactiveerd. De datacatalogusfunctie gaf de doorslag voor Glue. Technisch bestond het project vooral uit SQL-query's vertalen naar Spark. We gaven twee opleidingen om Glue en ETL-concepten te introduceren. 

Voor de afronding van het datawarehouseproject werkten we de bedrijfslogica uit om de laatste aanpassingen voor de klant te doen. We maakten ook een datacatalogus met vastgelegde dataherkomst en richtlijnen voor datagovernance, om het beheer op lange termijn eenvoudiger te maken.

Resultaten

In twee maanden ontwikkelden we een ETL-pipeline en een robuust, flexibel datawarehouse op een betrouwbare cloudinfrastructuur. 

Zakelijke afdelingen hebben met de oplossing toegang tot de recentste data om snel beslissingen met impact te nemen. Bij twijfel begrijpen ze de data snel via de meegeleverde datacatalogus.

Dankzij de schaalbaarheid van de oplossing kunnen nieuw aangeworven ontwikkelaars eenvoudig functies toevoegen of wijzigingen doorvoeren die zakelijke gebruikers vragen.