Een integratiepipeline in Microsoft Fabric bouwen voor CRM-data

Context en doelstellingen

De klant moest de integratie van zijn CRM-data (HubSpot) in zijn Microsoft Fabric-platform betrouwbaarder en volwassener maken.

De datastroom zelf zorgde voor extra complexiteit: de brondata kwamen uit het ERP-systeem van de klant en gingen via een SSIS-integratielaag en een SQL Server-datawarehouse, voordat ze Fabric en uiteindelijk HubSpot bereikten. Een eerste laag met ruwe data bestond al uit een eerdere implementatiefase, maar de bewerkte lagen die nodig waren om die data betrouwbaar bruikbaar te maken ontbraken nog.

Daarbij speelden verschillende uitdagingen:

• Bepalen welke CRM-objecten en -velden echt nodig waren en hoe ze moesten worden gekoppeld

• Een bestaande maar onvolledige implementatie doorgronden, met weinig documentatie als houvast

• Een medallion-architectuur opzetten, met ruwe, verfijnde en gebruiksklare lagen, boven op een vrij complexe datastroom door meerdere systemen

• Zorgen dat een team zonder diepgaande specialistische kennis van de integratietechnologie de pipeline kon onderhouden

Aanpak

1. Overname en afstemming over de scope

Het project begon met een beoordeling van de bestaande Fabric-implementatie: wat was al gebouwd, waar zaten hiaten en welke vervolgstappen waren realistisch? Daarna volgde een aparte afbakeningsfase om samen met de klant te bevestigen welke CRM-objecten en -velden ertoe deden en welke integratieregels moesten gelden.

Die afspraken kwamen in een gedeeld referentiedocument, dat beide teams een gemeenschappelijke, gestructureerde basis gaf voor de technische uitwerking.

2. De medallion-architectuur bouwen

Met de goedgekeurde scope bouwde Agilytic de ontbrekende lagen van een medallion-architectuur. Zo evolueerden de ruwe data naar bewerkte datasets die klaar waren voor zakelijk gebruik:

• Configureren en stabiliseren van de Fabric Dataflows en onderliggende pipelinestappen om data betrouwbaar van bron naar platform te brengen

• Ontwerpen en implementeren van de tussenlaag en de gebruiksklare laag boven op de bestaande ruwe laag, met een datastructuur afgestemd op de echte gebruiksbehoeften

• Oplossen van mapping- en datakwaliteitsproblemen tussen de betrokken bronsystemen

Zo kreeg de klant een databasis die zowel werkte als was ingericht voor onderhoud en governance op lange termijn. Dat was essentieel gezien het aantal systemen dat de data doorliepen vóór ze HubSpot bereikten.

3. Stabilisatie en overdracht

Daarna volgde ondersteuning om problemen op te lossen, het verversen van data te verfijnen en de algemene datakwaliteit te verbeteren. Zo werd de pipeline een betrouwbare, stabiele basis en geen eenmalige oplevering.

Het traject eindigde met een gestructureerde overdracht, documentatie van de oplevering en de volgende stappen om het dataproduct verder te ontwikkelen.

Resultaten

Het project leverde een werkende Microsoft Fabric-integratie voor CRM-data op, heringericht volgens een degelijke medallion-architectuur:

• Een onvolledig platform werd uitgebouwd van een ruwe datalaag naar gebruiksklare lagen voor de business

• De nodige pipelinestappen werden geïmplementeerd en gestabiliseerd om data betrouwbaar door meerdere systemen te laten stromen, van het bron-ERP tot het eindplatform

• Een gevalideerd datamodel en mappingdocument gaven de klant duidelijkheid over de scope en verdere regels

• Concrete aanbevelingen voor vervolgstappen werden uitgewerkt, waaronder optimalisatie van de lagen en voorbereiding op rapportering

De klant waardeerde de pragmatische aanpak en de gestructureerde afstemming over scope en mapping. Het traject bracht ook verdere kansen aan het licht, waaronder platformoptimalisatie en ondersteuning van rapportering.