Van modellen naar pipelines: het traject van een data engineer

Nu data de belangrijkste pijler van moderne bedrijven worden, herbekijken veel professionals hun rol in de datawereld. John Hammerschlag van Agilytic is daar één van. Aanvankelijk trok de ontdekkingstocht van data science hem aan. Intussen richt hij zich op data engineering. Zo kan hij, zoals hij het zegt, ‘de weg bouwen voordat de reis begint’. 

Teams die vooral uit data scientists bestaan, boeken vaak moeilijk vooruitgang door een gebrek aan data engineering als fundament. Dat is essentieel voor langdurig succes in data science. In dit openhartige interview vertelt John hoe zijn nieuwsgierigheid verschoof van data analyseren naar data structureren. Hij belicht de verrassende uitdagingen en voldoening van data engineering.

Zijn traject weerspiegelt een groeiende trend: de fundamenten van data begrijpen is even belangrijk als de inzichten eruit interpreteren.

Wat trok u aanvankelijk aan in data science en hoe groeide uw interesse in data engineering?

Ik was eerst gefascineerd door machine learning en werkte graag met modellen om inzichten uit data te halen. Die nieuwsgierigheid is er nog: ik werk zelfs aan eigen machinelearningprojecten. Maar gaandeweg besefte ik dat inzichten maar zo goed zijn als de data waarop ze steunen. Veel bedrijven ontdekken dat op de harde manier: zonder sterke datafundamenten loopt data science vaak vast of is het werk onbetrouwbaar.

Ik kreeg interesse in datavoorbereiding: het werk achter de schermen dat de kwaliteit van de gebruikte data waarborgt. Dat inzicht bracht me bij data engineering, waar ik me richt op een betrouwbaar dataplatform. Ik maak data graag echt bruikbaar, alsof ik eerst de fundering leg voordat de analyselagen erop komen.

Dat sluit ook sterk aan bij onze projecten bij Agilytic: data scientists moeten vaak naar data engineering overschakelen om echt vooruit te komen.

Hoe verschilt de denkwijze of werkaanpak tussen data science en data engineering?

Veel organisaties lopen vast op dat verschil in reikwijdte. Hun data scientists werken aan specifieke uitkomsten, maar zonder het voorbereidende engineeringwerk zijn die inspanningen niet schaalbaar. Data science is erg projectgericht. U vertrekt van een dataset en werkt naar een bepaald doel, zoals een uitkomst voorspellen.

Bij data engineering is de aanpak veel breder. U kijkt niet alleen naar het doel van één project, maar ontwerpt een pipeline voor meerdere toepassingen en afdelingen. Het gaat om vooruitdenken:

• toekomstige behoeften voorzien,

• de volledige datastroom van bron tot gebruik begrijpen,

• en zorgen dat de infrastructuur dat alles vlot aankan.

U moet dus bijna het hele data-ecosysteem in één oogopslag zien!

Wat veranderde in uw dagelijkse taken toen u naar data engineering overstapte?

Mijn werk veranderde aanzienlijk. In data science besteedde ik veel tijd aan modelleren en algoritmen bouwen. Bij data engineering gaat het meer om pipelines bouwen en onderhouden. Ik werk nu bijvoorbeeld veel in PySpark in plaats van de Python-bibliotheken die doorgaans voor modellering worden gebruikt. Mijn taken omvatten:

• databronnen opzetten,

• binnenkomende data standaardiseren,

• data aggregeren op een manier die voor elke afdeling zinvol is,

• en zorgen dat de pipeline soepel draait.

Het einddoel is dat iedereen met schone, betrouwbare data kan werken.

Vroeg de overstap ook nieuwe vaardigheden?

Zeker. Ik gebruik nog Python, maar vooral PySpark voor gedistribueerde dataverwerking. Ook SQL is essentieel, vooral voor gestructureerde data in grote datasets.

Data engineering omvat ook veel cloudwerk: opslag en rekenmiddelen opzetten en verbindingen tussen verschillende databronnen beheren. Het is op een andere manier technisch. Minder gericht op modelnauwkeurigheid en meer op dataverwerking en -opslag optimaliseren.  

Al die vaardigheden zijn cruciaal voor organisaties die schaalbare systemen nodig hebben, maar deze specifieke expertise missen.

Waren er misverstanden of verrassingen bij de overstap van data science naar data engineering?

Voor velen is de verrassing dat data engineering een cruciaal fundament voor de lange termijn is, geen snelle oplossing. Een veelvoorkomend misverstand is dat data engineering rechtstreeks tot modellen bouwen leidt. Dat is echt niet zo. Data engineers leggen de basis. Wij zorgen dat data klaarstaan en toegankelijk zijn, maar bouwen er doorgaans zelf geen modellen mee. Dat doen meestal data scientists.

Veel klanten hebben vergelijkbare misverstanden. Ze denken vaak dat data engineering hun data-sciencewerk meteen versnelt, maar het gaat vooral om de infrastructuur die projecten duurzaam en schaalbaar maakt. Klanten beseffen snel het belang van data engineering als modellen zonder die basis traag en inefficiënt in productie komen.

Hoe werken data scientists en data engineers in uw team samen?

Samenwerking is de centrale pijler van al onze projecten. We werken nauw samen, met altijd open communicatie als iemand inzicht nodig heeft in een platform of data-engineeringvraagstuk. En als ik een vraag over datamodellering heb, is er altijd iemand om te raadplegen. We hebben aparte kanalen voor vragen en overleg. Niemand hoeft dus alleen met een probleem te worstelen.

Die wisselwerking helpt ons elkaars behoeften te begrijpen. Data scientists kunnen bijvoorbeeld aangeven welke dataformaten ze nodig hebben. Zo hoeven we op het laatste moment niets te herwerken.

Voor klanten kan zo'n nauwe samenwerking tussen data scientists en engineers een groot verschil maken. Zonder goede samenwerking krijgen ze vaak te maken met herhaald herstelwerk en inefficiënties. We hebben zelf gezien hoe die kloof overbruggen dataprocessen kan stroomlijnen en projectresultaten kan verbeteren.

Welke unieke waarde brengen data scientists in een data-engineeringteam? 

Ze hebben zicht op het eindresultaat: waarvoor de data uiteindelijk gebruikt worden. Hun input is cruciaal omdat die ons helpt de data te structureren zodat ze makkelijk bruikbaar zijn voor modellering.

Zonder hun inzichten riskeren we data te leveren die niet helemaal aan hun behoeften voldoen, met inefficiëntie en extra werk tot gevolg. Hun begrip van de betekenis en het doel van data voegt bedrijfscontext toe die onze inrichting stuurt.

Op welk project bent u bijzonder trots? 

Mijn eerste data-engineeringproject heeft veel indruk op me gemaakt. We bouwden een dataplatform in Azure en een kleine webapp in Python, zodat de klant rechtstreeks met de data kon werken en ze opschonen. 

Uiteindelijk implementeerden we ook voorspellingsmodellen met Prophet en Darts. In dat project deed ik alles, van dataplatform tot modellen in productie brengen. Het was de ideale combinatie van data engineering en data science.

Welk advies hebt u voor iemand die dezelfde overstap overweegt? 

Probeer altijd de bredere impact van uw werk te begrijpen.

Het is makkelijk om op te gaan in de techniek. Maar de einddoelen kennen, de bedrijfsbehoeften en hoe klanten de data gebruiken, maakt een enorm verschil. Veel data scientists en zelfs bedrijven blijven hangen in technische details. Ze missen het bredere inzicht in hoe data engineering schaalbare inzichten mogelijk maakt.

De eenvoudigste oplossingen, die kwaliteit en schaalbaarheid waarborgen, zijn vaak het doeltreffendst. En vergeet niet: solide datafundamenten bouwen lijkt in het begin misschien trager, maar versnelt het succes van data science op lange termijn!

Trouwens, we zoeken nieuwe collega's. Solliciteer hier!