Data-scienceprojecten beheren: CRISP-DM, TDSP en wat werkt
Wat is CRISP-DM?
CRISP-DM staat voor Cross-Industry Standard Process for Data Mining. Het dateert uit de late jaren negentig, wat het in dit vakgebied zou moeten diskwalificeren. Toch is het nog altijd het meest gebruikte denkkader voor dataprojecten. Het houdt stand omdat de zes fasen beschrijven hoe het werk echt verloopt:
De bedrijfscontext begrijpen: welke beslissing verandert dit project?
De data begrijpen: wat hebben we en kunnen we het vertrouwen?
Data voorbereiden: het meeste werk, altijd onderschat.
Modelleren: het deel waarvan iedereen denkt dat het het hele project is.
Evalueren: beantwoordt het model de bedrijfsvraag of scoort het alleen goed?
In productie brengen: waar de waarde ontstaat en de meeste projecten vastlopen.
De fasen herhalen zich. Een ontdekking tijdens het modelleren stuurt u terug naar datavoorbereiding. Evaluatie laat soms zien dat de bedrijfsvraag vanaf dag één verkeerd was geformuleerd. Een team dat die lussen verwacht, plant ze in. Een team dat een rechte lijn verwacht, noemt ze vertragingen.
Wat CRISP-DM niet behandelt, is even belangrijk als wat het wel omvat. Het zegt niets over iteratietempo, rollen of teamcommunicatie. Het vertelt wat u moet doen, niet hoe u de mensen aanstuurt die dat doen. Als vragenchecklist bewijst het zijn waarde. Maar als projectplan stelt het teleur.
Waarom geen enkel raamwerk ongewijzigd bij data science past
Veel methoden proberen de leemte van CRISP-DM te vullen. Sommige teams lenen Kanban, meer teams kiezen Scrum. Beide botsen op hetzelfde: data science is verkennend en een ontdekking laat zich niet in een sprint plannen. Een model dat in het vorige project twee weken vroeg, kost er nu zes omdat de data vuiler aankwamen.
Ervaren teams combineren in de praktijk dus methoden en passen die soepel toe. Dat is geen gebrek aan discipline. Het erkent dat elk project, elke sector en elke dataset een iets andere route vraagt, terwijl de controlepunten gelijk blijven.
TDSP: de praktische handleiding
De bruikbaarste poging om dit samen te brengen is Microsofts Team Data Science Process (TDSP), de basis van projectbeheer bij Agilytic. TDSP combineert Scrum en CRISP-DM in één proces. Als CRISP-DM de kaart geeft en Scrum het tempo, probeert TDSP beide in één handleiding onder te brengen. Het is niet perfect, maar als leidraad werkt het beter dan beide afzonderlijk.
TDSP (bron: Microsoft)
Waar data-scienceprojecten mislopen
In onze projecten zien we een voldoende duidelijk patroon om vier valkuilen te benoemen.
Eerst de verwachtingen van de klant. Betrokkenen komen met een probleem en vaak een vast beeld van de oplossing, zonder te weten wat de data toelaten. Voor de start moeten beide partijen het eens zijn over de oplevering. Die afspraak moet opnieuw bekeken worden wanneer de data tonen wat echt mogelijk is.
Ten tweede onzekerheid. Niets is gegarandeerd: modelnauwkeurigheid hangt af van datakwaliteit, en die kent u pas als u met de data werkt. Zijn de bruikbare volumes kleiner dan verwacht, dan verschuiven timing en kosten. Goed projectbeheer neemt die onzekerheid niet weg, maar maakt risico's vroeg zichtbaar en benoemt ze.
Dan scope-uitbreiding. Enkele weken in een project ontstaan nieuwe inzichten en wil de klant iets wat niet was afgesproken. Enige flexibiliteit is gezond: verkennen is net de bedoeling. De grens: als een wijziging budget of deadline beïnvloedt, zeg dat vóór het werk, niet erna.
En communicatie, die wordt overgeslagen omdat iedereen liever bouwt. Een wekelijkse klantvergadering en een korte schriftelijke update aan betrokkenen dekken het meeste af. Intern houden korte stand-ups het team op één lijn en geven ze mensen ruimte om verzwegen risico's te melden. Weinig spectaculair, maar bepalender voor meer projecten dan de keuze van een algoritme.
Gewoontes die projecten op koers houden
Een checklist per projecttype. De details verschillen, maar cruciale stappen keren terug. Een vergeten stap kost meer dan een saaie checklist.
Bepaal de opleveringen voordat het werk begint. Niet ‘een model’, maar het exacte resultaat: een API in hun product, een bestand met scores dat het verkoopteam maandag inlaadt, een dashboard dat de CFO opent. Heel concrete opleveringen maken voor iedereen het doel duidelijk.
Een communicatieritme dat ook drukke weken overleeft. Projecten dwalen af wanneer overleg stilzwijgend verandert in ‘wanneer nodig’.
Transparantie als iets misgaat. Een risico verbergen voor een klant levert een week comfort op, maar kost u de relatie. Omgekeerd geldt hetzelfde: vraagt de klant een wijziging, wees dan helder over wat daardoor wel en niet haalbaar wordt.
Onze 3 belangrijkste tips, ongewijzigd na meer dan 400 projecten
Projecten vragen meer tijd en middelen dan u denkt. Ga ervan uit dat er moeilijkheden komen en plan daarvoor.
Laat buffers in uw agenda. In de korte ruimte na een vergadering gebeurt de opvolgactie echt.
En zet bij twijfel een stap terug: stem opnieuw af waarom het project bestaat. U kunt makkelijk drie dagen diep graven en daarna ontdekken dat u op de verkeerde plek zat.
Vragen die we krijgen
Is CRISP-DM verouderd?
De fasen zijn nog even relevant. De leemtes zijn er ook: niets over MLOps, iteraties of rollen. Gebruik het als vragenchecklist, niet als plan.
CRISP-DM of Scrum?
Ze lossen verschillende problemen op. CRISP-DM structureert het analytische werk, Scrum de tijd van het team. De meeste werkende aanpakken, ook de onze, combineren beide.
Wat gebeurt er na de uitrol?
Monitoring. Modellen verslechteren wanneer de wereld verandert. Een model dat niemand opvolgt, is een beslissing die niemand controleert. We schreven over waarom drift modelprestaties aantast en wat u eraan kunt doen.