Een analysechatbot op Databricks om minder afhankelijk te zijn van het datateam

Context en doelstellingen

Bij een toonaangevende aanbieder van opslagruimtes met honderden vestigingen in Europa waren zakelijke gebruikers sterk afhankelijk van het datateam voor ad-hocvragen over data. Daardoor konden ze minder makkelijk zelfstandig bedrijfsdata raadplegen en analyseren. Dat vertraagde de besluitvorming en belemmerde de bredere inspanningen rond datademocratisering.

Het doel was die afhankelijkheid te verminderen door een analysechatbot te ontwikkelen, rechtstreeks gekoppeld aan het bestaande datawarehouse van het bedrijf. Het project moest:

• Een werkende proof of concept opleveren binnen een beperkte, duidelijk afgebakende scope

• Een geselecteerde groep gebruikers in staat stellen om bedrijfsdata in gewone taal te bevragen, ongeacht hun technische achtergrond

• Uitgebreide documentatie opleveren om de oplossing verder te ondersteunen

Aanpak

1. Technologiekeuze

Na vergelijking van verschillende technische opties beval Agilytic een oplossing aan die rechtstreeks in het bestaande dataplatform van de klant paste. Die keuze bracht de behoefte aan een snel ontwikkelde proof of concept in evenwicht met de voorkeur om de afhankelijkheid van één leverancier te beperken. Zo kon het interne testen van het gebruik starten zonder een langdurige technische voorbereiding.

2. Iteratief bouwen en verfijnen

De oplossing werd stapsgewijs gebouwd en verfijnd:

• Er werd een ontwikkelomgeving aangemaakt en verbonden met de relevante bedrijfsdata.

• De chatbot werd afgestemd op de meetwaarden en filters in de bestaande rapportering van de klant. Veel zakelijke context achter de cijfers stond immers alleen in die rapporten en niet in de ruwe data zelf.

• Er werd een automatisch deploymentproces gebouwd om de oplossing vlot tussen ontwikkel-, test- en productieomgevingen te verplaatsen.

Gezien de beperkte tijd en het budget koos het team bewust voor diepgang boven breedte. Het concentreerde zich op twee belangrijke datadomeinen en verrijkte die met extra zakelijke meetwaarden, in plaats van veel databronnen te bestrijken.

3. Gecontroleerd testen

De oplossing bevatte een ingebouwd feedbackmechanisme waarmee gebruikers antwoorden konden beoordelen en opmerkingen achterlaten. Dat maakte snelle verbeteringen van de juistheid mogelijk. Zodra de zakelijke context goed was vastgelegd, bereikte de juistheid van de antwoorden een hoog niveau. Een kleine gebruikersgroep testte de oplossing, in lijn met de afgesproken proof-of-conceptscope.

Resultaten

• Vier omgevingen voor de analysechatbot voor ontwikkeling, testen en productie, waaronder één om een extra datadomein te verkennen

• Een automatisch deploymentproces in de bestaande pipeline van de klant om de oplossing vlot tussen omgevingen te verplaatsen

• Een oplossing op maat voor datatransformatie voor een behoefte aan bedrijfsanalyse die tijdens het project naar voren kwam

• Uitgebreide documentatie ter ondersteuning van toekomstige configuratie en onderhoud

Zodra de zakelijke context goed was verwerkt, was de juistheid van de antwoorden hoog. Dat bevestigt dat datakwaliteit en -structuur doorslaggevend zijn voor dit soort oplossing.