Operationele efficiëntie
Een meertalige RAG-chatbot op Azure voor fondsenwerving
Filantropische stichtingen beheren honderden projectoproepen, elk met eigen toelatingsvoorwaarden, deadlines en contactpunten. Een toonaangevende Europese stichting zocht een snellere, consistentere manier om die informatie in vier talen toegankelijk te maken.
Agilytic leverde een proof of concept voor een meertalige RAG-chatbot op Azure. Die toonde hoe een LLM-assistent deze terugkerende vragen betrouwbaar kan behandelen.
Om de vertrouwelijkheid te beschermen, kunnen we specifieke details aanpassen. Onze belangrijkste bijdrage geven we altijd correct weer.
Context en doelstellingen
De teams van de stichting kregen steeds dezelfde vragen: welke projectoproepen staan open, wie komt in aanmerking, hoe dient men een aanvraag in en wie is de contactpersoon? Die informatie stond verspreid over webpagina's en interne documenten in vier talen: Engels, Frans, Nederlands en Duits. Ze telkens consistent terugvinden en toelichten kostte bijzonder veel tijd.
De POC moest toetsen of:
Een LLM-gebaseerde assistent snel en correct toegang kon bieden tot de juiste informatie
Meertalige ondersteuning binnen één oplossing mogelijk was
Het systeem veilig kon draaien in de eigen Azure-omgeving van de stichting
Het bredere doel was de basis leggen voor een schaalbare oplossing die uiteindelijk het groeiende aantal terugkerende vragen kon verminderen.
Aanpak
1. Afbakening en datavoorbereiding
De stichting had voor de projectstart al doelgroeppersona's bepaald. Agilytic gebruikte die als belangrijke input voor workshops om de chatbotdoelen te verfijnen, terugkerende vraagpatronen te herkennen en testgevallen te ontwerpen. We identificeerden verschillende databronnen:
Website-inhoud, vastgelegd als momentopnames voor elk van de vier talen
Interne documenten uit de assetmanagementsystemen van de stichting
Zoals altijd spraken we toegangsvereisten en verantwoordelijkheden voor infrastructuur vroeg af om ontwikkelvertragingen te vermijden.
2. De RAG-chatbot bouwen op Azure
De oplossing gebruikte Dify als orkestratielaag, in Docker op een Azure-VM, met Azure OpenAI als modelaanbieder. We bouwden vier taalspecifieke kennisbanken op basis van de websitekopieën, aangevuld met relevante interne documenten.
De gespreksstroom omvatte automatische taalherkenning en vertakking. Gebruikers kregen dus antwoorden in hun eigen taal zonder handmatig te wisselen.
3. Iteratief testen en bijsturen
Interne betrokkenen testten de RAG-chatbot op Azure in meerdere rondes. Op basis van hun feedback pasten we prompts en zoekparameters aan:
Te lange antwoorden inkorten
Relevantere passages ophalen
Hiaten in de onderliggende data signaleren
Resultaten
De POC bevestigde dat een meertalige RAG-chatbot op Azure doeltreffend kan worden ingezet en gebruikt, aanvankelijk voor interne tests.
1. Wat waarde opleverde
De antwoordtijd bedroeg gemiddeld ongeveer 3 seconden, tot 6 seconden voor complexere vragen
Gebruikers bevestigden de waarde van het concept en waardeerden de meertaligheid
De oplossing draaide veilig in de eigen Azure-tenant van de stichting
2. Welke risico's naar voren kwamen
De volledigheid van data bepaalde rechtstreeks de antwoordkwaliteit. Sommige projectoproepen ontbraken in de website-extractie, waardoor de chatbot onjuiste of verouderde informatie gaf. Sommige antwoorden werden ook als te lang of onvoldoende gericht ervaren.
Zonder een beheerste uitrolstrategie konden bovendien kosten en misbruikrisico's oplopen.
3. Roadmap naar productie
Data: vervang losse websitekopieën door een gestructureerde gezaghebbende bron (datawarehouse of database) en bepaal hoe updates automatisch verlopen
Infrastructuur: schaal rekenkracht voor meer gelijktijdige gebruikers, bekijk de tokenquota van Azure OpenAI en voeg een beheerde gateway toe voor SSL, sleutelrotatie, aanroeplimieten en bescherming tegen prompt injection
Uitrol: ga gefaseerd van intern gebruik met menselijk toezicht naar beperkte externe toegang achter authenticatie en uiteindelijk naar publieke website-integratie zodra het systeem stabiel is
De stichting vindt het concept waardevol, vooral om buiten kantooruren informatie te bieden. De belangrijkste voorwaarde voor een vervolg is nu vertrouwen in de kwaliteit van de onderliggende data.
💡 Wat het gebruik van een RAG-chatbot kost
De POC draaide op een standaard Azure OpenAI-implementatie met betaling naar gebruik. Voor een kennisbank van deze omvang, honderden documenten in vier talen, zijn de maandelijkse inferentiekosten verwaarloosbaar naast de bespaarde uren. Documentvoorbereiding en evaluatie zijn de echte kostenposten. Daar hoort het projectbudget naartoe te gaan. We publiceren dit omdat de meeste aanbieders het niet doen: het model is het goedkope deel.
Om de vertrouwelijkheid te waarborgen, kunnen we bepaalde details in onze klantcases aanpassen.