Operationele efficiëntie
Een documentverwerkingspipeline voor onderbouwde beleidsvorming
Publieke organisaties steunen op grote hoeveelheden gepubliceerd onderzoek en rapporten om beleid te bepalen. Toch blijft het een uitdaging om op het juiste moment de juiste documenten te vinden.
Agilytic bouwde samen met een internationale publieke organisatie een documentverwerkingspipeline waarmee beleidsmakers publicaties van partners automatisch kunnen verzamelen en classificeren, en er inzichten uit kunnen halen.
Om de vertrouwelijkheid te beschermen, kunnen we specifieke details aanpassen. Onze belangrijkste bijdrage geven we altijd correct weer.
Context en doelstellingen
Een internationale publieke organisatie miste een centrale manier om publicaties van partnerinstellingen op te volgen en te verwerken. Zonder gestructureerd systeem hadden teams moeite om een grote en groeiende verzameling rapporten en beleidsdocumenten te indexeren, te doorzoeken en er relevante informatie uit te halen.
De organisatie moest websites van partners scrapen op verschillende niveaus, internationaal, regionaal en lokaal, en de verzamelde documenten classificeren volgens tientallen beleidsrelevante onderwerpen.
Betrouwbare methoden voor documentverwerking en natural language processing (NLP)-algoritmes waren essentieel om onderzoeksmiddelen doeltreffend in te zetten en beter onderbouwd beleid te ondersteunen.
Aanpak
1. Van proof of concept naar prototype
Na een serverless en kostenefficiënt proof of concept vroeg de klant Agilytic een volledig prototype te ontwikkelen. Het team werkte in agile implementatierondes rechtstreeks in de omgeving van de klant. Zo sloot de oplossing in elke fase aan op de praktijk.
2. De documentverwerkingspipeline bouwen
Uit elk document dat in de pipeline binnenkwam, moest het volgende worden gehaald:
Een samenvatting
Een titel
Trefwoorden
Een classificatie binnen tientallen interessegebieden
De documenten hadden geen gemeenschappelijke structuur of indeling en konden in elke taal van de Europese Unie aankomen. Belangrijke fragmenten werden naar het Engels vertaald voor een efficiënte en consistente verwerking.
3. Infrastructuur en uitrol
De oplossing werd uitgerold in de AWS-omgeving van de klant. De cloudinfrastructuur werd ontworpen en beheerd met Terraform voor eenvoudig onderhoud en schaalbaarheid.
Het prototype werd geprogrammeerd in Python, met Docker voor containerisatie en SQL-databases voor opslag. Een API beheerde de organisaties waarvan websites moesten worden gescrapet en voerde specifieke documenten aan de pipeline toe.
Resultaten
De belangrijkste opgeleverde onderdelen waren:
Code voor de uitrol van de infrastructuur, scraping, extractie en NLP-analyse
Documentatie over de uitrol van de infrastructure-as-code-oplossing (IaC) in de omgeving van de klant
Kennisdelingssessies met het klantteam, zodat het de pipeline volledig zelf kon beheren en uitbreiden met nieuwe functies
Dankzij efficiënte automatisering verbeterde deze documentverwerkingspipeline het vermogen van de organisatie om publicaties te vinden en te gebruiken die rechtstreeks beleidsvorming en beslissingen ondersteunen.
Volgens de organisatie bracht de oplossing kwaliteit en snelheid, flexibiliteit, veiligheid en kostenefficiëntie in haar zoek- en beslisprocessen.
> Meer weten over onze diensten voor agentic AI & automatisering
Om de vertrouwelijkheid te waarborgen, kunnen we bepaalde details in onze klantcases aanpassen.