Smart OCR: waarom we onze eigen betrouwbare en kostenefficiënte OCR-oplossing bouwden
Waarom we bij Agilytic onze eigen betrouwbare en betaalbare OCR-oplossing bouwden
Agilytic helpt bedrijven ruwe data om te zetten in inzichten waarmee ze aan de slag kunnen. Door de jaren heen zagen we in allerlei sectoren dezelfde uitdaging: data ontsluiten die vastzitten in papieren documenten, gescande pdf’s en afbeeldingsbestanden. Een nieuwe klant heeft bijvoorbeeld kastickets, facturen of personeelsdossiers die alleen als scans bestaan. Dat maakt automatisering moeilijk.
We besloten een eigen interne oplossing te bouwen om gestructureerde informatie uit die documenten te halen. Ons doel was eenvoudig: vrijwel elk bestand betrouwbaar en kostenefficiënt verwerken, met zo weinig mogelijk menselijk toezicht. In dit artikel leest u waarom we een eigen tool voor optische tekenherkenning (OCR) ontwikkelden, Smart OCR, hoe die werkt en waarom we denken dat die een nieuwe standaard voor documentverwerking vormt.
De brug tussen papier en data
Organisaties verwerken vaak honderden of zelfs duizenden documenten per dag, van facturen en personeelsformulieren tot kastickets en contracten. Informatie uit elk bestand manueel invoeren kost veel tijd en is foutgevoelig. Bovendien missen veel bestaande externe oplossingen bepaalde functies, zoals sjablonen op maat, meertalige ondersteuning of consistente betrouwbaarheid bij grote volumes.
Bij Agilytic wilden we gebruikers zelf de controle geven. We zagen een tool voor ons die snel tekst uit elk bestand leest, zoals een pdf, png of scan, en de inhoud vervolgens structureert volgens een aangepaste indeling of een "sjabloon". Zo kunnen klanten de verwerkte data eenvoudig exporteren naar hun bestaande systemen voor financiën, HR of analyse.
Hoe Smart OCR werkt
Smart OCR haalt eerst tekst uit een document. We gebruiken krachtige opensourcebibliotheken zoals PaddleOCR, die goed presteren met numerieke data en meertalige tekst. Daarna verrijkt onze oplossing de ruwe tekst met structuurinformatie, bijvoorbeeld door tabellen of koppen te herkennen. Tot slot gebruiken we een groot taalmodel (LLM) om een vooraf bepaald sjabloon in te vullen. We kunnen dat sjabloon precies afstemmen op de behoeften van een klant, of gebruikers kunnen eenvoudig zelf een sjabloon maken.
Een collega verwoordde het tijdens een interne demo treffend: "U hebt geen specifieke vaardigheden nodig om ermee te werken. Het draait in de cloud, veilig en betrouwbaar, met de Azure-versie van OpenAI." Door die eenvoudige aanpak kan de gebruiker bestanden slepen en neerzetten, een sjabloon kiezen of een nieuw sjabloon maken, en de rest aan het systeem overlaten.
Een blik op de technologie
Tekst uitlezen met OCR
We beginnen met PaddleOCR om tekst in afbeeldingen te herkennen. PaddleOCR onderscheidt zich bij handgeschreven elementen of complexe lay-outs. Het is zo ontworpen dat het robuuster met numerieke data omgaat dan oudere methodes.
De inhoud structureren
Na de tekstherkenning voegen we structuurmarkeringen toe: koppen, tabellen en alinea’s. Dat doen we met een "structureringsmodel" dat de herkende tekst omzet in een eenvoudige HTML-achtige weergave. Websites gebruiken HTML al lang om hun inhoud te ordenen en de weergave te structureren. Als het oorspronkelijke document een tabel bevat, willen we die in het gestructureerde resultaat intact houden.
Een groot taalmodel aansturen
De HTML-achtige inhoud gaat samen met een door de gebruiker bepaald sjabloon naar een groot taalmodel (LLM). Het LLM gebruikt alleen de uitgelezen tekst om de gevraagde velden in te vullen, bijvoorbeeld "klantnaam" of "factuurtotaal". Irrelevante informatie negeert het. Staat de gevraagde informatie niet in het document, dan laat de tool dat veld gewoon leeg.
De uitvoer aanpassen
In onze webinterface kunnen gebruikers eenvoudig sjablonen wijzigen of nieuwe maken. Zo bepaalt elke gebruiker welke velden belangrijk zijn. Een productiebedrijf kan bijvoorbeeld onderdeelnummers en aantallen vastleggen, terwijl een HR-team zich op identificatienummers en lonen richt.
Waarom we het zelf bouwden
Er bestaan heel wat kant-en-klare oplossingen voor documentverwerking. Waarom bouwde Agilytic dan een eigen oplossing? We merkten dat externe tools vaak op een of meer punten tekortschoten:
Betrouwbaarheid: sommige tools gebruikten oudere OCR-engines die moeite hadden met cijfers of complexe lay-outs.
Kostenefficiëntie: bepaalde oplossingen steunden op grote multimodale LLM’s, wat de kosten opdreef. Klanten betaalden soms meerdere centen per pagina, en dat loopt snel op.
Meertalige ondersteuning: in België en de rest van Europa kunnen documenten in het Frans, Nederlands, Engels of andere talen zijn opgesteld. Veel standaardtools verwerken maar een beperkt aantal talen goed.
Controle over data: we wilden data veilig houden en vermijden dat gevoelige inhoud naar externe diensten met onduidelijke privacymaatregelen werd gestuurd.
Door een eigen platform te bouwen, konden we elk onderdeel afstemmen op onze eisen voor betrouwbaarheid en kosten. We gebruiken efficiëntere grote taalmodellen om tekst te structureren. Daardoor bedragen de kosten in veel gevallen slechts een fractie van een cent per document. Alles draait bovendien veilig in de Microsoft Azure-omgeving, waar privacy en dataopslaglocaties duidelijk zijn vastgelegd.
De belangrijkste voordelen voor bedrijven
We ontwierpen Smart OCR om organisaties meer te laten doen met minder middelen. Dit zijn enkele voordelen die onze klanten melden:
Hoge betrouwbaarheid. Door sterke OCR-bibliotheken te combineren met tekststructurering op basis van LLM’s leveren we consistent betrouwbare resultaten. Als gevraagde informatie ontbreekt, probeert de tool die niet te verzinnen.
Kostenefficiëntie. We gebruiken relatief kleine taalmodellen die voor deze specifieke taak zijn geoptimaliseerd. Data naar een volledig multimodaal model zoals GPT-4 Vision sturen kan tien tot honderd keer duurder zijn.
Gebruiksgemak. Gebruikers laden een bestand op en kiezen een sjabloon. Programmeren of gespecialiseerde software is niet nodig. Voor gevorderde gebruikers die het proces willen bekijken, is er een tabblad voor foutopsporing.
Aanpasbaarheid. Onze oplossing laat toe om meteen nieuwe sjablonen toe te voegen. Wilt u details vastleggen die specifiek zijn voor een sector of formuliertype, dan maakt u in enkele minuten een nieuw sjabloon.
Meer dan OCR: de waarde van eigen tools
De interne ontwikkeling van Smart OCR past in een bredere aanpak bij Agilytic. Wij vinden dat bepaalde technologieën, vooral de basis voor veilige en nauwkeurige dataverwerking, intern in eigen handen moeten blijven. Zo kunnen we in ons eigen tempo vernieuwen en snel inspelen op klantvragen.
Belangrijker nog: onze teams kunnen deze oplossingen samen met klanten verfijnen. We zitten niet vast aan starre roadmaps of licentiemodellen van leveranciers. Vraagt een project om geavanceerde tekstanalyse, dan kunnen we die in de pipeline opnemen zonder te wachten tot een externe leverancier er prioriteit aan geeft.
De impact in de praktijk
Tijdens de eerste tests gebruikten we Smart OCR op verschillende gescande facturen. Traditionele OCR-tools hadden moeite met ontbrekende lettertypes, scheef gescande pagina’s of vage tekst. Onze aanpak herkende artikelnamen, bedragen en belastingen binnen enkele seconden correct. Een klant met veel papieren documenten zag een duidelijke daling in manuele gegevensinvoer en minder menselijke fouten.
We testten het systeem ook op loonfiches uit verschillende landen. Door het juiste sjabloon te kiezen, haalden we de relevante velden eruit, ongeacht de indeling of taal van het document. Dankzij de flexibiliteit van de tool bespaarde onze klant tijd en geld, met vertrouwen in de juistheid van de uitgelezen data.
Vooruitblik
We blijven Smart OCR verfijnen. Toekomstige updates kunnen een snellere verwerking van documenten met tientallen pagina’s, geavanceerde lay-outanalyse of een nauwere integratie met onze analysepipelines omvatten. We willen de kosten per verwerkt document ook dicht bij nul houden, zodat organisaties documentautomatisering kunnen opschalen zonder sterk oplopende tarieven.
Hoewel we meer dan een jaar geleden met de ontwikkeling begonnen, is de tool ontworpen om relevant te blijven. Door de modulaire opbouw en implementatie in de cloud kunnen we voortdurend verbeteren, ongeacht hoe de onderliggende OCR- en taalmodeltechnologie evolueert.
Laten we de mogelijkheden bespreken
Kan Smart OCR uw organisatie helpen documenten efficiënter te verwerken? We horen graag meer over uw werkproces en tonen u hoe we de oplossing op uw behoeften kunnen afstemmen.
Denkt u dat deze tool u kan helpen? Laten we de mogelijkheden bespreken. Plan een telefoongesprek.