Efficiëntere marktanalyses met LLM's

Context & doelstellingen

Het doel was duidelijke, volledige inzichten te krijgen in sectortrends en bedrijfsstrategieën, door ruwe data om te zetten in bruikbare marktinformatie.

Onze LLM-pipeline moest aantonen dat ze de nodige informatie sneller dan een financieel analist kon ophalen, met behoud van datakwaliteit. Daarvoor moesten we onze resultaten vergelijken met die van een analist die dezelfde data handmatig verwerkte.

We bepaalden vier grote uitdagingen om dat doel te bereiken:

1. Verspreide data

Honderden bedrijfsrapporten van driemaandelijkse aandeelhoudersvergaderingen leverden grote hoeveelheden rijke, ongestructureerde tekst op voor analyse door LLM's. Maar ons doel was specifieke trends rond één afdeling te vinden.

Soms verwezen dus maar enkele zinnen in een heel rapport naar het gewenste onderwerp. Daarom moesten we voorzichtig omgaan met de gevolgen van die schaarse informatie voor de resultaten, vooral voor de juistheid ervan.

1. Volledigheid

Een analist die de inhoud leest, zou geen essentiële marktinformatie missen. Daarom moesten we met een hoge mate van zekerheid waarborgen dat ook ons model geen belangrijke informatie oversloeg.

1. Betrouwbaarheid

Een analist die het rapport leest, zou geen informatie verzinnen of wijzigen. Ons model mocht dus niet hallucineren. Waar de resultaten niet perfect waren, moesten we redelijke betrouwbaarheidsniveaus bepalen.

1. Structuur

Onze oplossing moest patronen en trends in een gestructureerd formaat kunnen herkennen. Dat lukte door tekst om te zetten in gestructureerde Excel-data, voor verdere kwantitatieve en kwalitatieve marktanalyses, bijvoorbeeld in dashboards.

Aanpak

1. Informatie filteren en structureren

We begonnen met het filteren en samenvatten van informatie uit de ruwe rapportteksten. Deze eerste stap leverde een lijst kernzinnen per rapport op. Die bevatten en vatten alle inzichten samen die moesten worden gestructureerd.

Daarna moesten de kernzinnen in een Excel-formaat worden gestructureerd. De grootste uitdaging was de uiteenlopende opmaak van de informatie.

1. Het juiste model kiezen

Tijdens het project werd duidelijk dat de kwaliteit van de prompt de resultaten sterk beïnvloedde. Ook met de nieuwste en duurste GPT-modellen leverde een goed uitgewerkte en verfijnde basisprompt betere resultaten op. Daarom vonden we het essentieel om voorrang te geven aan promptkwaliteit boven een modelupgrade om de beste resultaten te krijgen.

Ook de afweging tussen investering in tijd en geld en de resultaten was belangrijk voor kostenefficiënte marktanalyses. De overstap van GPT-3.5 naar GPT-4 verhoogde de kosten aanzienlijk. Een systeem bouwen dat die afweging kon maken, was cruciaal.

1. Resultaten bundelen met meerdere aangepaste modellen

Om informatie nog correcter op te halen, gebruikten we een techniek die pooling heet. In plaats van op één model te vertrouwen, voegden we resultaten van meerdere modellen samen. Die techniek leidde tot een aanzienlijke verbetering van de juistheid van de informatie-extractie met 50%.

1. Stemsysteem met LLM's

Om betrouwbaarheid te waarborgen, voegden we een stemsysteem toe. We voerden herhaaldelijk query's uit met verschillende modellen (GPT-3.5 en GPT-4) en kenden elk model stemgewicht toe. De uitvoer met de meeste stemmen werd het resultaat. Bleef het aantal stemmen onder een bepaalde drempel, dan beschouwden we de informatie als onbetrouwbaar en legden we die voor aan handmatige controle.

Resultaten

We ontwikkelden voor onze klant een LLM-oplossing die sneller en goedkoper dan een analist data kon ophalen, en minstens even correct en betrouwbaar was. Dat toonde verder aan dat de klant LLM's succesvol kon inzetten om tijdrovend handwerk weg te nemen en de operationele efficiëntie te verbeteren.