Contexte & objectifs

L’objectif du projet était d’obtenir des insights clairs et complets sur les tendances sectorielles et les stratégies des entreprises, en transformant des données brutes en intelligence marché exploitable.

Notre pipeline basé sur les LLMs devait prouver qu’il était possible d’extraire les informations requises plus rapidement qu’un analyste financier, tout en maintenant la qualité des données. Cela impliquait de comparer nos résultats à ceux d’un analyste traitant manuellement les mêmes données.

Nous avons identifié quatre défis majeurs à surmonter pour atteindre cet objectif.

1. Données dispersées

Des centaines de rapports, issus de réunions trimestrielles d’actionnaires, fournissaient de grands volumes de texte non structuré à analyser. Notre objectif était d’extraire des tendances spécifiques liées à un seul département : cela signifiait que, dans certains cas, seules quelques phrases dans un rapport entier pouvaient mentionner le sujet recherché. Nous devions donc être vigilants quant à l’impact des données éparses sur la précision des résultats.

2. Exhaustivité

Un analyste lisant le contenu ne manquerait aucune information essentielle d’intelligence marché. Nous devions donc nous assurer que notre modèle ne passait à côté d'aucune information clé, avec un haut degré de certitude.

3. Fiabilité

Un analyste ne modifie ni n’invente aucune information. Nous devions donc garantir que notre modèle ne produisait aucune hallucination. Et lorsque les résultats n’étaient pas parfaits, nous devions définir des niveaux de confiance raisonnables.

4. Structure

Notre solution devait permettre la détection de motifs et de tendances dans un format structuré. Il fallait convertir le texte en données structurées dans Excel, facilitant ainsi des analyses quantitatives et qualitatives supplémentaires (comme des tableaux de bord).

Approche

1. Filtrage et structuration de l’information

Nous avons commencé par filtrer et résumer les informations issues des rapports textuels bruts. La première étape consistait à créer une liste de phrases clés pour chaque rapport, contenant et résumant tous les insights à structurer.

Ces phrases clés devaient ensuite être organisées dans un format Excel, le principal défi étant la diversité des formats des informations.

2. Choix du bon modèle

Au cours du projet, il est devenu évident que la qualité du prompt avait un impact significatif sur les résultats. Même avec les modèles GPT les plus récents et coûteux, partir d’un prompt bien conçu et affiné donnait de meilleurs résultats. Nous avons donc jugé essentiel de privilégier la qualité du prompt plutôt que de miser sur une mise à niveau du modèle pour obtenir les meilleurs résultats.

De plus, le compromis entre investissement (temps et argent) et résultats était une considération importante pour fournir une intelligence marché rentable. Passer de GPT-3.5 à GPT-4 entraînait une démultiplication coûts : développer un système bien équilibré était donc crucial.

3. Système de pooling avec plusieurs modèles adaptés

Pour améliorer davantage la précision de l’extraction de contenu, nous avons utilisé une technique appelée pooling. Au lieu de nous fier à un seul modèle, nous avons agréger les résultats de plusieurs modèles, ce qui a permis une amélioration de 50 % de la précision de l’extraction.

4. Système de vote basé sur les LLMs

Pour garantir la fiabilité, nous avons introduit un système de vote. Ce système impliquait d’exécuter des requêtes répétées avec différents modèles (GPT-3.5 et GPT-4) et d’attribuer un poids de vote à chaque modèle. Nous sélectionnions le résultat ayant obtenu le plus grand nombre de votes. Si le nombre de votes n’atteignait pas un certain seuil, l’information extraite était classée comme non fiable et soumise à une révision manuelle.

Résultats

Cette solution est capable d’extraire des données plus rapidement et à moindre coût qu’un analyste, avec une précision et une fiabilité équivalentes, voire supérieures. Nos premières estimations ont montré que le coût opérationnel du pipeline LLM était au moins dix fois inférieur à celui d’un analyste à temps plein.

Ce projet a également permis au client de réaliser qu'il pouvait mettre en œuvre les LLMs avec succès pour éliminer les tâches manuelles chronophages et améliorer son efficacité opérationnelle.