Efficacité Opérationnelle
Un chatbot RAG multilingue sur Azure pour faciliter la collecte de fonds
Les fondations philanthropiques gèrent des centaines d'appels à projets, chacun avec ses propres critères d'éligibilité, délais et points de contact. Une grande fondation européenne avait besoin d'un moyen plus rapide et plus cohérent pour faire remonter ces informations en quatre langues.
Agilytic a livré une preuve de concept pour un chatbot RAG multilingue sur Azure, démontrant comment un assistant basé sur un LLM pouvait traiter ces demandes récurrentes de manière fiable.
Pour protéger la confidentialité, nous pouvons modifier certains détails tout en préservant l'essence de notre contribution principale.
Contexte et objectifs
Les équipes de la fondation recevaient sans cesse les mêmes questions : quels appels à projets sont ouverts, qui est éligible, comment postuler, et qui contacter. Ces informations étaient dispersées sur des pages web et des documents internes, en quatre langues (anglais, français, néerlandais et allemand). Les récupérer et les expliquer de manière cohérente prenait un temps considérable.
Le POC visait à valider si :
Un assistant basé sur un LLM pouvait fournir un accès rapide et précis aux bonnes informations
Le support multilingue pouvait être géré au sein d'une solution unique
Le système pouvait fonctionner de manière sécurisée dans l'environnement Azure propre à la fondation
L'objectif plus large était de poser les bases d'une solution scalable pouvant à terme réduire le volume croissant de demandes répétitives.
Approche
1. Cadrage et préparation des données
La fondation avait déjà défini des personas cibles avant le démarrage du projet. Agilytic a utilisé ces personas comme input clé lors d'ateliers pour affiner les objectifs du chatbot, identifier les schémas de questions récurrentes et concevoir des cas de test. Plusieurs sources de données ont été identifiées :
Le contenu du site web, extrait sous forme de snapshots pour chacune des quatre langues
Des documents internes issus des systèmes de gestion documentaire de la fondation
Comme toujours, les exigences d'accès et les responsabilités d'infrastructure ont été définies tôt pour éviter les retards en cours de développement.
2. Construction du chatbot RAG sur Azure
La solution a utilisé Dify comme couche d'orchestration, déployée dans Docker sur une VM Azure, avec Azure OpenAI comme fournisseur de modèle. Quatre bases de connaissances spécifiques à chaque langue ont été construites à partir des snapshots du site web, complétées par des documents internes pertinents.
Le flux de conversation incluait une détection automatique de la langue et un routage, permettant aux utilisateurs de recevoir des réponses dans leur propre langue sans basculer manuellement.
3. Tests itératifs et ajustements
Les parties prenantes internes ont testé le chatbot RAG sur Azure en plusieurs rounds. Les prompts et les paramètres de récupération ont été ajustés sur la base de leurs retours :
Réduction des réponses trop longues
Amélioration de la pertinence des passages récupérés
Identification des lacunes dans les données sous-jacentes
Résultats
Le POC a confirmé qu'un chatbot RAG multilingue sur Azure peut être déployé et utilisé efficacement, initialement pour des tests internes.
1. Ce qui a apporté de la valeur
Les temps de réponse étaient en moyenne d'environ 3 secondes, pouvant atteindre 6 secondes pour les requêtes plus complexes
Les utilisateurs ont validé le concept et apprécié la capacité multilingue
La solution fonctionnait de manière sécurisée au sein du tenant Azure propre à la fondation
2. Les risques identifiés
La complétude des données a directement influencé la qualité des réponses. Certains appels à projets étaient absents de l'extrait du site web, amenant le chatbot à retourner des informations incorrectes ou obsolètes. Certaines réponses étaient également perçues comme trop longues ou insuffisamment ciblées.
Par ailleurs, sans stratégie de déploiement maîtrisée, les coûts et les risques d'abus pourraient s'emballer.
3. Roadmap vers la production
Données : remplacer les snapshots ad hoc du site web par une source de vérité structurée (entrepôt de données ou base de données) et définir des mécanismes de mise à jour automatisés
Infrastructure : faire évoluer les capacités de calcul pour une plus grande concurrence, revoir les quotas de tokens Azure OpenAI, et ajouter une passerelle gérée pour le SSL, la rotation des clés, la limitation du débit et le renforcement contre les injections de prompts
Déploiement : déployer progressivement depuis un usage interne avec supervision humaine vers un accès externe limité derrière authentification, puis vers un déploiement public sur le site web une fois stabilisé
La fondation considère le concept comme pertinent, notamment pour fournir des informations en dehors des heures ouvrables. Désormais, la condition principale pour aller de l'avant est la confiance dans la qualité des données sous-jacentes.
Pour garantir la confidentialité, nous modifions parfois certains détails dans nos études de cas.