FICHE DE LECTURE

Référence (format APA)

Sierra, C., Huanca, F., Torres, M., & Núñez, F. (2025). An integrated complaint management system based on large language models: Case study in the electric sector. Array, 28, Article 100570. https://doi.org/10.1016/j.array.2025.100570

Mots-clés

Grands modèles de langage ; gestion des réclamations ; traitement automatique du langage naturel ; classification des plaintes ; intelligence artificielle ; systèmes cyber-physiques ; automatisation ; architectures orientées services ; ajustement fin des modèles

Synthèse

Cet article présente la conception, le déploiement et l’évaluation d’un système intégré de gestion automatisée des réclamations reposant sur des grands modèles de langage (LLM). Développé dans le contexte du secteur électrique chilien, il propose une alternative structurée aux approches traditionnelles de traitement des réclamations, qu’elles soient manuelles ou fondées sur des règles prédéfinies, dont les limites en termes de réactivité, de cohérence et de capacité à traiter des données textuelles non structurées sont bien documentées. L’architecture retenue combine un microservice de traitement des données, un module d’intelligence artificielle déployant des analystes virtuels basés sur des LLM ajustés, et une interface web accessible aux opérateurs. Les résultats des tests de charge et d’analyse de latence démontrent la robustesse, la scalabilité et la performance du système. Bien que l’étude de cas soit ancrée dans un secteur sectoriel spécifique, les enseignements méthodologiques et opérationnels produits sont directement transposables à tout secteur confronté à un volume élevé de réclamations clients non structurées, ce qui lui confère une portée managériale large.

Développement

1. Objectifs et cadre technique

L’article répond à un constat partagé par de nombreuses organisations de services : les approches classiques de gestion des réclamations, qu’il s’agisse du traitement manuel par des analystes ou des systèmes à base de règles, se révèlent insuffisantes face à la volumétrie et à la complexité croissantes des données textuelles non structurées produites par les clients. Les auteurs positionnent leur contribution à l’intersection de deux champs en développement rapide : d’une part, la recherche sur les systèmes cyber-physiques, dont le réseau électrique constitue un exemple emblématique, et d’autre part, les avancées récentes en traitement du langage naturel par les LLM.

L’objectif opérationnel est de construire un système automatisé capable de classifier et de résumer des réclamations en espagnol avec un niveau de précision et de cohérence supérieur aux méthodes existantes. L’architecture orientée services retenue garantit la modularité, la scalabilité et la possibilité d’intégration dans des environnements institutionnels hétérogènes.

2. Architecture du système et conception des analystes virtuels

Le système repose sur trois composants interdépendants. Le microservice de traitement des données orchestre la collecte, le prétraitement et la distribution des réclamations. Le module d’intelligence artificielle constitue le cœur opérationnel : il héberge une équipe d’analystes virtuels, chacun fondé sur un LLM ajusté, dont les prédictions individuelles sont agrégées via un mécanisme de vote majoritaire. L’interface web assure l’accessibilité du système pour les opérateurs humains et l’intégration des nouvelles réclamations en temps réel.

Quatre modèles encodeurs (BERT, BETO, BERTIN, ALBERT) ont été ajustés sur un corpus de 82 230 réclamations réelles issues du secteur électrique chilien, réparties en cinq catégories parentes. Les résultats montrent que les modèles encodeurs ajustés sur données sectorielles obtiennent des précisions comprises entre 88,30 % et 90,50 %, surpassant les modèles décodeurs de grande taille utilisés en mode few-shot (GPT-4o, Llama-3.1-70B), dont les performances restent significativement inférieures en termes de F1 macro, révélant une plus grande sensibilité aux déséquilibres de classes.

3. Performances de l’approche ensembliste et de la composante de résumé

Un apport méthodologique important de l’article réside dans la démonstration des avantages de l’approche ensembliste par vote majoritaire sur les prédictions individuelles des modèles. Si le gain en précision globale reste modeste (90,81 % pour le meilleur ensemble contre 90,50 % pour le meilleur modèle individuel), le bénéfice principal est une robustesse accrue, en particulier pour les classes minoritaires, et une réduction du risque d’erreurs idiosyncrasiques liées à un modèle unique. Pour des motifs de simplicité opérationnelle et d’indépendance vis-à-vis des API externes, l’ensemble retenu pour le déploiement final est composé des seuls modèles encodeurs ajustés localement.

La composante de résumé automatique, fondée sur des modèles décodeurs (GPT-4o-mini, Llama-3.1-70B), produit des synthèses concises et pertinentes permettant aux analystes humains de traiter plus efficacement les cas complexes ou prioritaires. Les modèles encodeur-décodeur testés ont en revanche révélé des biais liés à leurs données d’entraînement, produisant des résumés hors contexte et peu exploitables en environnement opérationnel.

4. Enjeux managériaux et limites

Les tests de charge réalisés confirment que le système est capable de traiter des flux de cinq réclamations par seconde avec une latence P99 inférieure à 14 secondes, ramenant les délais de traitement de plusieurs heures ou jours à moins d’une minute par dossier en conditions extrêmes. Ces résultats illustrent le potentiel transformateur de l’IA appliquée à la gestion des réclamations, non pas comme substitut à l’expertise humaine, mais comme outil d’amplification capacitaire permettant aux analystes de se concentrer sur les cas à forte valeur ajoutée relationnelle.

Les auteurs insistent néanmoins sur la nécessité de maintenir une supervision humaine dans la boucle de traitement, notamment pour les réclamations à risque élevé de mauvaise classification. Les pistes d’amélioration identifiées incluent l’intégration d’un mécanisme d’apprentissage continu par renforcement à partir des retours humains, des techniques de machine unlearning pour respecter le droit à l’oubli, ainsi que des approches d’apprentissage fédéré pour des contextes multi-institutionnels. La principale limite tient aux exigences matérielles importantes nécessaires pour les scénarios de charge extrême.

Conclusion

Cet article propose une contribution appliquée significative au champ de la gestion automatisée des réclamations, en montrant que des LLM ajustés sur données sectorielles surpassent les approches génériques et les systèmes à base de règles pour classifier et résumer des textes non structurés à grande échelle. Il établit un cadre technique solide et reproductible, dont la portée dépasse le secteur électrique pour s’étendre à tout environnement de services confronté à un traitement massif de réclamations clients.

Dans le cadre du mémoire, cet article offre une perspective complémentaire aux travaux sur la gestion de la réclamation centrés sur la perception client. Il illustre comment la transformation technologique du traitement des réclamations peut constituer un levier opérationnel concret de différenciation : en réduisant drastiquement les délais de réponse, en améliorant la cohérence du traitement et en libérant la capacité des équipes pour les interactions à forte valeur relationnelle, les entreprises du BPE pourraient transformer un processus perçu comme un coût en un signal de qualité de service distinctif, contribuant ainsi à la sécurisation du réachat dans un marché sous tension concurrentielle.

Références bibliographiques

Sierra, C., Huanca, F., Torres, M., & Núñez, F. (2025). An integrated complaint management system based on large language models: Case study in the electric sector. Array, 28, Article 100570. https://doi.org/10.1016/j.array.2025.100570