RAG ou ajustement de modèle : commencer par le besoin.

Observer les erreurs avant de choisir une solution

La recherche documentaire fournit des informations au moment de la réponse, tandis que l’ajustement d’un modèle à partir d’exemples vise notamment à faire évoluer son comportement. Le RAG, ou génération augmentée par recherche, associe un mécanisme de récupération de documents à la génération d’une réponse.

Pour décider, partons d’un service après-vente fictif. Son assistant doit expliquer les conditions d’entretien d’équipements et préparer une réponse dans le format utilisé par l’équipe. Une mauvaise réponse peut venir du document choisi, de sa lecture ou de la manière de restituer l’information.

Classer les défauts avec une grille simple

Pour notre service après-vente, une première grille peut distinguer quatre défauts. Le document attendu n’a pas été retrouvé. Le bon document a été trouvé, mais le passage utile manque. Le passage utile est présent, mais la réponse l’interprète mal. Enfin, la réponse est exacte, mais sa présentation ne convient pas au travail de l’équipe. Cette classification aide à choisir la prochaine expérience.

Prenons une question sur l’entretien d’un équipement installé en extérieur. Si la réponse cite une notice réservée aux modèles d’intérieur, le problème concerne la sélection du document. Si elle utilise la bonne notice mais ignore une exception liée aux conditions d’installation, il faut examiner les passages transmis. Si l’exception est bien présente et reste ignorée, les consignes et la capacité de restitution doivent être étudiées.

Une même question peut révéler plusieurs défauts. Consignez-les séparément plutôt que d’attribuer immédiatement une note globale à la réponse. Vous pourrez ainsi comparer deux versions du système et comprendre ce qui s’est amélioré. Une formulation plus claire ne compense pas une mauvaise référence technique. À l’inverse, retrouver le bon document peut constituer un progrès réel même si le format de la réponse demande encore du travail.

Décomposer un cas qui a échoué

Prenez une question réelle, sa réponse et le résultat attendu. Si l’assistant a consulté la notice d’un autre équipement, le premier problème se situe dans la sélection de la source. S’il dispose de la bonne notice mais omet une condition essentielle, il faut examiner l’extraction et les consignes de réponse.

Enfin, une réponse peut être exacte mais inutilisable parce qu’elle ne sépare pas le diagnostic, l’action proposée et la demande de précision. Ces erreurs ne se corrigent pas nécessairement de la même manière. Les nommer évite d’investir dans une solution qui traite un autre problème.

Préparer les documents pour qu’ils restent compréhensibles

La préparation du corpus commence par des questions documentaires ordinaires. Quelles notices sont applicables ? À quels équipements se rapportent-elles ? Existe-t-il plusieurs versions ? Qui décide qu’un document doit être remplacé ? Une collection de fichiers mal identifiés reste difficile à exploiter, même lorsque la recherche reconnaît correctement le sens d’une question.

Dans notre exemple, associez à chaque notice le modèle concerné, sa version et les conditions d’application. Lorsqu’un document est divisé en passages pour la recherche, gardez ensemble les éléments nécessaires à la compréhension. Une instruction séparée de son avertissement ou de son exception peut changer de sens. Essayez donc quelques questions dont la réponse dépend précisément de ces relations entre paragraphes.

Vérifiez également la qualité du texte disponible. Un tableau extrait d’un PDF peut perdre l’association entre une référence et sa valeur. Demandez au système de retrouver des données dont vous connaissez la position, puis comparez le résultat au document. Cette étape permet de distinguer un problème de lecture du fichier d’un problème de recherche. Le corpus devient alors un ensemble de références contrôlables, avec une personne responsable de leur actualisation et des moyens de retirer les versions devenues inapplicables.

Essayer le document fourni directement

Avant de construire une architecture complète, faites un essai contrôlé : fournissez la bonne notice avec la question et une consigne claire. Demandez une réponse courte qui distingue ce qui est établi de ce qui reste à confirmer. Faites relire le résultat par une personne qui connaît le produit.

Si cet essai fonctionne, vous avez un point de comparaison pour la future recherche documentaire. Vous pouvez alors vérifier si le système retrouve la bonne référence, la bonne version et la section pertinente. Si l’essai échoue déjà, améliorer uniquement la recherche risque de laisser le problème intact.

Mesurer la recherche avant de juger la rédaction

Pour apprécier la recherche, préparez une liste de questions accompagnées des documents ou passages qui permettent d’y répondre. Vérifiez d’abord si ces éléments sont retrouvés, indépendamment du texte rédigé par l’assistant. Une réponse convaincante ne prouve pas que le système a consulté le bon support ; elle peut masquer une sélection insuffisante.

Ajoutez des variantes de formulation. Un technicien peut utiliser une référence exacte, alors qu’un client décrit le matériel avec ses propres mots. Les deux demandes peuvent viser le même équipement. Incluez aussi des questions auxquelles le corpus ne permet pas de répondre. Le résultat attendu est alors l’identification d’un manque d’information, suivie d’une demande de précision ou d’une orientation vers une personne compétente.

Après cette étape, examinez la réponse finale. Les informations annoncées sont-elles appuyées par les passages retrouvés ? Les conditions d’application sont-elles conservées ? L’utilisateur peut-il consulter la référence utile ? Cette séparation entre recherche et restitution rend le diagnostic plus précis. Elle permet de tester une modification du classement des documents sans changer en même temps les consignes de rédaction, puis d’identifier ce qui a réellement amélioré le résultat sur les mêmes questions.

Évaluer le format sur des exemples variés

Pour travailler la restitution, préparez plusieurs demandes : entretien courant, symptôme mal décrit, équipement non identifié et question hors périmètre. Définissez les éléments attendus dans chaque réponse, sans imposer une phrase unique lorsque plusieurs formulations conviennent.

Essayez d’abord des instructions précises et quelques exemples représentatifs. Si des défauts persistants justifient l’étude d’un ajustement du modèle, conservez des cas séparés pour évaluer le résultat. Réutiliser uniquement les exemples d’apprentissage donnerait une vision trop favorable de sa capacité à traiter de nouvelles demandes.

Préparer des exemples cohérents avant un ajustement

Si l’équipe décide d’étudier un ajustement du modèle, elle doit d’abord préciser le comportement recherché. Dans notre service fictif, il pourrait s’agir de classer les demandes selon une typologie interne ou de produire systématiquement une réponse organisée en trois parties. Chaque exemple doit associer une entrée représentative à un résultat validé par les personnes qui utilisent ce classement ou ce format.

La cohérence des exemples mérite une revue métier. Si une même demande est classée « entretien » dans certains cas et « incident » dans d’autres sans règle explicite, le jeu de préparation contient une ambiguïté. Résolvez-la avant de demander au modèle de reproduire ces décisions. Une catégorie « à préciser » peut être nécessaire lorsque l’information fournie ne permet pas un choix fiable.

Gardez également des exemples de refus de conclure et de demandes incomplètes, si ces comportements font partie de l’usage. Le système ne doit pas apprendre uniquement à produire une réponse assurée sur les cas faciles. La décision de poursuivre dépendra ensuite des résultats sur des questions distinctes de celles utilisées pour la préparation, des possibilités du modèle choisi et du travail nécessaire pour maintenir ces exemples lorsque les règles métier changent.

Comparer les charges d’exploitation

Un projet documentaire doit attribuer la responsabilité des notices : qui publie une nouvelle version, qui retire un document obsolète et qui vérifie les droits de consultation ? Le système doit permettre de retrouver la source utilisée pour expliquer une réponse contestée.

Un projet d’ajustement doit, lui, organiser la préparation des exemples, leur validation et la comparaison des versions du modèle. Pour votre estimation, demandez une liste des opérations récurrentes et de leurs responsables. Le prix de lancement ne suffit pas à représenter le travail nécessaire dans la durée.

Décider à partir d’un même jeu de questions

Comparez les approches sur les mêmes demandes et avec la même grille : exactitude, information manquante signalée, qualité du format et effort de correction. Notez séparément le temps de réponse et les coûts observés. La solution la plus utile sera celle qui satisfait les critères du service avec une maintenance qu’il peut assumer.

La recherche documentaire et l’ajustement peuvent se combiner. Cette combinaison mérite toutefois d’être justifiée par deux besoins identifiés. Une première version plus simple peut suffire et fournir les observations nécessaires pour choisir la suite.