Chatbot sur vos documents internes : 7 critères pour ne pas acheter une démo
Avant d'acheter un chatbot sur vos documents internes, vérifiez 7 points : citations, droits, refus, cloisonnement, hébergement, connecteurs, coût complet.
Note de transparence. Cet article est rédigé conformément à la politique éditoriale d'IgnitionAI. Les critères s'appuient sur le guide RAG de la Direction générale des entreprises et sur les publications de l'OWASP, consultés le 22 octobre 2026. IgnitionAI édite aussi un produit RAG, IgnitionRAG. Cette grille s'applique à lui comme à toute autre solution, et l'article ne compare aucun fournisseur. Il ne contient ni statistique ni estimation chiffrée. Voir la section Méthodologie et sources en fin d'article.
Une démonstration de chatbot sur des documents internes montre presque toujours la même chose : une question bien choisie, une réponse fluide, un corpus préparé. Elle montre rarement ce qui décide d'un déploiement : la réponse cite-t-elle la phrase exacte, respecte-t-elle les droits de la personne qui pose la question, sait-elle dire qu'elle ne sait pas ? Sept critères permettent de passer de la démonstration à une décision. Chacun se vérifie sur vos documents, avec une preuve que le fournisseur peut produire.
En bref
- Exigez des citations au niveau du passage, vérifiables en un clic, pour chaque réponse.
- Vérifiez que les droits d'accès s'appliquent dès la recherche des passages, avant que le modèle les reçoive.
- Testez les questions sans réponse : le système doit le dire au lieu de compléter de mémoire.
- Demandez comment les espaces ou les organisations sont cloisonnés, et faites-le tester.
- Localisez chaque couche (documents, modèle, services annexes, journaux) et le droit applicable à chaque fournisseur.
- Listez les connecteurs réellement disponibles, leurs droits et la propagation des suppressions.
- Calculez le coût complet sur la durée : abonnement ou infrastructure, usage du modèle, maintenance, évaluation.
Pourquoi une démonstration ne suffit-elle pas ?
Une démonstration est construite pour réussir. Le corpus est propre, les questions sont connues, les droits d'accès sont absents ou simplifiés. Le système réel affrontera des versions contradictoires, des documents scannés, des utilisateurs aux droits différents et des questions sans réponse dans le corpus.
Le guide RAG de la DGE le formule à sa manière. Il recommande d'évaluer objectivement les performances d'un système installé avec des outils dédiés, et note que cette évaluation pèse sur l'adoption par les employés. Il rappelle aussi que le RAG réduit les hallucinations sans les supprimer. L'achat doit donc porter sur des comportements vérifiables, et l'aisance de la démonstration n'en fait pas partie.
Critère 1 : les réponses citent-elles un passage vérifiable ?
Une citation utile renvoie au document, à sa version et au passage précis qui fonde la réponse. Un simple nom de fichier ne permet pas de vérifier l'affirmation.
L'OWASP, dans sa fiche RAG Security Cheat Sheet, demande de renvoyer avec chaque réponse les documents récupérés, les passages utilisés et leurs métadonnées de provenance. Le guide de la DGE range l'explicabilité parmi les sujets à discuter avec un prestataire : fournir des explications claires sur les réponses, y compris les sources et les références.
La preuve à demander. Prenez dix questions dont vous connaissez la réponse. Pour chacune, ouvrez la citation et vérifiez que le passage affiché dit bien ce que la réponse affirme. Demandez au vendeur de citer la phrase exacte.
Critère 2 : les droits d'accès s'appliquent-ils avant la récupération ?
Un chatbot interne lit des documents dont les droits varient : RH, finance, juridique, direction. La question décisive porte sur le moment où ces droits sont appliqués.
L'OWASP est explicite sur ce point. Les métadonnées de contrôle d'accès doivent accompagner chaque chunk vectorisé. Le contrôle doit s'exercer au moment de la récupération, puisque les droits ont pu changer depuis l'indexation. La fiche ajoute : ne pas compter sur le modèle de langage pour appliquer le contrôle d'accès, qui doit intervenir avant que le contenu atteigne le modèle.
Demandez aussi avec quelle identité le connecteur lit la source. Si le système lit avec un compte technique large, tout ce que ce compte voit devient interrogeable par les membres de l'espace. Notre article sur les choix d'architecture de contrôle d'accès dans un RAG détaille les options.
La preuve à demander. Deux comptes de test aux droits différents, la même question, et un document réservé à un seul des deux. Le second compte ne doit ni voir la réponse, ni voir la citation.
Critère 3 : le système sait-il dire « je ne sais pas » ?
Un chatbot qui répond toujours est un risque. Quand le corpus ne contient pas la réponse, le comportement attendu est de le dire.
L'OWASP applique une logique voisine aux pannes, sous le nom de conception fail-closed : si la récupération échoue, le système ne doit pas répondre à partir de la seule mémoire du modèle, mais indiquer que la base de connaissances n'est pas disponible. Le même principe vaut pour un contrôle d'accès en échec : ne rien renvoyer plutôt qu'un sous-ensemble filtré.
La preuve à demander. Ajoutez à votre jeu de test des questions plausibles dont la réponse ne figure pas dans les documents. Notez combien de fois le système invente une réponse. Notre méthode pour construire un jeu de tests représentatif aide à choisir ces questions.
Critère 4 : comment les espaces sont-ils cloisonnés ?
Dès que plusieurs équipes, filiales ou clients partagent une même plateforme, la fuite d'un espace à l'autre devient le risque principal. L'OWASP le classe dans son Top 10 sous LLM08:2025. Dans un environnement multi-tenant qui partage une base vectorielle, les embeddings d'un groupe peuvent être récupérés en réponse aux requêtes d'un autre groupe.
Les contre-mesures publiées par l'OWASP sont concrètes : espaces de noms ou index séparés par tenant, filtrage au moment de la requête, et requêtes de test entre tenants rejouées régulièrement. Un fournisseur sérieux doit pouvoir décrire son modèle de cloisonnement et accepter que vous le testiez.
La preuve à demander. Deux espaces de test, un document marqué dans chacun, et des questions qui visent le document de l'autre espace. Le résultat attendu : zéro passage hors périmètre.
Critère 5 : où vivent les données, et sous quel droit ?
« Hébergé en France » renseigne sur l'emplacement des serveurs. Cette mention laisse ouvertes trois questions : le droit applicable à chaque fournisseur, le lieu où s'exécute le modèle, et les services annexes qui traitent des données (authentification, emails, journaux).
Le guide de la DGE cite deux critères pour évaluer le risque de fuite de données : la maîtrise de l'infrastructure et la maîtrise du modèle. Il présente l'hébergement sur site comme l'architecture la plus maîtrisée, à condition de disposer des compétences pour la maintenir dans la durée. Il cite le recours à des services cloud qualifiés SecNumCloud comme alternative. L'ANSSI précise que cette qualification vise à protéger les données sensibles face à la menace cybercriminelle et à l'application de lois extraterritoriales. Elle ajoute que la qualification ne préjuge pas de la sécurité des services construits par le client sur l'offre qualifiée.
La preuve à demander. La liste des sous-traitants, avec leur pays et leur rôle. Le lieu d'exécution des appels au modèle. Le périmètre exact de toute qualification annoncée.
Critère 6 : quels connecteurs, avec quels droits et quelle fraîcheur ?
Les plaquettes listent souvent des dizaines d'intégrations. Ce qui compte : les connecteurs réellement disponibles pour vos sources, le droit qu'ils demandent, la fréquence de synchronisation et ce qui se passe quand un document est supprimé.
L'OWASP demande d'appliquer le moindre privilège aux connecteurs d'ingestion : un accès en lecture à des dossiers précis, et non un accès administrateur à tout un espace. La fiche demande aussi une suppression en cascade : retirer un document source doit retirer ses chunks, ses embeddings et les réponses en cache. Notre méthode pour versionner, mettre à jour et retirer un document source décrit les tests correspondants.
La preuve à demander. Supprimez un document de test dans la source, attendez la synchronisation, puis posez une question qui le visait. Il ne doit plus apparaître, ni dans la réponse, ni dans les citations.
Critère 7 : quel est le coût complet sur la durée ?
Le prix d'abonnement n'est qu'une ligne. Le guide de la DGE rappelle que les coûts dépendent fortement du volume d'utilisation. Hors SaaS, il faut ajouter la puissance de calcul : achat de GPU et électricité pour un hébergement sur site, coût variable à l'usage dans le cloud. Pour la maintenance, le guide note que les fournisseurs de SaaS l'assurent généralement dans le cadre de l'abonnement. Avec une solution sur mesure, elle revient à l'intégrateur ou à vos équipes.
Ajoutez deux postes souvent oubliés : l'évaluation continue, que la DGE recommande pour détecter les dérives, et le temps des équipes métier qui relisent les réponses et maintiennent les documents. Notre article sur le coût d'un projet RAG d'entreprise détaille les postes.
La preuve à demander. Un devis qui distingue abonnement ou infrastructure, usage du modèle, connecteurs, maintenance et évaluation, sur la durée du contrat.
Les sept critères en un tableau
| Critère | Question au fournisseur | Test à mener sur vos documents |
|---|---|---|
| Citations | La réponse renvoie-t-elle au passage exact ? | Dix questions connues, citation ouverte à chaque fois |
| Droits d'accès | Les droits s'appliquent-ils avant la récupération ? | Deux comptes, un document réservé |
| « Je ne sais pas » | Que fait le système sans source ? | Questions sans réponse dans le corpus |
| Cloisonnement | Comment les espaces sont-ils isolés ? | Deux espaces, requêtes croisées |
| Hébergement | Où vit chaque couche, sous quel droit ? | Liste des sous-traitants et lieu du modèle |
| Connecteurs | Quels droits, quelle synchronisation, quelle suppression ? | Suppression d'un document puis question |
| Coût complet | Que contient le prix, sur la durée ? | Devis décomposé par poste |
Sources : DGE, Guide RAG, novembre 2024 ; OWASP, RAG Security Cheat Sheet et LLM08:2025. La formulation des tests relève de notre méthode.
Grille de décision
| Votre situation | Approche recommandée |
|---|---|
| Corpus peu sensible, une seule équipe, besoin rapide | Solution SaaS, avec vérification des critères 1, 3 et 7 sur un essai |
| Documents aux droits hétérogènes (RH, finance, juridique) | Critères 2 et 6 bloquants : aucun achat sans test à deux comptes et test de suppression |
| Plusieurs filiales ou clients sur une même plateforme | Critère 4 bloquant : test de cloisonnement avant chaque nouvel espace |
| Documents sensibles, exigences de souveraineté | Critère 5 bloquant : qualification et lieu de chaque couche vérifiés avec le RSSI |
| Équipe capable d'exploiter une infrastructure dans la durée | Comparer SaaS et solution hébergée sur le critère 7, maintenance comprise |
Base de la grille : critères de la DGE (p. 9, 14-15 et 19) et contre-mesures OWASP citées ci-dessus. Le classement des critères par situation relève de notre lecture.
Avant de comparer des fournisseurs, fixez la tâche assistée et le périmètre de données. Notre méthode de cadrage d'un projet RAG aide à poser ces décisions.
FAQ
-
Combien de questions faut-il pour tester un chatbot documentaire ?
Il n'existe pas de nombre universel. Le jeu de test doit couvrir les tâches réelles, des questions sans réponse dans le corpus, des cas de droits différents et des documents de qualité variable. Un petit jeu bien construit apprend davantage qu'un grand jeu de questions faciles.
-
Un chatbot qui cite ses sources peut-il encore se tromper ?
Oui. Le guide de la DGE rappelle que le RAG réduit les hallucinations sans les supprimer. La citation permet de vérifier la réponse. Elle ne garantit pas que la réponse soit juste, d'où l'intérêt d'ouvrir la citation pendant l'essai.
-
Faut-il exiger une qualification SecNumCloud ?
Cela dépend de la sensibilité des documents et de vos obligations. L'ANSSI présente SecNumCloud comme une protection face à la menace cybercriminelle et à l'application de lois extraterritoriales. Vérifiez le périmètre exact de toute qualification annoncée, couche par couche.
-
Le modèle de langage peut-il filtrer lui-même les documents interdits ?
Non. L'OWASP recommande d'appliquer le contrôle d'accès avant que le contenu atteigne le modèle. Un passage interdit qui arrive dans le contexte du modèle peut se retrouver dans la réponse.
Méthodologie et sources
Sources institutionnelles
- DGE, Guide de la génération augmentée par récupération (RAG), novembre 2024, consulté le 22 octobre 2026. Pages utilisées : 7 (fiche de synthèse : « Les coûts dépendent fortement du volume d'utilisation »), 9 (critères de risque de fuite de données), 14-15 (modes d'hébergement), 19 (évaluation et maintenance), 20 (limites : persistance des hallucinations), 21 (pistes de discussion avec un prestataire). Les coûts cités par la DGE ont été évalués en juin 2024 et ne sont pas repris ici.
- ANSSI, Cloud : qualification et visa de sécurité SecNumCloud, consulté le 22 octobre 2026.
Sources techniques
- OWASP, RAG Security Cheat Sheet, consulté le 22 octobre 2026. Sections utilisées : 4 (héritage des contrôles d'accès, suppression), 5 (attribution des sources), 6 (isolation des chunks), 12 (tests), 13 (connecteurs), 14 (conception fail-closed).
- OWASP, LLM08:2025 Vector and Embedding Weaknesses, consulté le 22 octobre 2026.
Interprétation
Les sept critères, les tests proposés et la grille de décision relèvent de notre lecture de ces sources. Ils ne sont pas des citations de la DGE, de l'ANSSI ou de l'OWASP. Cet article ne contient ni statistique ni estimation chiffrée.
Politique de rectification
Si vous identifiez une erreur factuelle ou une source devenue obsolète, signalez-le à contact@ignitionai.fr. La politique éditoriale d'IgnitionAI prévoit un examen de chaque signalement et, en cas d'erreur substantielle, une note de rectification visible en tête d'article.
Dernière relecture des sources
22 octobre 2026.
Vous comparez des solutions de chatbot sur vos documents internes ? Décrivez votre contexte à IgnitionAI. Un premier échange peut aider à transformer ces sept critères en protocole d'essai adapté à vos documents et à vos droits d'accès.