RAG souverain on-premise : interroger vos données confidentielles sans les exposer

Un modèle de langage généraliste ignore tout de vos procédures internes, de vos contrats et de vos rapports d’incident. Pour qu’une IA réponde à partir de vos propres documents, une architecture s’est imposée en deux ans, le RAG (Retrieval-Augmented Generation). Reste une question que trop de projets traitent en dernier, alors qu’elle devrait être posée en premier : où passent vos données pendant que l’assistant travaille ?

Cet article détaille l’architecture d’un RAG déployé sur votre propre infrastructure, ses différences avec une plateforme hébergée, et les bonnes pratiques pour interroger un corpus confidentiel sans jamais le faire sortir de chez vous.

Le RAG en une minute

Un système RAG combine deux briques. Un moteur de récupération (retrieval) retrouve dans votre corpus les passages pertinents pour une question. Un modèle de langage (generation) rédige ensuite une réponse en s’appuyant sur ces passages et cite ses sources.

Le pipeline suit quatre temps :

1. Ingestion des documents (PDF, Word, pages internes, tickets)
2. Découpage sémantique et vectorisation (embeddings) dans une base vectorielle
3. Récupération des passages les plus proches de la requête
4. Génération d’une réponse ancrée, avec renvoi aux sources

L’apport par rapport à un chatbot généraliste tient en un mot, l’ancrage. Le modèle ne répond plus de mémoire, il répond à partir de vos contenus, ce qui réduit fortement les hallucinations et rend chaque réponse vérifiable.

En pratique, une partie du corpus n’existe souvent que sur papier ou sous forme de scans. Une étape de numérisation intelligente précède alors l’ingestion, pour convertir ces flux en texte exploitable. BADIS AI traite ce préalable avec son module d’automatisation documentaire par OCR, qui transforme des documents papier en contenus prêts à indexer.

Le point aveugle : où vont vos données ?

Un RAG n’envoie pas seulement une question à un modèle. À chaque requête, il transmet aussi les extraits de vos documents jugés pertinents, c’est-à-dire précisément la partie confidentielle du corpus. Quand le modèle et la base vectorielle sont hébergés chez un fournisseur, plusieurs flux quittent votre périmètre :

• les passages récupérés, insérés dans le prompt envoyé à l’API
• les embeddings, qui encodent le contenu de vos documents
• les journaux de requêtes, souvent conservés côté prestataire

Pour un corpus public ou anodin, ce transit n’est pas un problème. Pour des dossiers réglementaires, des données de santé, des contrats ou de la propriété intellectuelle, il change la nature du risque : conformité RGPD, résidence des données, clauses de confidentialité, réutilisation éventuelle pour l’entraînement. La question n’est plus la qualité des réponses, mais la maîtrise du chemin que suivent vos informations.

RAG-as-a-Service ou RAG souverain : deux modèles

Deux approches répondent au même besoin avec des compromis opposés.

RAG-as-a-Service. Une plateforme en libre-service héberge vos documents sur son cloud et vous livre un assistant standardisé. L’avantage est la vitesse de démarrage et le faible coût d’entrée. La limite est que vos documents et vos requêtes transitent par une infrastructure tierce. Ce modèle convient aux données non sensibles.

RAG souverain (on-premise). L’assistant est déployé sur votre propre infrastructure, sur site ou dans un cloud privé que vous contrôlez. Aucune donnée ne sort, les accès sont gérés de votre côté et la conformité est intégrée dès la conception. Le compromis est un projet plus structurant, avec une brique GPU à dimensionner. Ce modèle s’impose pour les données sensibles ou réglementées.

L’architecture d’un RAG on-premise

Un RAG souverain repose sur des composants entièrement maîtrisables, tous disponibles en open source ou en open-weight :

• Modèle de langage local. Un modèle à poids ouverts (Llama, Mistral, Qwen) servi via un moteur d’inférence comme vLLM, Ollama ou TGI. Le texte de vos documents ne quitte jamais la machine qui héberge le modèle.
• Modèle d’embeddings local. La vectorisation se fait sur place, sans appel à une API externe.
• Base vectorielle interne. Qdrant, Weaviate, pgvector ou Chroma stockent les vecteurs au sein de votre réseau.
• Orchestration. LangChain ou LlamaIndex enchaînent récupération et génération, avec le contrôle du prompt final.
• Couche d’accès et de traçabilité. Authentification, filtrage des droits et journalisation restent sous votre gouvernance.

Le principe directeur reste simple : aucune requête sortante vers un service tiers. Le corpus, les vecteurs, le modèle et les journaux vivent dans le même périmètre de confiance. C’est cette approche que BADIS AI met en oeuvre avec son Knowledge Assistant RAG, conçu et déployé sur mesure sur l’infrastructure du client plutôt qu’en libre-service.

Cinq bonnes pratiques pour un corpus confidentiel

1. Soigner le découpage. Un chunking trop fin disperse le sens, trop grossier noie l’information utile. La qualité du retrieval dépend d’abord de cette étape.
2. Filtrer les droits au niveau de la récupération. Un passage ne doit jamais remonter à un utilisateur qui n’a pas le droit de le lire. Le contrôle d’accès s’applique avant la génération, pas après.
3. Citer les sources systématiquement. Chaque réponse renvoie au document et au passage d’origine, ce qui rend l’assistant auditable et facilite la vérification métier.
4. Évaluer avec un jeu de référence. Un ensemble de questions et de réponses attendues permet de mesurer la fidélité du système et de détecter les régressions au fil des mises à jour.
5. Cloisonner le réseau. Sans appel sortant possible, la fuite de données par l’API devient structurellement impossible, pas seulement improbable.

Quand le on-premise devient non négociable

Certains secteurs ne peuvent pas envoyer leur corpus vers un cloud tiers sans revoir toute leur chaîne de conformité. La santé et la pharmacie (BPF, BPL, exigences GxP), la finance, le secteur public et le juridique manipulent des documents dont la résidence et la traçabilité sont encadrées. BADIS AI conçoit ses assistants documentaires en mode souverain précisément pour ces contraintes, et les décline pour le secteur de la santé et de la pharmacie, où la conformité GxP et le RGPD imposent que rien ne quitte le périmètre.

Un corpus réglementaire est même l’un des meilleurs cas d’usage du RAG : procédures, normes, contrats et référentiels sont exactement ce qu’un moteur de récupération sait exploiter, en retrouvant la bonne clause et en citant sa source.

Combien coûte un RAG en entreprise ?

Sur le marché français, un RAG simple portant sur un corpus unique et un déploiement standard se situe généralement entre 10 000 et 25 000 euros. Un RAG multi-sources avec gestion fine des droits d’accès va de 50 000 à 150 000 euros. L’écart tient surtout à la volumétrie, au nombre de sources et à la finesse du contrôle d’accès, rarement au modèle lui-même.

Un cadrage préalable évite le piège de l’usine à gaz. Mieux vaut un premier cas d’usage à ROI mesurable qu’un projet tentaculaire, un principe que BADIS AI applique en délimitant un périmètre restreint avant toute extension. Pour approfondir la méthode et les postes de coût, le guide du RAG en entreprise détaille les arbitrages étape par étape.

Questions fréquentes

Un RAG on-premise est-il moins performant qu’une solution cloud ? Non. Les modèles à poids ouverts récents atteignent un niveau largement suffisant pour la plupart des cas d’usage documentaires. La performance perçue dépend davantage de la qualité du corpus, du découpage et du retrieval que du lieu d’hébergement.

Faut-il un GPU pour déployer un RAG souverain ? Pour l’inférence d’un modèle de langage local, oui, une brique GPU est généralement nécessaire. Son dimensionnement dépend du modèle retenu et du volume de requêtes attendu.

Le RAG convient-il aux secteurs réglementés ? Oui, à condition d’un déploiement souverain. Un corpus réglementaire se prête bien au RAG, et le mode on-premise permet de le traiter sans faire sortir les données du périmètre de conformité.