Faire tourner son IA chez soi : pourquoi c’est possible, avec quels outils libres, et à quelles conditions

Résumer un compte rendu, traduire un contrat, corriger un courrier : les assistants d’IA en ligne rendent ces services en quelques secondes, mais chaque requête est un document confié à un tiers. L’ANSSI explique qu’envoyer des informations à un service d’IA générative accessible au public revient à les déposer sur un espace de stockage appartenant à son éditeur. Une autre voie existe : faire tourner l’IA sur son propre matériel, avec des logiciels et des modèles libres. Nous avons examiné les licences, les besoins matériels et les recommandations officielles pour voir ce qui est réellement possible, et ce qui ne l’est pas.

Pourquoi garder son IA chez soi

Le guide de l’ANSSI publié le 29 avril 2024 détaille ce que recouvrent les données sensibles : données personnelles, informations contractuelles, juridiques et financières, secrets informatiques comme les mots de passe ou les clés d’API, sans oublier les informations classifiées ou à diffusion restreinte. L’agence en explique la raison : l’isolation entre clients et la confidentialité des données envoyées à un service en ligne reposent uniquement sur la confiance accordée au fournisseur, et dans la majorité des services, ces données sont collectées et utilisées pour optimiser les modèles.

L’ANSSI recommande de ne pas confier de données sensibles à un service d’IA générative accessible au public.

Le risque n’a rien de théorique. En avril 2023, Samsung a découvert qu’un ingénieur avait transmis du code source interne à ChatGPT ; l’entreprise a ensuite interdit les outils d’IA générative à ses employés, comme l’a rapporté Bloomberg début mai 2023. Côté régulateur, l’autorité italienne de protection des données a infligé à OpenAI, le 20 décembre 2024, une amende de 15 millions d’euros, notamment pour avoir entraîné ses modèles avec des données personnelles sans base légale appropriée et pour ne pas avoir notifié une violation de données survenue en mars 2023. Le dossier a ensuite été transféré aux autorités irlandaises, puisque OpenAI s’est établie à Dublin.

La CNIL, dans ses recommandations du 18 juillet 2024 sur le déploiement d’une IA générative, conseille de choisir un mode de déploiement sécurisé, par exemple en « privilégiant le recours à des systèmes locaux, sécurisés et spécialisés ». À défaut, il faut déterminer dans quelle mesure le prestataire peut réutiliser les données qu’on lui fournit. S’ajoute la question du droit applicable : le CLOUD Act américain oblige les fournisseurs de services concernés à communiquer les données qu’ils contrôlent, que celles-ci soient stockées aux États-Unis ou à l’étranger. Héberger ses données en Europe chez un fournisseur soumis à ce texte ne règle donc pas, à lui seul, la question.

Au-delà de la conformité, l’IA locale a des avantages très concrets. Elle fonctionne sans connexion à Internet. Son coût ne dépend ni d’un abonnement par utilisateur ni d’une facturation à l’usage : on paie le matériel et l’électricité. On peut la brancher sur ses propres documents sans rien faire sortir du réseau, et décider soi-même du moment où l’on change de modèle. Quand le modèle tourne en local, l’éditeur d’Ollama affirme dans sa FAQ ne voir ni les requêtes ni les données.

Libre, mais libre jusqu’où ?

Le mot « libre » mérite toutefois une définition précise. L’Open Source Initiative (OSI) a publié sa définition de l’IA open source, qui exige les quatre libertés (utiliser, étudier, modifier, partager), des informations suffisamment détaillées sur les données d’entraînement, le code complet d’entraînement et d’exécution, ainsi que les paramètres du modèle. Rares sont les modèles qui y répondent. La plupart sont à « poids ouverts » : leurs paramètres sont téléchargeables sous une licence libre comme Apache 2.0, en général sans que les données d’entraînement soient publiées. C’est le cas de plusieurs modèles de Mistral AI, de Qwen, d’OpenAI (gpt-oss) et de Google (Gemma 4), dont les fiches Hugging Face indiquent cette licence. Les plus ouverts sont OLMo 3, de l’Allen Institute for AI, qui publie données, code et poids, et Luciole, du consortium français OpenLLM-France et de LINAGORA, qui publie ses poids, son code d’entraînement et ses jeux de données de post-entraînement.

Nous écartons ici les modèles sous licence maison. L’OSI a jugé dès 2023 que la licence de Llama 2, le modèle de Meta, n’est pas une licence open source, notamment à cause de restrictions d’usage. Et même chez un éditeur qui publie en Apache 2.0, certains modèles ont une autre licence : Mistral Medium 3.5, par exemple, est étiqueté « other » sur Hugging Face. Avant de télécharger un modèle, vérifiez toujours sa licence sur sa fiche.

Les outils pour s’y mettre

Pour faire tourner un modèle, il faut d’abord un moteur d’inférence. llama.cpp, sous licence MIT, en est la référence : une implémentation en C/C++ sans dépendances, qui sait aussi servir une API compatible avec celle d’OpenAI, et qui compte plus de 130 000 étoiles sur GitHub. Ollama (licence MIT, plus de 180 000 étoiles) s’appuie sur llama.cpp pour simplifier l’installation : une commande suffit pour télécharger et lancer un modèle. Il écoute par défaut sur l’adresse locale 127.0.0.1, port 11434. Ollama propose aussi un service cloud ; pour rester strictement local, sa FAQ officielle indique de définir la variable OLLAMA_NO_CLOUD=1. Pour des serveurs équipés de cartes graphiques, vLLM (Apache 2.0, plus de 90 000 étoiles) et LocalAI (MIT) sont d’autres alternatives libres.

Pour dialoguer avec le modèle sans passer par la ligne de commande, plusieurs interfaces libres existent : LibreChat (MIT), AnythingLLM (MIT) et Jan (Apache 2.0, développé par Menlo Research). Les utilisateurs de Nextcloud disposent d’une option intégrée : l’application llm2 sert de moteur à l’assistant Nextcloud, s’appuie sur llama.cpp et fonctionne entièrement sur le serveur, avec des modèles open source. Sa documentation demande une carte NVIDIA avec au moins 8 Go de mémoire vidéo et 12 Go de RAM, ou 12 Go de RAM minimum et 10 à 20 cœurs sans carte graphique, et recommande Qwen 3.5 9B, Gemma 4 E4B (qu’elle juge meilleur pour les langues européennes) et OLMo 3 7B Instruct. Une absente notable : Open WebUI, très répandue, ne répond plus aux critères. Depuis le 18 avril 2025, sa licence contient une clause qui interdit de retirer ou de modifier la marque « Open WebUI », sauf pour moins de 50 utilisateurs sur 30 jours, avec une autorisation écrite ou une licence entreprise. Ce n’est plus une licence libre standard : nous ne la retenons pas.

Quels modèles, pour quelle machine ?

Les tailles ci-dessous sont celles des téléchargements proposés par Ollama, en versions quantifiées (compressées) : prévoyez un peu plus de mémoire pour le contexte. Ministral 3, de Mistral AI, éditeur français, existe en 3, 8 et 14 milliards de paramètres, pour 3,0 Go, 6,0 Go et 9,1 Go. Sa fiche indique que la version 8B tient dans 12 Go de mémoire vidéo en FP8, et moins une fois quantifiée. Il gère le français, les images et 256 000 jetons de contexte, sous Apache 2.0. gpt-oss-20b d’OpenAI (Apache 2.0) pèse 14 Go, et son grand frère gpt-oss-120b 65 Go. Qwen3.8-27B (Apache 2.0) en demande 18 Go. Côté français, Luciole 8B est à suivre, mais sa fiche précise qu’il a été post-entraîné presque uniquement sur des données en anglais. De son côté, la documentation de Nextcloud indique qu’OLMo ne fonctionne bien qu’avec des textes en anglais : ces deux modèles conviennent donc moins à un usage en français.

Avec 16 Go de mémoire vidéo, Ministral 3 14B (9,1 Go) ou gpt-oss-20b (14 Go) entrent en mémoire, mais pas Qwen3.8-27B (18 Go). Les modèles de plus de 100 milliards de paramètres, comme gpt-oss-120b, relèvent d’un serveur. Sans carte graphique, tout fonctionne aussi, mais plus lentement. Et le matériel a un coût : la pénurie de mémoire a fait grimper les prix, comme nous l’expliquions dans notre article sur la hausse des prix de la RAM et des SSD.

Les limites à connaître

Première limite : il ne faut pas attendre d’un petit modèle local les performances des plus grands modèles propriétaires. L’écart se réduit pourtant vite. Selon le rapport 2025 de l’AI Index de Stanford, le meilleur modèle propriétaire devançait le meilleur modèle à poids ouverts de 8,04 % sur le classement Chatbot Arena en janvier 2024, contre 1,70 % en février 2025. Ce classement compare toutefois les meilleurs modèles de chaque camp, qui peuvent être trop gros pour un poste de travail, et il mesure la préférence moyenne d’utilisateurs, pas la qualité sur votre métier. Enfin, comme tous les modèles de langage, ceux-ci peuvent se tromper : la CNIL rappelle que ces systèmes « sont susceptibles de générer des résultats inexacts qui peuvent, pourtant, paraître plausibles ».

Deuxième limite : la sécurité. Un serveur local mal configuré n’est plus local. En 2025, des chercheurs de Cisco ont recensé avec le moteur de recherche Shodan 1 139 serveurs Ollama accessibles depuis Internet, dont 214 (18,8 %) faisaient tourner des modèles et répondaient aux requêtes. Ollama n’écoute que sur 127.0.0.1 par défaut : le danger vient de la modification de l’adresse d’écoute pour ouvrir le service au réseau sans authentification. Cisco recommande une authentification par clé d’API ou OAuth2, une segmentation du réseau et des pare-feux ; nous ajoutons un accès par VPN ou un proxy inverse authentifié. Les modèles eux-mêmes forment une chaîne d’approvisionnement : l’ANSSI avertit qu’utiliser un modèle entraîné par un tiers peut exposer à une attaque, et recommande d’évaluer la confiance accordée aux bibliothèques et aux sources de données. Téléchargez donc vos modèles depuis les dépôts officiels de leurs auteurs.

Par où commencer ? La CNIL conseille de partir d’un besoin concret plutôt que de déployer une IA sans but précis. Choisissez une tâche (résumer des comptes rendus, reformuler, traduire), installez Ollama sur un poste, testez Ministral 3 8B, puis ajoutez une interface comme LibreChat ou Jan, ou l’assistant Nextcloud si vous l’utilisez déjà. Une IA locale protège vos données, mais elle ne dispense ni de vérifier les réponses ni de sécuriser le serveur. Azure Informatique peut vous aider à choisir le matériel, à installer la solution et à la configurer, dans le même esprit bénévole et gratuit que pour le reste de son accompagnement.