Documentation · Sujet 6
L'intelligence artificielle Gastinel Mind
Une intelligence artificielle qui tourne sur ma propre carte graphique, chez moi. Elle répond sur le Vercors, consulte la météo et cherche sur le web, sans jamais enregistrer vos conversations ni nourrir des modèles commerciaux.
Pourquoi une IA locale : la souveraineté et la discrétion
La quasi-totalité des intelligences actuelles dépendent de serveurs géants aux États-Unis. Chaque question posée y est analysée, souvent stockée, et parfois réutilisée pour entraîner les modèles de demain. J'ai voulu prendre le chemin inverse : faire tourner un modèle complet chez moi, sur mon propre matériel, accessible publiquement sur mind.gastinel.me.
Le principe fondateur de Mind tient en une phrase : « La seule IA qui oublie tout... sauf pour vous. » Dès que la réponse est envoyée à votre navigateur, elle disparaît de la mémoire du serveur. Rien n'est écrit sur disque, aucune conversation n'est archivée, et aucun traceur commercial n'est chargé.
L'infrastructure : une carte Tesla P100 chez moi
Faire tourner un modèle de langage demande de la puissance de calcul et surtout de la mémoire vidéo rapide (VRAM). Mind tourne sur une carte dédiée installée dans le serveur Debian chez moi :
- NVIDIA Tesla P100 (16 Go de VRAM) : une carte de calcul professionnel d'occasion, bridée à 175 W pour rester sobre en énergie, refroidie par une courbe de ventilation sur mesure. Elle utilise environ 9,4 Go de VRAM en charge.
- Moteur d'inférence llama.cpp : le moteur tourne directement sur le système Debian, sans conteneur Docker, pour garder 100 % des performances matérielles et un accès direct au GPU.
- Vitesse réelle : environ 44 jetons par seconde en réponse courte, avec une file d'attente à priorité pour absorber deux demandes simultanées sans saturer la carte.
- Cache de contexte optimisé : l'invite système reste fixe toute la journée afin de conserver le cache KV en mémoire vidéo, évitant de recalculer 4 à 6 secondes d'introduction à chaque message.
L'évolution des modèles : VercorNaf Flash, Flash 1.1 et Flash 1.2
Je ne cache rien de mes modèles. La famille VercorNaf est construite à partir du modèle ouvert Gemma 4 12B de Google DeepMind (version quantifiée QAT Q4_0), sous licence Apache 2.0. Voici le parcours réel, sans filtre marketing :
VercorNaf Flash (en production) : le prompt système et les optimisations sur la P100
La première version de Mind — VercorNaf Flash, qui tourne aujourd'hui en production sur mind.gastinel.me — utilise les poids d'origine de Gemma 4 12B sans ajustement. Tout son comportement repose sur deux piliers :
- Un prompt système très précis : il définit l'identité de Mind, son ancrage dans le Vercors, son ton de voisin, son honnêteté factuelle (« dire ce qu'on ne sait pas plutôt qu'inventer ») et ses règles de neutralité.
- Des optimisations poussées pour la Tesla P100 : le modèle tourne avec
llama-serveren natif avec un cache KV stabilisé (l'invite système reste strictement identique toute la journée pour ne pas perdre 4 à 6 secondes à chaque requête), un débit de 44 jetons/seconde, et une file d'attente à priorité. Il est branché directement aux outils en direct (recherche web SearXNG locale, relevés météo, calculatrice).
VercorNaf Flash 1.1 : un échec formateur et non sorti
Le 16 octobre, j'ai voulu franchir une étape en adaptant directement les poids du modèle à l'aide de la méthode QLoRA : 4 695 exemples de dialogue calculés pendant 566 minutes (environ 9 h 30) sur la Tesla P100.
Le résultat ? Au banc d'évaluation, le candidat 1.1 a fait exactement jeu égal avec VercorNaf Flash (25,4 % contre 26,9 %, ce qui correspond au bruit de mesure). L'apprentissage n'apportait aucun gain réel sur les connaissances du Vercors et dégradait parfois l'usage des outils.
La décision a été immédiate : ne pas le sortir. Pourquoi remplacer un modèle par un autre qui ne fait pas mieux ? Un échec bien mesuré vaut mieux qu'une fausse promesse. Cet essai m'a appris que 4 700 exemples ne suffisaient pas pour un modèle de 12 milliards de paramètres, et qu'il fallait construire des données d'apprentissage avec une exigence géographique bien plus rigoureuse.
VercorNaf Flash 1.2 : en cours de développement
C'est le grand chantier actuel. Flash 1.2 sera la première version aux poids réellement transformés :
- Un volume décuplé : environ 100 000 paires de questions/réponses vérifiées, issues de la spatialisation OpenStreetMap (OSM) et IGN (falaises, pas, scialets, grottes, cabanes), de l'histoire locale (424 articles Wikipédia sur le Vercors, soit ~17 000 faits) et d'un guide de ton soigné.
- Des outils intégrés dans les poids : 500 exemples dédiés à l'appel d'outils et 250 exemples météo.
- Un vérificateur automatique : chaque exemple généré est passé au crible pour rejeter les hallucinations géographiques, les faux sentiers et les parcours dangereux.
- La règle d'or : Flash 1.2 ne sera déployé que s'il bat nettement VercorNaf Flash sur notre banc de référence de 250 questions.
En arrière-plan : VercorNaf Pro 0.1
Pour m'aider à trier et évaluer ces données, un modèle plus lourd (Ternary Bonsai 2 27B) tourne la nuit sur le processeur (CPU). Trop lent pour la conversation en direct (environ 2 jetons par seconde), il sert de « juge de fond » pour inspecter la cohérence des textes pendant que je dors.
| Modèle | Base technique | Ce qui change | Statut |
|---|---|---|---|
| VercorNaf Flash | Gemma 4 12B it QAT Q4_0 | Poids d'origine. Prompt système soigné, optimisations P100 (cache KV fixe 24 h, ~44 t/s), outils en direct (SearXNG, météo). | En production sur mind.gastinel.me |
| VercorNaf Flash 1.1 | Gemma 4 12B + QLoRA (4 695 ex.) | Premier essai d'ajustement fin sur la P100. Résultat égal à Flash au banc. | Échec documenté, non sorti |
| VercorNaf Flash 1.2 | Gemma 4 12B + QLoRA (~100 000 ex.) | Réentraînement massif : topographie OSM/IGN, histoire du Vercors, guide de ton, 750 ex. outils/météo. | En cours de développement |
| VercorNaf Pro 0.1 | Ternary Bonsai 2 27B (CPU) | Modèle de fond à 2 t/s pour évaluer et relire les jeux de données la nuit. | Outil d'évaluation interne |
Pourquoi VercorNaf Pro 0.1 ne sort pas : Tournant uniquement sur le processeur (CPU), ce modèle de 27 milliards de paramètres est beaucoup trop lent (environ 2 jetons par seconde) pour être utilisable en direct. Pour un service de chat comme Mind, cela n'a aucun sens d'imposer cette attente aux utilisateurs : il vaut bien mieux miser sur la gamme Flash, rapide et réactive sur la carte Tesla P100. Pro 0.1 reste strictement un outil d'évaluation interne la nuit.
Le ton et la voix : parler comme un voisin du massif
La plupart des intelligences artificielles adoptent un ton mielleux de téléconseiller (« Excellente question ! », « Comment puis-je vous aider aujourd'hui ? ») et abusent des listes à puces. Pour Mind, j'ai défini des règles de comportement claires :
- La voix d'un voisin : Mind s'exprime comme quelqu'un du massif qui s'y connaît : direct, à l'aise, chaleureux, avec du relief. Il tutoie naturellement.
- De la prose avant tout : des paragraphes rédigés, pas de listes à puces par réflexe. La première phrase répond tout de suite à la question posée.
- Un « je ne sais pas » franc : quand une information n'est pas certaine (notamment en montagne), il le dit nettement (« Ça, je ne sais pas », « Là, je sèche ») et propose où vérifier (l'office de tourisme, la carte IGN, la mairie), plutôt que d'inventer une réponse rassurante mais fausse.
- 5 principes publics gravés dans le code : être honnête sur ce qu'il ignore, corriger poliment les fausses prémisses, afficher les sources sous la réponse en cas de recherche web, reconnaître qu'il peut se tromper, et répondre simplement.
Des outils en direct pour ne pas inventer
Un modèle de langage seul n'est qu'un générateur statistique : il ne connaît ni l'heure exacte, ni le temps qu'il fait dehors. L'orchestrateur de Mind l'équipe d'outils souverains exécutés en coulisses :
- Recherche web souveraine : Mind peut interroger le web via une instance SearXNG auto-hébergée sur mon serveur. Aucune adresse IP d'utilisateur ni profil de navigation n'est envoyé à Google ou Bing.
- Météo en direct (
meteo_vercors) : accès direct aux mesures des stations de vercors.me et de ma station Davis VP2 pour donner la température et le vent réels de Lans, Gêve ou Méaudre. - Calcul exact : une calculatrice Python déterministe pour éviter les erreurs d'arithmétique.
- Base locale (RAG) : consultation de fiches de référence vérifiées sur les sentiers et les règles locales.
Une direction artistique propre
Mind possède sa propre identité visuelle au sein de mes projets :
- Coins carrés obligatoires : aucun arrondi (
border-radius: 0partout). C'est une règle stricte de la direction artistique de Mind, qui lui donne un aspect sobre et technique. - Thème clair minimaliste : fond blanc, typographie Inter, aucun effet décoratif superflu.
- Pastille d'état en direct : un signal visuel discret indique l'état réel du serveur, la latence et la disponibilité de la carte graphique.
Ce qui est encore en chantier
- Finalisation de Flash 1.2 : fin de la génération et relecture des 100 000 paires, entraînement QLoRA sur la P100 pendant la maintenance de nuit, puis passage sur le banc de 250 questions.
- Deux modes d'affichage : un mode « Nuage » très épuré pour le grand public, et un mode « Monitoring » affichant la latence, la VRAM et le débit pour les passionnés de technique.
- Voix locale : une dictée vocale locale avec Whisper et une synthèse vocale naturelle en français, sans envoyer d'échantillon audio sur Internet.
Mise à jour : novembre 2026.