Théo Gastinel

Documentation · Sujet 6

L'intelligence artificielle Gastinel Mind

Une intelligence artificielle qui tourne sur ma propre carte graphique, chez moi. Elle répond sur le Vercors, consulte la météo et cherche sur le web, sans jamais enregistrer vos conversations ni nourrir des modèles commerciaux.

Pourquoi une IA locale : la souveraineté et la discrétion

La quasi-totalité des intelligences actuelles dépendent de serveurs géants aux États-Unis. Chaque question posée y est analysée, souvent stockée, et parfois réutilisée pour entraîner les modèles de demain. J'ai voulu prendre le chemin inverse : faire tourner un modèle complet chez moi, sur mon propre matériel, accessible publiquement sur mind.gastinel.me.

Le principe fondateur de Mind tient en une phrase : « La seule IA qui oublie tout... sauf pour vous. » Dès que la réponse est envoyée à votre navigateur, elle disparaît de la mémoire du serveur. Rien n'est écrit sur disque, aucune conversation n'est archivée, et aucun traceur commercial n'est chargé.

L'infrastructure : une carte Tesla P100 chez moi

Faire tourner un modèle de langage demande de la puissance de calcul et surtout de la mémoire vidéo rapide (VRAM). Mind tourne sur une carte dédiée installée dans le serveur Debian chez moi :

Internet (visiteur) │ HTTPS VPS en Suisse (Caddy) │ Tunnel chiffré WireGuard (wg2) Serveur Debian (chez moi) │ ├─ Orchestrateur Python (FastAPI) Vérifications, quotas du Hub, outils │ ├─ SearXNG local Recherche web sans traceurs (127.0.0.1:8890) │ ├─ Météo Vercors Relevés en direct des 20+ stations du massif │ └─ Calculatrice Exécution mathématique exacte │ └─ llama.cpp (127.0.0.1:8888) Inférence locale sur Tesla P100 (16 Go) └─ VercorNaf Flash (GGUF) Modèle servi en production

L'évolution des modèles : VercorNaf Flash, Flash 1.1 et Flash 1.2

Je ne cache rien de mes modèles. La famille VercorNaf est construite à partir du modèle ouvert Gemma 4 12B de Google DeepMind (version quantifiée QAT Q4_0), sous licence Apache 2.0. Voici le parcours réel, sans filtre marketing :

VercorNaf Flash (en production) : le prompt système et les optimisations sur la P100

La première version de Mind — VercorNaf Flash, qui tourne aujourd'hui en production sur mind.gastinel.me — utilise les poids d'origine de Gemma 4 12B sans ajustement. Tout son comportement repose sur deux piliers :

VercorNaf Flash 1.1 : un échec formateur et non sorti

Le 16 octobre, j'ai voulu franchir une étape en adaptant directement les poids du modèle à l'aide de la méthode QLoRA : 4 695 exemples de dialogue calculés pendant 566 minutes (environ 9 h 30) sur la Tesla P100.

Le résultat ? Au banc d'évaluation, le candidat 1.1 a fait exactement jeu égal avec VercorNaf Flash (25,4 % contre 26,9 %, ce qui correspond au bruit de mesure). L'apprentissage n'apportait aucun gain réel sur les connaissances du Vercors et dégradait parfois l'usage des outils.

La décision a été immédiate : ne pas le sortir. Pourquoi remplacer un modèle par un autre qui ne fait pas mieux ? Un échec bien mesuré vaut mieux qu'une fausse promesse. Cet essai m'a appris que 4 700 exemples ne suffisaient pas pour un modèle de 12 milliards de paramètres, et qu'il fallait construire des données d'apprentissage avec une exigence géographique bien plus rigoureuse.

VercorNaf Flash 1.2 : en cours de développement

C'est le grand chantier actuel. Flash 1.2 sera la première version aux poids réellement transformés :

En arrière-plan : VercorNaf Pro 0.1

Pour m'aider à trier et évaluer ces données, un modèle plus lourd (Ternary Bonsai 2 27B) tourne la nuit sur le processeur (CPU). Trop lent pour la conversation en direct (environ 2 jetons par seconde), il sert de « juge de fond » pour inspecter la cohérence des textes pendant que je dors.

ModèleBase techniqueCe qui changeStatut
VercorNaf FlashGemma 4 12B it QAT Q4_0Poids d'origine. Prompt système soigné, optimisations P100 (cache KV fixe 24 h, ~44 t/s), outils en direct (SearXNG, météo).En production sur mind.gastinel.me
VercorNaf Flash 1.1Gemma 4 12B + QLoRA (4 695 ex.)Premier essai d'ajustement fin sur la P100. Résultat égal à Flash au banc.Échec documenté, non sorti
VercorNaf Flash 1.2Gemma 4 12B + QLoRA (~100 000 ex.)Réentraînement massif : topographie OSM/IGN, histoire du Vercors, guide de ton, 750 ex. outils/météo.En cours de développement
VercorNaf Pro 0.1Ternary Bonsai 2 27B (CPU)Modèle de fond à 2 t/s pour évaluer et relire les jeux de données la nuit.Outil d'évaluation interne

Pourquoi VercorNaf Pro 0.1 ne sort pas : Tournant uniquement sur le processeur (CPU), ce modèle de 27 milliards de paramètres est beaucoup trop lent (environ 2 jetons par seconde) pour être utilisable en direct. Pour un service de chat comme Mind, cela n'a aucun sens d'imposer cette attente aux utilisateurs : il vaut bien mieux miser sur la gamme Flash, rapide et réactive sur la carte Tesla P100. Pro 0.1 reste strictement un outil d'évaluation interne la nuit.

Le ton et la voix : parler comme un voisin du massif

La plupart des intelligences artificielles adoptent un ton mielleux de téléconseiller (« Excellente question ! », « Comment puis-je vous aider aujourd'hui ? ») et abusent des listes à puces. Pour Mind, j'ai défini des règles de comportement claires :

Des outils en direct pour ne pas inventer

Un modèle de langage seul n'est qu'un générateur statistique : il ne connaît ni l'heure exacte, ni le temps qu'il fait dehors. L'orchestrateur de Mind l'équipe d'outils souverains exécutés en coulisses :

Une direction artistique propre

Mind possède sa propre identité visuelle au sein de mes projets :

Ce qui est encore en chantier

← La collecte météoLes sauvegardes et la sécurité →

Mise à jour : novembre 2026.