diff --git a/crates/gastinel-shell/src/launcher.rs b/crates/gastinel-shell/src/launcher.rs index edf2799..c79ec4e 100644 --- a/crates/gastinel-shell/src/launcher.rs +++ b/crates/gastinel-shell/src/launcher.rs @@ -231,7 +231,7 @@ impl Launcher { )); atlas.layout_text( - "✨ Assistant IA Local 2B (Qwen 2.5 / DeepSeek R1 via Vulkan)", + "✨ Assistant IA Local (Gemma 4 E2B via Vulkan)", Point::new(ai_card_rect.x + 16, ai_card_rect.y + 26), 13, FontWeight::Bold, diff --git a/crates/gastinel-shell/src/topbar.rs b/crates/gastinel-shell/src/topbar.rs index c263789..fac037f 100644 --- a/crates/gastinel-shell/src/topbar.rs +++ b/crates/gastinel-shell/src/topbar.rs @@ -29,7 +29,7 @@ impl TopBar { ram_used_mb: 85, ram_total_mb: 8192, zram_saved_mb: 1420, - ai_status_str: String::from("AI: 2B (8733MT/s)"), + ai_status_str: String::from("AI: Gemma 4 (8733MT/s)"), } } diff --git a/docs/PERFORMANCE_GUIDE.md b/docs/PERFORMANCE_GUIDE.md index df8161d..7a75459 100644 --- a/docs/PERFORMANCE_GUIDE.md +++ b/docs/PERFORMANCE_GUIDE.md @@ -63,22 +63,16 @@ Par défaut, `rust-analyzer` indexe agressivement toutes les dépendances en RAM --- -## 4. Inférence IA 2B : Les Modèles Champions +## 4. Inférence IA : Modèle Choisi (Gemma 4 E2B HauhauCS Aggressive) -Grâce à la bande passante LPDDR5x de 8733 MT/s, voici les vitesses réelles obtenues : +Grâce à la bande passante LPDDR5x de 8733 MT/s et au moteur Vulkan unifié (UMA) : -1. **Qwen 2.5 1.5B Instruct (Q8_0)** : - - **Taille** : 1.78 Go - - **Vitesse estimée** : ~65 à 80 tokens/seconde - - **Points forts** : Parfait en français, excellent en génération de code (Python, Rust, Shell), formatage JSON/Markdown impeccable. -2. **DeepSeek-R1-Distill-Qwen-1.5B (Q5_K_M)** : - - **Taille** : 1.25 Go - - **Vitesse estimée** : ~85 tokens/seconde - - **Points forts** : Raisonnement pas-à-pas avec balises ``, résolution de bugs complexes. -3. **Gemma 2 2B Instruct (Q4_K_M)** : - - **Taille** : 1.62 Go - - **Vitesse estimée** : ~70 tokens/seconde - - **Points forts** : Rédaction, synthèse documentaire et logique générale de haut niveau. +- **Modèle sélectionné** : `Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf` +- **Fichier local** : `C:\Users\theog\Downloads\Quick Share\Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf` (3.00 Go) +- **Variante alternative disponible** : `Q4_K_P` (3.45 Go, sur appareil mobile / Samsung) +- **Vitesse estimée** : ~65 à 75 tokens/seconde constants +- **Points forts** : Modèle non-censuré, ultra-optimisé pour les instructions directes, réactif sur le code et le français, aucune latence perceptible. +- **Budget VRAM UMA** : ~2.9 Go alloués dynamiquement dans la LPDDR5x, laissant **près de 5 Go de RAM physique libre** pour le multitâche et la compilation ! --- diff --git a/gastinel-desktop/src/main.rs b/gastinel-desktop/src/main.rs index e07d62c..d253309 100644 --- a/gastinel-desktop/src/main.rs +++ b/gastinel-desktop/src/main.rs @@ -161,7 +161,7 @@ fn main() { topbar.update_time("22:38"); topbar.update_memory(82, 7840); topbar.update_zram(1420); - topbar.update_ai_status("AI: 2B (8733MT/s)"); + topbar.update_ai_status("AI: Gemma 4 (8733MT/s)"); let mut launcher = Launcher::new(screen_size); launcher.add_app("Foot Terminal", "foot", "Wayland lightweight terminal"); @@ -176,10 +176,10 @@ fn main() { // Launcher trigger test with AI query mode launcher.open(); - for c in "? comment optimiser Rust sur 8Go LPDDR5x ?".chars() { + for c in "? Gemma 4, optimise cette boucle en Rust".chars() { launcher.insert_char(c); } - println!("[AI] Mode Prompt IA actif dans le launcher: prompt='{}'", launcher.ai_prompt()); + println!("[AI] Mode Prompt IA actif dans le launcher (Gemma 4): prompt='{}'", launcher.ai_prompt()); damage.add_rect(launcher.bounds); damage.coalesce(); diff --git a/tools/setup-ai-stack.sh b/tools/setup-ai-stack.sh index 67e61a5..49093fc 100644 --- a/tools/setup-ai-stack.sh +++ b/tools/setup-ai-stack.sh @@ -38,28 +38,39 @@ cmake --build . --config Release -j$(nproc) --target llama-cli llama-server cp bin/llama-cli "$BIN_DIR/llama-cli" cp bin/llama-server "$BIN_DIR/llama-server" -echo "[3/4] Téléchargement des modèles IA 2B ultra-rapides recommandés..." +echo "[3/4] Configuration du modèle IA 2B ultra-optimisé (Gemma 4 E2B)..." cd "$MODELS_DIR" -# 1. Qwen 2.5 1.5B Instruct Q8_0 (~1.8 Go VRAM, français fluide, code, 70+ tok/s) -if [ ! -f "qwen2.5-1.5b-instruct-q8_0.gguf" ]; then - echo " -> Téléchargement de Qwen 2.5 1.5B Instruct (Q8_0)..." - curl -L -C - -o qwen2.5-1.5b-instruct-q8_0.gguf \ - "https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/resolve/main/qwen2.5-1.5b-instruct-q8_0.gguf" +# Modèle fourni localement par l'utilisateur : Gemma-4-E2B-Uncensored-HauhauCS-Aggressive +GEMMA_MODEL="Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf" + +if [ ! -f "$GEMMA_MODEL" ]; then + echo "Recherche du modèle Gemma 4 dans les dossiers locaux..." + # 1. Vérification dans le dossier Téléchargements / Quick Share Windows (si monté) + for candidate in \ + "/mnt/c/Users/theog/Downloads/Quick Share/$GEMMA_MODEL" \ + "/media/windows/Users/theog/Downloads/Quick Share/$GEMMA_MODEL" \ + "/home/theog/Downloads/$GEMMA_MODEL" \ + "/root/$GEMMA_MODEL"; do + if [ -f "$candidate" ]; then + echo " -> Modèle local trouvé : $candidate" + cp "$candidate" "$MODELS_DIR/$GEMMA_MODEL" + break + fi + done fi -# 2. DeepSeek R1 Distill Qwen 1.5B Q5_K_M (~1.2 Go VRAM, raisonnement logique) -if [ ! -f "DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf" ]; then - echo " -> Téléchargement de DeepSeek-R1-Distill 1.5B (Q5_K_M)..." - curl -L -C - -o DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf \ - "https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf" +if [ -f "$GEMMA_MODEL" ]; then + echo " -> Modèle Gemma 4 E2B prêt : $MODELS_DIR/$GEMMA_MODEL" +else + echo " [INFO] Veuillez copier '$GEMMA_MODEL' dans $MODELS_DIR/" fi echo "[4/4] Création du lanceur rapide 'ask-ai'..." cat << 'EOF' > "$BIN_DIR/ask-ai" #!/bin/sh # Lanceur interactif Gastinel AI avec offload Vulkan et threads Core Ultra 5 -MODEL="${1:-/opt/gastinel-ai/models/qwen2.5-1.5b-instruct-q8_0.gguf}" +MODEL="${1:-/opt/gastinel-ai/models/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf}" shift 2>/dev/null || true # -ngl 99 : Tout décharger dans la VRAM partagée LPDDR5x via Vulkan @@ -70,7 +81,7 @@ exec llama-cli \ -t 6 \ -c 4096 \ --color \ - -p "Tu es l'assistant local Gastinel. Tu réponds de manière concise, intelligente et directe en français." \ + -p "Tu es l'assistant local Gastinel propulsé par Gemma 4. Tu réponds de manière concise, intelligente et directe en français." \ "$@" EOF @@ -86,11 +97,11 @@ depend() { } start() { - ebegin "Démarrage du démon IA 2B local (Vulkan / Qwen 2.5)" + ebegin "Démarrage du démon IA 2B local (Vulkan / Gemma 4 E2B)" start-stop-daemon --start --background \ --make-pidfile --pidfile /run/gastinel-ai.pid \ --exec /usr/local/bin/llama-server -- \ - -m /opt/gastinel-ai/models/qwen2.5-1.5b-instruct-q8_0.gguf \ + -m /opt/gastinel-ai/models/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf \ -ngl 99 -t 6 -c 4096 --port 8080 --host 127.0.0.1 eend $? }