feat: switch local AI model to Gemma 4 E2B Uncensored HauhauCS Aggressive (3.0GB GGUF)

Cette révision appartient à :
theog a révisé 2026-09-15 22:18:57 +02:00
1 Parent bcfcebdc58
révision 15455d40c7
5 fichiers modifiés
+39 -34

Aucun fichier ne correspond à votre recherche

+1 -1
Voir le fichier
@@ -231,7 +231,7 @@ impl Launcher {
));
atlas.layout_text(
"✨ Assistant IA Local 2B (Qwen 2.5 / DeepSeek R1 via Vulkan)",
"✨ Assistant IA Local (Gemma 4 E2B via Vulkan)",
Point::new(ai_card_rect.x + 16, ai_card_rect.y + 26),
13,
FontWeight::Bold,
+1 -1
Voir le fichier
@@ -29,7 +29,7 @@ impl TopBar {
ram_used_mb: 85,
ram_total_mb: 8192,
zram_saved_mb: 1420,
ai_status_str: String::from("AI: 2B (8733MT/s)"),
ai_status_str: String::from("AI: Gemma 4 (8733MT/s)"),
}
}
+8 -14
Voir le fichier
@@ -63,22 +63,16 @@ Par défaut, `rust-analyzer` indexe agressivement toutes les dépendances en RAM
---
## 4. Inférence IA 2B : Les Modèles Champions
## 4. Inférence IA : Modèle Choisi (Gemma 4 E2B HauhauCS Aggressive)
Grâce à la bande passante LPDDR5x de 8733 MT/s, voici les vitesses réelles obtenues :
Grâce à la bande passante LPDDR5x de 8733 MT/s et au moteur Vulkan unifié (UMA) :
1. **Qwen 2.5 1.5B Instruct (Q8_0)** :
- **Taille** : 1.78 Go
- **Vitesse estimée** : ~65 à 80 tokens/seconde
- **Points forts** : Parfait en français, excellent en génération de code (Python, Rust, Shell), formatage JSON/Markdown impeccable.
2. **DeepSeek-R1-Distill-Qwen-1.5B (Q5_K_M)** :
- **Taille** : 1.25 Go
- **Vitesse estimée** : ~85 tokens/seconde
- **Points forts** : Raisonnement pas-à-pas avec balises `<think>`, résolution de bugs complexes.
3. **Gemma 2 2B Instruct (Q4_K_M)** :
- **Taille** : 1.62 Go
- **Vitesse estimée** : ~70 tokens/seconde
- **Points forts** : Rédaction, synthèse documentaire et logique générale de haut niveau.
- **Modèle sélectionné** : `Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf`
- **Fichier local** : `C:\Users\theog\Downloads\Quick Share\Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf` (3.00 Go)
- **Variante alternative disponible** : `Q4_K_P` (3.45 Go, sur appareil mobile / Samsung)
- **Vitesse estimée** : ~65 à 75 tokens/seconde constants
- **Points forts** : Modèle non-censuré, ultra-optimisé pour les instructions directes, réactif sur le code et le français, aucune latence perceptible.
- **Budget VRAM UMA** : ~2.9 Go alloués dynamiquement dans la LPDDR5x, laissant **près de 5 Go de RAM physique libre** pour le multitâche et la compilation !
---
+3 -3
Voir le fichier
@@ -161,7 +161,7 @@ fn main() {
topbar.update_time("22:38");
topbar.update_memory(82, 7840);
topbar.update_zram(1420);
topbar.update_ai_status("AI: 2B (8733MT/s)");
topbar.update_ai_status("AI: Gemma 4 (8733MT/s)");
let mut launcher = Launcher::new(screen_size);
launcher.add_app("Foot Terminal", "foot", "Wayland lightweight terminal");
@@ -176,10 +176,10 @@ fn main() {
// Launcher trigger test with AI query mode
launcher.open();
for c in "? comment optimiser Rust sur 8Go LPDDR5x ?".chars() {
for c in "? Gemma 4, optimise cette boucle en Rust".chars() {
launcher.insert_char(c);
}
println!("[AI] Mode Prompt IA actif dans le launcher: prompt='{}'", launcher.ai_prompt());
println!("[AI] Mode Prompt IA actif dans le launcher (Gemma 4): prompt='{}'", launcher.ai_prompt());
damage.add_rect(launcher.bounds);
damage.coalesce();
+26 -15
Voir le fichier
@@ -38,28 +38,39 @@ cmake --build . --config Release -j$(nproc) --target llama-cli llama-server
cp bin/llama-cli "$BIN_DIR/llama-cli"
cp bin/llama-server "$BIN_DIR/llama-server"
echo "[3/4] Téléchargement des modèles IA 2B ultra-rapides recommandés..."
echo "[3/4] Configuration du modèle IA 2B ultra-optimisé (Gemma 4 E2B)..."
cd "$MODELS_DIR"
# 1. Qwen 2.5 1.5B Instruct Q8_0 (~1.8 Go VRAM, français fluide, code, 70+ tok/s)
if [ ! -f "qwen2.5-1.5b-instruct-q8_0.gguf" ]; then
echo " -> Téléchargement de Qwen 2.5 1.5B Instruct (Q8_0)..."
curl -L -C - -o qwen2.5-1.5b-instruct-q8_0.gguf \
"https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/resolve/main/qwen2.5-1.5b-instruct-q8_0.gguf"
# Modèle fourni localement par l'utilisateur : Gemma-4-E2B-Uncensored-HauhauCS-Aggressive
GEMMA_MODEL="Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf"
if [ ! -f "$GEMMA_MODEL" ]; then
echo "Recherche du modèle Gemma 4 dans les dossiers locaux..."
# 1. Vérification dans le dossier Téléchargements / Quick Share Windows (si monté)
for candidate in \
"/mnt/c/Users/theog/Downloads/Quick Share/$GEMMA_MODEL" \
"/media/windows/Users/theog/Downloads/Quick Share/$GEMMA_MODEL" \
"/home/theog/Downloads/$GEMMA_MODEL" \
"/root/$GEMMA_MODEL"; do
if [ -f "$candidate" ]; then
echo " -> Modèle local trouvé : $candidate"
cp "$candidate" "$MODELS_DIR/$GEMMA_MODEL"
break
fi
done
fi
# 2. DeepSeek R1 Distill Qwen 1.5B Q5_K_M (~1.2 Go VRAM, raisonnement logique)
if [ ! -f "DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf" ]; then
echo " -> Téléchargement de DeepSeek-R1-Distill 1.5B (Q5_K_M)..."
curl -L -C - -o DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf \
"https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf"
if [ -f "$GEMMA_MODEL" ]; then
echo " -> Modèle Gemma 4 E2B prêt : $MODELS_DIR/$GEMMA_MODEL"
else
echo " [INFO] Veuillez copier '$GEMMA_MODEL' dans $MODELS_DIR/"
fi
echo "[4/4] Création du lanceur rapide 'ask-ai'..."
cat << 'EOF' > "$BIN_DIR/ask-ai"
#!/bin/sh
# Lanceur interactif Gastinel AI avec offload Vulkan et threads Core Ultra 5
MODEL="${1:-/opt/gastinel-ai/models/qwen2.5-1.5b-instruct-q8_0.gguf}"
MODEL="${1:-/opt/gastinel-ai/models/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf}"
shift 2>/dev/null || true
# -ngl 99 : Tout décharger dans la VRAM partagée LPDDR5x via Vulkan
@@ -70,7 +81,7 @@ exec llama-cli \
-t 6 \
-c 4096 \
--color \
-p "Tu es l'assistant local Gastinel. Tu réponds de manière concise, intelligente et directe en français." \
-p "Tu es l'assistant local Gastinel propulsé par Gemma 4. Tu réponds de manière concise, intelligente et directe en français." \
"$@"
EOF
@@ -86,11 +97,11 @@ depend() {
}
start() {
ebegin "Démarrage du démon IA 2B local (Vulkan / Qwen 2.5)"
ebegin "Démarrage du démon IA 2B local (Vulkan / Gemma 4 E2B)"
start-stop-daemon --start --background \
--make-pidfile --pidfile /run/gastinel-ai.pid \
--exec /usr/local/bin/llama-server -- \
-m /opt/gastinel-ai/models/qwen2.5-1.5b-instruct-q8_0.gguf \
-m /opt/gastinel-ai/models/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf \
-ngl 99 -t 6 -c 4096 --port 8080 --host 127.0.0.1
eend $?
}