feat: switch local AI model to Gemma 4 E2B Uncensored HauhauCS Aggressive (3.0GB GGUF)
Cette révision appartient à :
1 Parent
bcfcebdc58
révision
15455d40c7
5 fichiers modifiés
+39
-34
Aucun fichier ne correspond à votre recherche
@@ -231,7 +231,7 @@ impl Launcher {
|
||||
));
|
||||
|
||||
atlas.layout_text(
|
||||
"✨ Assistant IA Local 2B (Qwen 2.5 / DeepSeek R1 via Vulkan)",
|
||||
"✨ Assistant IA Local (Gemma 4 E2B via Vulkan)",
|
||||
Point::new(ai_card_rect.x + 16, ai_card_rect.y + 26),
|
||||
13,
|
||||
FontWeight::Bold,
|
||||
|
||||
@@ -29,7 +29,7 @@ impl TopBar {
|
||||
ram_used_mb: 85,
|
||||
ram_total_mb: 8192,
|
||||
zram_saved_mb: 1420,
|
||||
ai_status_str: String::from("AI: 2B (8733MT/s)"),
|
||||
ai_status_str: String::from("AI: Gemma 4 (8733MT/s)"),
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
@@ -63,22 +63,16 @@ Par défaut, `rust-analyzer` indexe agressivement toutes les dépendances en RAM
|
||||
|
||||
---
|
||||
|
||||
## 4. Inférence IA 2B : Les Modèles Champions
|
||||
## 4. Inférence IA : Modèle Choisi (Gemma 4 E2B HauhauCS Aggressive)
|
||||
|
||||
Grâce à la bande passante LPDDR5x de 8733 MT/s, voici les vitesses réelles obtenues :
|
||||
Grâce à la bande passante LPDDR5x de 8733 MT/s et au moteur Vulkan unifié (UMA) :
|
||||
|
||||
1. **Qwen 2.5 1.5B Instruct (Q8_0)** :
|
||||
- **Taille** : 1.78 Go
|
||||
- **Vitesse estimée** : ~65 à 80 tokens/seconde
|
||||
- **Points forts** : Parfait en français, excellent en génération de code (Python, Rust, Shell), formatage JSON/Markdown impeccable.
|
||||
2. **DeepSeek-R1-Distill-Qwen-1.5B (Q5_K_M)** :
|
||||
- **Taille** : 1.25 Go
|
||||
- **Vitesse estimée** : ~85 tokens/seconde
|
||||
- **Points forts** : Raisonnement pas-à-pas avec balises `<think>`, résolution de bugs complexes.
|
||||
3. **Gemma 2 2B Instruct (Q4_K_M)** :
|
||||
- **Taille** : 1.62 Go
|
||||
- **Vitesse estimée** : ~70 tokens/seconde
|
||||
- **Points forts** : Rédaction, synthèse documentaire et logique générale de haut niveau.
|
||||
- **Modèle sélectionné** : `Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf`
|
||||
- **Fichier local** : `C:\Users\theog\Downloads\Quick Share\Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf` (3.00 Go)
|
||||
- **Variante alternative disponible** : `Q4_K_P` (3.45 Go, sur appareil mobile / Samsung)
|
||||
- **Vitesse estimée** : ~65 à 75 tokens/seconde constants
|
||||
- **Points forts** : Modèle non-censuré, ultra-optimisé pour les instructions directes, réactif sur le code et le français, aucune latence perceptible.
|
||||
- **Budget VRAM UMA** : ~2.9 Go alloués dynamiquement dans la LPDDR5x, laissant **près de 5 Go de RAM physique libre** pour le multitâche et la compilation !
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -161,7 +161,7 @@ fn main() {
|
||||
topbar.update_time("22:38");
|
||||
topbar.update_memory(82, 7840);
|
||||
topbar.update_zram(1420);
|
||||
topbar.update_ai_status("AI: 2B (8733MT/s)");
|
||||
topbar.update_ai_status("AI: Gemma 4 (8733MT/s)");
|
||||
|
||||
let mut launcher = Launcher::new(screen_size);
|
||||
launcher.add_app("Foot Terminal", "foot", "Wayland lightweight terminal");
|
||||
@@ -176,10 +176,10 @@ fn main() {
|
||||
|
||||
// Launcher trigger test with AI query mode
|
||||
launcher.open();
|
||||
for c in "? comment optimiser Rust sur 8Go LPDDR5x ?".chars() {
|
||||
for c in "? Gemma 4, optimise cette boucle en Rust".chars() {
|
||||
launcher.insert_char(c);
|
||||
}
|
||||
println!("[AI] Mode Prompt IA actif dans le launcher: prompt='{}'", launcher.ai_prompt());
|
||||
println!("[AI] Mode Prompt IA actif dans le launcher (Gemma 4): prompt='{}'", launcher.ai_prompt());
|
||||
damage.add_rect(launcher.bounds);
|
||||
damage.coalesce();
|
||||
|
||||
|
||||
@@ -38,28 +38,39 @@ cmake --build . --config Release -j$(nproc) --target llama-cli llama-server
|
||||
cp bin/llama-cli "$BIN_DIR/llama-cli"
|
||||
cp bin/llama-server "$BIN_DIR/llama-server"
|
||||
|
||||
echo "[3/4] Téléchargement des modèles IA 2B ultra-rapides recommandés..."
|
||||
echo "[3/4] Configuration du modèle IA 2B ultra-optimisé (Gemma 4 E2B)..."
|
||||
cd "$MODELS_DIR"
|
||||
|
||||
# 1. Qwen 2.5 1.5B Instruct Q8_0 (~1.8 Go VRAM, français fluide, code, 70+ tok/s)
|
||||
if [ ! -f "qwen2.5-1.5b-instruct-q8_0.gguf" ]; then
|
||||
echo " -> Téléchargement de Qwen 2.5 1.5B Instruct (Q8_0)..."
|
||||
curl -L -C - -o qwen2.5-1.5b-instruct-q8_0.gguf \
|
||||
"https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF/resolve/main/qwen2.5-1.5b-instruct-q8_0.gguf"
|
||||
# Modèle fourni localement par l'utilisateur : Gemma-4-E2B-Uncensored-HauhauCS-Aggressive
|
||||
GEMMA_MODEL="Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf"
|
||||
|
||||
if [ ! -f "$GEMMA_MODEL" ]; then
|
||||
echo "Recherche du modèle Gemma 4 dans les dossiers locaux..."
|
||||
# 1. Vérification dans le dossier Téléchargements / Quick Share Windows (si monté)
|
||||
for candidate in \
|
||||
"/mnt/c/Users/theog/Downloads/Quick Share/$GEMMA_MODEL" \
|
||||
"/media/windows/Users/theog/Downloads/Quick Share/$GEMMA_MODEL" \
|
||||
"/home/theog/Downloads/$GEMMA_MODEL" \
|
||||
"/root/$GEMMA_MODEL"; do
|
||||
if [ -f "$candidate" ]; then
|
||||
echo " -> Modèle local trouvé : $candidate"
|
||||
cp "$candidate" "$MODELS_DIR/$GEMMA_MODEL"
|
||||
break
|
||||
fi
|
||||
done
|
||||
fi
|
||||
|
||||
# 2. DeepSeek R1 Distill Qwen 1.5B Q5_K_M (~1.2 Go VRAM, raisonnement logique)
|
||||
if [ ! -f "DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf" ]; then
|
||||
echo " -> Téléchargement de DeepSeek-R1-Distill 1.5B (Q5_K_M)..."
|
||||
curl -L -C - -o DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf \
|
||||
"https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf"
|
||||
if [ -f "$GEMMA_MODEL" ]; then
|
||||
echo " -> Modèle Gemma 4 E2B prêt : $MODELS_DIR/$GEMMA_MODEL"
|
||||
else
|
||||
echo " [INFO] Veuillez copier '$GEMMA_MODEL' dans $MODELS_DIR/"
|
||||
fi
|
||||
|
||||
echo "[4/4] Création du lanceur rapide 'ask-ai'..."
|
||||
cat << 'EOF' > "$BIN_DIR/ask-ai"
|
||||
#!/bin/sh
|
||||
# Lanceur interactif Gastinel AI avec offload Vulkan et threads Core Ultra 5
|
||||
MODEL="${1:-/opt/gastinel-ai/models/qwen2.5-1.5b-instruct-q8_0.gguf}"
|
||||
MODEL="${1:-/opt/gastinel-ai/models/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf}"
|
||||
shift 2>/dev/null || true
|
||||
|
||||
# -ngl 99 : Tout décharger dans la VRAM partagée LPDDR5x via Vulkan
|
||||
@@ -70,7 +81,7 @@ exec llama-cli \
|
||||
-t 6 \
|
||||
-c 4096 \
|
||||
--color \
|
||||
-p "Tu es l'assistant local Gastinel. Tu réponds de manière concise, intelligente et directe en français." \
|
||||
-p "Tu es l'assistant local Gastinel propulsé par Gemma 4. Tu réponds de manière concise, intelligente et directe en français." \
|
||||
"$@"
|
||||
EOF
|
||||
|
||||
@@ -86,11 +97,11 @@ depend() {
|
||||
}
|
||||
|
||||
start() {
|
||||
ebegin "Démarrage du démon IA 2B local (Vulkan / Qwen 2.5)"
|
||||
ebegin "Démarrage du démon IA 2B local (Vulkan / Gemma 4 E2B)"
|
||||
start-stop-daemon --start --background \
|
||||
--make-pidfile --pidfile /run/gastinel-ai.pid \
|
||||
--exec /usr/local/bin/llama-server -- \
|
||||
-m /opt/gastinel-ai/models/qwen2.5-1.5b-instruct-q8_0.gguf \
|
||||
-m /opt/gastinel-ai/models/Gemma-4-E2B-Uncensored-HauhauCS-Aggressive-Q2_K_P.gguf \
|
||||
-ngl 99 -t 6 -c 4096 --port 8080 --host 127.0.0.1
|
||||
eend $?
|
||||
}
|
||||
|
||||
Référencer dans un nouveau ticket
Bloquer un utilisateur