5.8 KiB
Proposition — collecteur Infoclimat (cornafsuisse:~/gws-collecte/collecte.py)
Ce dossier est une copie locale en lecture seule + proposition. Rien n'a été modifié
sur le VPS. Aucun appel réel à l'API Infoclimat n'a été fait. Aucun service n'a été
redémarré. Aucun secret n'apparaît ici (le fichier infoclimat.token n'a pas été lu).
collecte.py: copie du script avec la proposition déjà appliquée (pour lecture facile).- Commit git
Original en lecture seule depuis cornafsuisse...: version actuelle telle que lue sur le serveur le 2026-09-30 (sha256/contenu identique à~/gws-collecte/collecte.py). proposition.diff: diff exact à appliquer (24 insertions, 2 suppressions).
Ce que fait le script actuellement
collecte.py tourne comme service systemd (gws-collecte.service/.timer,
gws-maj.service/.timer) sur cornafsuisse:~/gws-collecte. Il boucle sur les stations
Infoclimat et arrête proprement dès que le quota du jour (fichier quota.json, remis à
zéro chaque jour Paris) atteint un plafond interne — ligne 30 : PLAFOND = 4500.
Une réserve de requêtes (reserve_maj) est retenue pour la mise à jour de 08:00.
Gestion des erreurs API (appeler() ligne 196, valider() ligne 264) :
- HTTP 429/503 (ligne 231-232) → toujours classé
"limite"→ pause 15 min, arrêt du run après 4 occurrences consécutives. - Le corps de la réponse est aussi passé à
analyser_texte()(ligne 251), qui détecte du texte libre comme"too many requests"→"limite","wrong ip"/"no account found"→"fatal"(arrêt d'urgence),"too many lines"→ réduction de fenêtre. Ce filtre s'applique même sur une réponse HTTP 200, carvalider()l'appelle avant de parser le JSON. - Le format JSON de l'API est déjà connu du code :
{"status": "...", "errors": [...]}(regex ligne 275 et 277). Sistatus != "OK"et qu'aucun mot-clé deanalyser_texten'a matché, le code renvoie aujourd'hui"erreur"(ligne 278) — traité comme une erreur de fenêtre ponctuelle (3 essais rapprochés puis abandon de la fenêtre), pas comme une limitation de quota.
C'est le trou signalé sur le forum Infoclimat : un statut d'erreur avec code HTTP 200
(ex. quota dépassé annoncé dans errors sans les mots-clés déjà reconnus) serait traité
comme une simple erreur de fenêtre et pourrait déclencher des ré-essais au lieu d'une
pause, aggravant un éventuel dépassement.
Vérification faite : grep -i "erreur" ~/gws-collecte/collecte.log ne montre à ce
jour que des HTTP 502 et un JSON tronque — aucun cas réel de "status non OK" n'a
encore été observé en production. La proposition ci-dessous est donc préventive, basée
sur le format JSON déjà géré par le code (status/errors), pas sur un format deviné.
Ce que je propose
1. Plafond 4500 → 4999
Fichier : ~/gws-collecte/collecte.py, ligne 30.
PLAFOND = 4999
Avec un commentaire expliquant que la marge de 1 requête est volontaire car le
comportement exact du quota Infoclimat (valeur réelle, heure de reset, fenêtre glissante
ou calendaire) n'est pas confirmé officiellement — à surveiller via quota.json et
les entrées "limite"/429/503 dans collecte.log après coup.
2. Détection d'erreur robuste même en HTTP 200
Fichier : ~/gws-collecte/collecte.py, dans valider(), lignes 275-278 actuelles.
Quand status != "OK", on regarde le message déjà extrait du champ errors (structure
JSON déjà lue par le code existant, pas une hypothèse nouvelle) et on route vers
"limite" (même traitement — pause 15 min — que 429/503) si le message contient un mot
évoquant une limitation (quota, limit, trop de requ, too many, rate). Sinon,
comportement inchangé ("erreur").
Limite assumée : la liste de mots-clés est une hypothèse non vérifiée (aucun cas réel
observé à ce jour) — un commentaire dans le code invite à comparer le libellé réel dès
qu'il apparaîtra dans collecte.log et à corriger la liste si besoin.
Comment appliquer (à faire par Théo, pas par moi)
Option A — appliquer le diff directement sur le VPS :
scp "C:\Users\theog\Documents\_CODE\_scratch_collecteur\proposition.diff" cornafsuisse:/tmp/proposition.diff
ssh cornafsuisse
cd ~/gws-collecte
cp collecte.py collecte.py.avant-maj-$(date +%Y%m%d) # sauvegarde avant modif
patch -p1 < /tmp/proposition.diff
python3 -m py_compile collecte.py # verifie la syntaxe
python3 collecte.py --dry-run # verifie que rien n'est casse (aucun appel API)
Puis, seulement si le --dry-run est satisfaisant, laisser le prochain run planifié
(gws-collecte.timer) appliquer le changement — pas besoin de redémarrer le service
pour une modification de fichier prise en compte au prochain run.
Option B — copier-coller le fichier complet : remplacer ~/gws-collecte/collecte.py par
le contenu de collecte.py de ce dossier (après avoir vérifié le diff), avec la même
sauvegarde préalable.
Limites et incertitudes
- Le format exact d'un message de quota dépassé en HTTP 200 n'a jamais été observé
dans
collecte.logsur ce serveur — la liste de mots-clés est une hypothèse raisonnable (basée sur le vocabulaire déjà vu ailleurs dans le code :"too many requests"), pas une certitude. - La vraie limite quotidienne Infoclimat (5000 ? autre valeur ? fenêtre glissante ?)
n'est pas documentée officiellement à ma connaissance ; 4999 suppose une limite réelle
de 5000 avec reset calendaire Paris — à confirmer par l'usage réel (surveiller
quota.jsonet les 429/503 après le changement). - Aucun test avec un vrai appel API n'a été fait (interdit dans cette mission) : la
proposition n'a été validée que par relecture + compilation Python locale
(
py_compile, succès).