Fichiers
scratch-collecteur/PROPOSITION.md
T

Proposition — collecteur Infoclimat (cornafsuisse:~/gws-collecte/collecte.py)

Ce dossier est une copie locale en lecture seule + proposition. Rien n'a été modifié sur le VPS. Aucun appel réel à l'API Infoclimat n'a été fait. Aucun service n'a été redémarré. Aucun secret n'apparaît ici (le fichier infoclimat.token n'a pas été lu).

  • collecte.py : copie du script avec la proposition déjà appliquée (pour lecture facile).
  • Commit git Original en lecture seule depuis cornafsuisse... : version actuelle telle que lue sur le serveur le 2026-09-30 (sha256/contenu identique à ~/gws-collecte/collecte.py).
  • proposition.diff : diff exact à appliquer (24 insertions, 2 suppressions).

Ce que fait le script actuellement

collecte.py tourne comme service systemd (gws-collecte.service/.timer, gws-maj.service/.timer) sur cornafsuisse:~/gws-collecte. Il boucle sur les stations Infoclimat et arrête proprement dès que le quota du jour (fichier quota.json, remis à zéro chaque jour Paris) atteint un plafond interne — ligne 30 : PLAFOND = 4500. Une réserve de requêtes (reserve_maj) est retenue pour la mise à jour de 08:00.

Gestion des erreurs API (appeler() ligne 196, valider() ligne 264) :

  • HTTP 429/503 (ligne 231-232) → toujours classé "limite" → pause 15 min, arrêt du run après 4 occurrences consécutives.
  • Le corps de la réponse est aussi passé à analyser_texte() (ligne 251), qui détecte du texte libre comme "too many requests" → "limite", "wrong ip"/"no account found" → "fatal" (arrêt d'urgence), "too many lines" → réduction de fenêtre. Ce filtre s'applique même sur une réponse HTTP 200, car valider() l'appelle avant de parser le JSON.
  • Le format JSON de l'API est déjà connu du code : {"status": "...", "errors": [...]} (regex ligne 275 et 277). Si status != "OK" et qu'aucun mot-clé de analyser_texte n'a matché, le code renvoie aujourd'hui "erreur" (ligne 278) — traité comme une erreur de fenêtre ponctuelle (3 essais rapprochés puis abandon de la fenêtre), pas comme une limitation de quota.

C'est le trou signalé sur le forum Infoclimat : un statut d'erreur avec code HTTP 200 (ex. quota dépassé annoncé dans errors sans les mots-clés déjà reconnus) serait traité comme une simple erreur de fenêtre et pourrait déclencher des ré-essais au lieu d'une pause, aggravant un éventuel dépassement.

Vérification faite : grep -i "erreur" ~/gws-collecte/collecte.log ne montre à ce jour que des HTTP 502 et un JSON tronque — aucun cas réel de "status non OK" n'a encore été observé en production. La proposition ci-dessous est donc préventive, basée sur le format JSON déjà géré par le code (status/errors), pas sur un format deviné.

Ce que je propose

1. Plafond 4500 → 4999

Fichier : ~/gws-collecte/collecte.py, ligne 30.

PLAFOND = 4999

Avec un commentaire expliquant que la marge de 1 requête est volontaire car le comportement exact du quota Infoclimat (valeur réelle, heure de reset, fenêtre glissante ou calendaire) n'est pas confirmé officiellement — à surveiller via quota.json et les entrées "limite"/429/503 dans collecte.log après coup.

2. Détection d'erreur robuste même en HTTP 200

Fichier : ~/gws-collecte/collecte.py, dans valider(), lignes 275-278 actuelles. Quand status != "OK", on regarde le message déjà extrait du champ errors (structure JSON déjà lue par le code existant, pas une hypothèse nouvelle) et on route vers "limite" (même traitement — pause 15 min — que 429/503) si le message contient un mot évoquant une limitation (quota, limit, trop de requ, too many, rate). Sinon, comportement inchangé ("erreur").

Limite assumée : la liste de mots-clés est une hypothèse non vérifiée (aucun cas réel observé à ce jour) — un commentaire dans le code invite à comparer le libellé réel dès qu'il apparaîtra dans collecte.log et à corriger la liste si besoin.

Comment appliquer (à faire par Théo, pas par moi)

Option A — appliquer le diff directement sur le VPS :

scp "C:\Users\theog\Documents\_CODE\_scratch_collecteur\proposition.diff" cornafsuisse:/tmp/proposition.diff
ssh cornafsuisse
cd ~/gws-collecte
cp collecte.py collecte.py.avant-maj-$(date +%Y%m%d)   # sauvegarde avant modif
patch -p1 < /tmp/proposition.diff
python3 -m py_compile collecte.py                       # verifie la syntaxe
python3 collecte.py --dry-run                            # verifie que rien n'est casse (aucun appel API)

Puis, seulement si le --dry-run est satisfaisant, laisser le prochain run planifié (gws-collecte.timer) appliquer le changement — pas besoin de redémarrer le service pour une modification de fichier prise en compte au prochain run.

Option B — copier-coller le fichier complet : remplacer ~/gws-collecte/collecte.py par le contenu de collecte.py de ce dossier (après avoir vérifié le diff), avec la même sauvegarde préalable.

Limites et incertitudes

  • Le format exact d'un message de quota dépassé en HTTP 200 n'a jamais été observé dans collecte.log sur ce serveur — la liste de mots-clés est une hypothèse raisonnable (basée sur le vocabulaire déjà vu ailleurs dans le code : "too many requests"), pas une certitude.
  • La vraie limite quotidienne Infoclimat (5000 ? autre valeur ? fenêtre glissante ?) n'est pas documentée officiellement à ma connaissance ; 4999 suppose une limite réelle de 5000 avec reset calendaire Paris — à confirmer par l'usage réel (surveiller quota.json et les 429/503 après le changement).
  • Aucun test avec un vrai appel API n'a été fait (interdit dans cette mission) : la proposition n'a été validée que par relecture + compilation Python locale (py_compile, succès).