From da793d293e982b91b8deb348f66af0a9abe0bcc3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Th=C3=A9o=20Gastinel?= <264859180+gastinelt@users.noreply.github.com> Date: Thu, 5 Nov 2026 11:06:18 +0100 Subject: [PATCH] =?UTF-8?q?collecte=20M=C3=A9t=C3=A9o-France=20:=20un=20ra?= =?UTF-8?q?t=C3=A9=20r=C3=A9seau=20est=20r=C3=A9essay=C3=A9=20une=20fois,?= =?UTF-8?q?=20puis=20on=20garde=20les=20relev=C3=A9s=20pr=C3=A9c=C3=A9dent?= =?UTF-8?q?s=20(Villard=20ne=20dispara=C3=AEt=20plus=206=20min)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Co-Authored-By: Claude Opus 5.5 --- collecte/collecter_meteofrance.py | 33 +++++++++++++++++++++++-------- 1 file changed, 25 insertions(+), 8 deletions(-) diff --git a/collecte/collecter_meteofrance.py b/collecte/collecter_meteofrance.py index 8ec8199..8379959 100644 --- a/collecte/collecter_meteofrance.py +++ b/collecte/collecter_meteofrance.py @@ -143,9 +143,12 @@ def meta_station(c): return {"lat": round(c["lat"], 2), "lon": round(c["lon"], 2), "altitude": c["altitude"], "licence": LICENCE_MF} -def collecter(config, cle, heures=24, appel=appeler, pause=1.3): - """Appels réels (une requête par poste). Un poste en erreur ou muet est marqué hors ligne.""" +def collecter(config, cle, heures=24, appel=appeler, pause=1.3, precedent=None): + """Appels réels (une requête par poste). Une erreur réseau est réessayée une fois ; si elle persiste, + on garde les relevés du passage précédent (precedent = ancien JSON) : un raté isolé ne vide plus la station. + Un poste muet reste marqué hors ligne.""" fin = maintenant() + anciens = (precedent or {}).get("stations") or {} stations, meta, journal = {}, {}, [] for i, (sid, c) in enumerate(config["stations"].items()): meta[sid] = meta_station(c) @@ -155,13 +158,22 @@ def collecter(config, cle, heures=24, appel=appeler, pause=1.3): else: if i and pause: time.sleep(pause) # quota : 50 requêtes par minute - try: - rel = construire_releves(appel(c["id"], cle), fin, heures) - except ErreurMF as e: - etat = "erreur (%s)" % e + for essai in (1, 2): + try: + rel = construire_releves(appel(c["id"], cle), fin, heures) + etat = "ok" if essai == 1 else "ok au 2e essai" + break + except ErreurMF as e: + etat = "erreur (%s)" % e + if essai == 1 and pause: + time.sleep(3) + if not rel and etat.startswith("erreur") and sid in anciens: + rel = [r for r in anciens[sid].get("releves") or [] + if fin - lire_date(r["dh_utc"].replace(" ", "T")) <= dt.timedelta(hours=heures)] + etat += ", relevés précédents gardés" dernier = lire_date(rel[-1]["dh_utc"].replace(" ", "T")) if rel else None hors_ligne = dernier is None or fin - dernier > dt.timedelta(minutes=HORS_LIGNE_MIN) - if rel and hors_ligne and etat == "ok": + if rel and hors_ligne and etat.startswith("ok"): etat = "dernier relevé trop ancien" stations[sid] = {"nom": c["nom"], "source": SOURCE_MF, "hors_ligne": hors_ligne, "releves": rel} journal.append("%s: %s (%d relevés)" % (sid, etat, len(rel))) @@ -180,7 +192,12 @@ def main(argv=None): with open(a.config, encoding="utf-8") as f: config = json.load(f) cle = lire_cle(config["var_cle"], a.fichier_env or config.get("fichier_env")) - obj, journal = collecter(config, cle, a.heures) + try: + with open(a.sortie, encoding="utf-8") as f: + precedent = json.load(f) + except (OSError, ValueError): + precedent = None + obj, journal = collecter(config, cle, a.heures, precedent=precedent) verifier_public(obj) for st in obj["stations"].values(): assert all(set(r) <= set(CHAMPS_PUBLICS) for r in st["releves"])