diff --git a/collecte/collecter_meteofrance.py b/collecte/collecter_meteofrance.py index 8ec8199..8379959 100644 --- a/collecte/collecter_meteofrance.py +++ b/collecte/collecter_meteofrance.py @@ -143,9 +143,12 @@ def meta_station(c): return {"lat": round(c["lat"], 2), "lon": round(c["lon"], 2), "altitude": c["altitude"], "licence": LICENCE_MF} -def collecter(config, cle, heures=24, appel=appeler, pause=1.3): - """Appels réels (une requête par poste). Un poste en erreur ou muet est marqué hors ligne.""" +def collecter(config, cle, heures=24, appel=appeler, pause=1.3, precedent=None): + """Appels réels (une requête par poste). Une erreur réseau est réessayée une fois ; si elle persiste, + on garde les relevés du passage précédent (precedent = ancien JSON) : un raté isolé ne vide plus la station. + Un poste muet reste marqué hors ligne.""" fin = maintenant() + anciens = (precedent or {}).get("stations") or {} stations, meta, journal = {}, {}, [] for i, (sid, c) in enumerate(config["stations"].items()): meta[sid] = meta_station(c) @@ -155,13 +158,22 @@ def collecter(config, cle, heures=24, appel=appeler, pause=1.3): else: if i and pause: time.sleep(pause) # quota : 50 requêtes par minute - try: - rel = construire_releves(appel(c["id"], cle), fin, heures) - except ErreurMF as e: - etat = "erreur (%s)" % e + for essai in (1, 2): + try: + rel = construire_releves(appel(c["id"], cle), fin, heures) + etat = "ok" if essai == 1 else "ok au 2e essai" + break + except ErreurMF as e: + etat = "erreur (%s)" % e + if essai == 1 and pause: + time.sleep(3) + if not rel and etat.startswith("erreur") and sid in anciens: + rel = [r for r in anciens[sid].get("releves") or [] + if fin - lire_date(r["dh_utc"].replace(" ", "T")) <= dt.timedelta(hours=heures)] + etat += ", relevés précédents gardés" dernier = lire_date(rel[-1]["dh_utc"].replace(" ", "T")) if rel else None hors_ligne = dernier is None or fin - dernier > dt.timedelta(minutes=HORS_LIGNE_MIN) - if rel and hors_ligne and etat == "ok": + if rel and hors_ligne and etat.startswith("ok"): etat = "dernier relevé trop ancien" stations[sid] = {"nom": c["nom"], "source": SOURCE_MF, "hors_ligne": hors_ligne, "releves": rel} journal.append("%s: %s (%d relevés)" % (sid, etat, len(rel))) @@ -180,7 +192,12 @@ def main(argv=None): with open(a.config, encoding="utf-8") as f: config = json.load(f) cle = lire_cle(config["var_cle"], a.fichier_env or config.get("fichier_env")) - obj, journal = collecter(config, cle, a.heures) + try: + with open(a.sortie, encoding="utf-8") as f: + precedent = json.load(f) + except (OSError, ValueError): + precedent = None + obj, journal = collecter(config, cle, a.heures, precedent=precedent) verifier_public(obj) for st in obj["stations"].values(): assert all(set(r) <= set(CHAMPS_PUBLICS) for r in st["releves"])