collecte Météo-France : un raté réseau est réessayé une fois, puis on garde les relevés précédents (Villard ne disparaît plus 6 min)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Cette révision appartient à :
Théo GastineletClaude Opus 5.5 a révisé 2026-11-05 11:06:18 +01:00
1 Parent c93867020a
révision da793d293e
1 fichier modifié
+25 -8
+25 -8
Voir le fichier
@@ -143,9 +143,12 @@ def meta_station(c):
return {"lat": round(c["lat"], 2), "lon": round(c["lon"], 2), "altitude": c["altitude"], "licence": LICENCE_MF}
def collecter(config, cle, heures=24, appel=appeler, pause=1.3):
"""Appels réels (une requête par poste). Un poste en erreur ou muet est marqué hors ligne."""
def collecter(config, cle, heures=24, appel=appeler, pause=1.3, precedent=None):
"""Appels réels (une requête par poste). Une erreur réseau est réessayée une fois ; si elle persiste,
on garde les relevés du passage précédent (precedent = ancien JSON) : un raté isolé ne vide plus la station.
Un poste muet reste marqué hors ligne."""
fin = maintenant()
anciens = (precedent or {}).get("stations") or {}
stations, meta, journal = {}, {}, []
for i, (sid, c) in enumerate(config["stations"].items()):
meta[sid] = meta_station(c)
@@ -155,13 +158,22 @@ def collecter(config, cle, heures=24, appel=appeler, pause=1.3):
else:
if i and pause:
time.sleep(pause) # quota : 50 requêtes par minute
try:
rel = construire_releves(appel(c["id"], cle), fin, heures)
except ErreurMF as e:
etat = "erreur (%s)" % e
for essai in (1, 2):
try:
rel = construire_releves(appel(c["id"], cle), fin, heures)
etat = "ok" if essai == 1 else "ok au 2e essai"
break
except ErreurMF as e:
etat = "erreur (%s)" % e
if essai == 1 and pause:
time.sleep(3)
if not rel and etat.startswith("erreur") and sid in anciens:
rel = [r for r in anciens[sid].get("releves") or []
if fin - lire_date(r["dh_utc"].replace(" ", "T")) <= dt.timedelta(hours=heures)]
etat += ", relevés précédents gardés"
dernier = lire_date(rel[-1]["dh_utc"].replace(" ", "T")) if rel else None
hors_ligne = dernier is None or fin - dernier > dt.timedelta(minutes=HORS_LIGNE_MIN)
if rel and hors_ligne and etat == "ok":
if rel and hors_ligne and etat.startswith("ok"):
etat = "dernier relevé trop ancien"
stations[sid] = {"nom": c["nom"], "source": SOURCE_MF, "hors_ligne": hors_ligne, "releves": rel}
journal.append("%s: %s (%d relevés)" % (sid, etat, len(rel)))
@@ -180,7 +192,12 @@ def main(argv=None):
with open(a.config, encoding="utf-8") as f:
config = json.load(f)
cle = lire_cle(config["var_cle"], a.fichier_env or config.get("fichier_env"))
obj, journal = collecter(config, cle, a.heures)
try:
with open(a.sortie, encoding="utf-8") as f:
precedent = json.load(f)
except (OSError, ValueError):
precedent = None
obj, journal = collecter(config, cle, a.heures, precedent=precedent)
verifier_public(obj)
for st in obj["stations"].values():
assert all(set(r) <= set(CHAMPS_PUBLICS) for r in st["releves"])