collecte Météo-France : un raté réseau est réessayé une fois, puis on garde les relevés précédents (Villard ne disparaît plus 6 min)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Cette révision appartient à :
1 Parent
c93867020a
révision
da793d293e
1 fichier modifié
+25
-8
@@ -143,9 +143,12 @@ def meta_station(c):
|
||||
return {"lat": round(c["lat"], 2), "lon": round(c["lon"], 2), "altitude": c["altitude"], "licence": LICENCE_MF}
|
||||
|
||||
|
||||
def collecter(config, cle, heures=24, appel=appeler, pause=1.3):
|
||||
"""Appels réels (une requête par poste). Un poste en erreur ou muet est marqué hors ligne."""
|
||||
def collecter(config, cle, heures=24, appel=appeler, pause=1.3, precedent=None):
|
||||
"""Appels réels (une requête par poste). Une erreur réseau est réessayée une fois ; si elle persiste,
|
||||
on garde les relevés du passage précédent (precedent = ancien JSON) : un raté isolé ne vide plus la station.
|
||||
Un poste muet reste marqué hors ligne."""
|
||||
fin = maintenant()
|
||||
anciens = (precedent or {}).get("stations") or {}
|
||||
stations, meta, journal = {}, {}, []
|
||||
for i, (sid, c) in enumerate(config["stations"].items()):
|
||||
meta[sid] = meta_station(c)
|
||||
@@ -155,13 +158,22 @@ def collecter(config, cle, heures=24, appel=appeler, pause=1.3):
|
||||
else:
|
||||
if i and pause:
|
||||
time.sleep(pause) # quota : 50 requêtes par minute
|
||||
try:
|
||||
rel = construire_releves(appel(c["id"], cle), fin, heures)
|
||||
except ErreurMF as e:
|
||||
etat = "erreur (%s)" % e
|
||||
for essai in (1, 2):
|
||||
try:
|
||||
rel = construire_releves(appel(c["id"], cle), fin, heures)
|
||||
etat = "ok" if essai == 1 else "ok au 2e essai"
|
||||
break
|
||||
except ErreurMF as e:
|
||||
etat = "erreur (%s)" % e
|
||||
if essai == 1 and pause:
|
||||
time.sleep(3)
|
||||
if not rel and etat.startswith("erreur") and sid in anciens:
|
||||
rel = [r for r in anciens[sid].get("releves") or []
|
||||
if fin - lire_date(r["dh_utc"].replace(" ", "T")) <= dt.timedelta(hours=heures)]
|
||||
etat += ", relevés précédents gardés"
|
||||
dernier = lire_date(rel[-1]["dh_utc"].replace(" ", "T")) if rel else None
|
||||
hors_ligne = dernier is None or fin - dernier > dt.timedelta(minutes=HORS_LIGNE_MIN)
|
||||
if rel and hors_ligne and etat == "ok":
|
||||
if rel and hors_ligne and etat.startswith("ok"):
|
||||
etat = "dernier relevé trop ancien"
|
||||
stations[sid] = {"nom": c["nom"], "source": SOURCE_MF, "hors_ligne": hors_ligne, "releves": rel}
|
||||
journal.append("%s: %s (%d relevés)" % (sid, etat, len(rel)))
|
||||
@@ -180,7 +192,12 @@ def main(argv=None):
|
||||
with open(a.config, encoding="utf-8") as f:
|
||||
config = json.load(f)
|
||||
cle = lire_cle(config["var_cle"], a.fichier_env or config.get("fichier_env"))
|
||||
obj, journal = collecter(config, cle, a.heures)
|
||||
try:
|
||||
with open(a.sortie, encoding="utf-8") as f:
|
||||
precedent = json.load(f)
|
||||
except (OSError, ValueError):
|
||||
precedent = None
|
||||
obj, journal = collecter(config, cle, a.heures, precedent=precedent)
|
||||
verifier_public(obj)
|
||||
for st in obj["stations"].values():
|
||||
assert all(set(r) <= set(CHAMPS_PUBLICS) for r in st["releves"])
|
||||
|
||||
Référencer dans un nouveau ticket
Bloquer un utilisateur