Fichiers
meteo-collecte/meteo_collecte/ordonnanceur.py
T

88 lignes
4.2 KiB
Python

"""Ordonnanceur : lancé par le minuteur systemd toutes les 5 min (hh:x4 et hh:x9).
Chaque source décide seule si elle appelle :
* ROMMA : au plus une requête global=1 toutes les 10 min ;
* Infoclimat : passage principal à hh:x4 si une station est due, rattrapage ciblé à hh:x9.
Puis publication des fichiers statiques et purge de la base (14 jours). Une source en erreur n'empêche
ni l'autre source ni la publication.
python3 -m meteo_collecte.ordonnanceur # un tick
python3 -m meteo_collecte.ordonnanceur --publier # republie sans aucun appel réseau
python3 -m meteo_collecte.ordonnanceur --config # affiche la configuration (sans secret)
"""
import datetime as dt
import sys
from . import infoclimat, publier, romma, weatherlink
from .commun import UTC, Config, Journal, Verrou, lire_json
from .stockage import Stockage
def tick(cfg, maintenant=None, fetch_infoclimat=infoclimat.telecharger, fetch_romma=romma.telecharger,
appels=True, fetch_weatherlink=weatherlink.telecharger, dormir_weatherlink=None):
maintenant = maintenant or dt.datetime.now(UTC)
var = cfg.base / "var"
journal = Journal(var / "collecte.log")
with Verrou(var / ".collecte.lock") as obtenu:
if not obtenu:
return {"action": "verrou"} # un tick précédent tourne encore
stockage = Stockage(var / "mesures.sqlite")
resumes = {}
try:
if appels and cfg.romma_actif:
resumes["romma"] = _sans_planter(journal, maintenant, "romma",
lambda: romma.passer(cfg, stockage, journal, maintenant, fetch_romma))
if appels and cfg.weatherlink_actif: # opt-in ; quota et état entièrement séparés
resumes["weatherlink"] = _sans_planter(journal, maintenant, "weatherlink", lambda: weatherlink.passer(
cfg, stockage, journal, maintenant, fetch_weatherlink, dormir_weatherlink))
if appels and cfg.infoclimat_actif:
stations = lire_json(cfg.stations, {}).get("infoclimat", {})
resumes["infoclimat"] = _sans_planter(journal, maintenant, "infoclimat", lambda: infoclimat.passer(
cfg, stockage, journal, maintenant, stations, fetch=fetch_infoclimat))
stockage.purger(maintenant, cfg.garder_jours)
resumes["publiees"] = publier.publier(cfg, stockage, maintenant, resumes)
if cfg.servi:
resumes["servies"] = publier.copier_vers_servi(cfg.public, cfg.servi)
finally:
stockage.fermer()
return resumes
def _sans_planter(journal, maintenant, nom, f):
try:
return f()
except Exception as e: # bug local (disque, base…) : journalisé, la suite du tick continue
journal("ERREUR interne %s : %s" % (nom, str(e)[:300]), maintenant)
return {"source": nom, "action": "erreur_interne"}
def main(argv=None):
argv = sys.argv[1:] if argv is None else argv
cfg = Config.depuis_env()
if "--config" in argv:
for k, v in vars(cfg).items():
if k == "env":
continue # l'environnement contient les secrets : jamais affiché
print("%-20s %s" % (k, v)) # chemins et noms de variables seulement
for nom in (cfg.var_jeton_infoclimat, cfg.var_cle_romma):
try:
cfg.secret(nom)
print("%-20s définie (valeur masquée)" % nom)
except LookupError:
print("%-20s absente" % nom)
if cfg.weatherlink_actif:
for compte, d in lire_json(cfg.weatherlink_comptes, {}).get("comptes", {}).items():
for nom in (d.get("var_cle"), d.get("var_secret")):
try:
cfg.secret(nom)
print("%-28s définie (valeur masquée) [compte %s]" % (nom, compte))
except LookupError:
print("%-28s absente [compte %s]" % (nom, compte))
return 0
tick(cfg, appels="--publier" not in argv)
return 0
if __name__ == "__main__":
sys.exit(main())