diff --git a/meteo_collecte/commun.py b/meteo_collecte/commun.py index a875ffa..64b14ba 100644 --- a/meteo_collecte/commun.py +++ b/meteo_collecte/commun.py @@ -8,7 +8,7 @@ import json import os import re import urllib.parse -from dataclasses import dataclass +from dataclasses import dataclass, field from pathlib import Path try: # fcntl n'existe que sous Unix (le VPS) ; les tests tournent aussi sous Windows @@ -28,9 +28,7 @@ class Config: base: Path # état, journal, base SQLite public: Path # racine servie par Caddy (on écrit dans public/data/) quota_commun: Path # compteur partagé avec le collecteur GWS et meteo-direct - jeton_infoclimat: Path # lu au moment de l'appel, jamais copié - cle_romma: Path - stations: Path # liste des stations Infoclimat suivies (JSON) + stations: Path # liste des stations Infoclimat suivies (JSON) plafond_commun: int = 4999 # même plafond que le collecteur (décision du 29/09) plafond_site: int = 1000 # plafond propre au site (décision du 16/10) seuil_alerte: float = 0.80 @@ -43,6 +41,19 @@ class Config: romma_actif: bool = True infoclimat_actif: bool = True direct_compat: Path = None # si défini : écrit aussi l'ancien direct.json (site LAN) + # Secrets : uniquement des variables d'environnement, lues au moment de l'appel (jamais copiées ni écrites). + # On garde ici le *nom* de la variable et l'environnement à consulter, jamais la valeur. + var_jeton_infoclimat: str = "MC_JETON_INFOCLIMAT" + var_cle_romma: str = "MC_CLE_ROMMA" + env: object = field(default=None, repr=False) + + def secret(self, nom_variable): + """Valeur d'un secret lue dans l'environnement. LookupError si absente ou vide.""" + e = os.environ if self.env is None else self.env + v = (e.get(nom_variable) or "").strip() + if not v: + raise LookupError("variable %s absente ou vide" % nom_variable) + return v @classmethod def depuis_env(cls, env=None): @@ -61,8 +72,6 @@ class Config: base=base, public=chemin("MC_PUBLIC", base / "public"), quota_commun=chemin("MC_QUOTA_COMMUN", home / "gws-collecte" / "quota.json"), - jeton_infoclimat=chemin("MC_JETON_INFOCLIMAT", home / "gws-collecte" / "infoclimat.token"), - cle_romma=chemin("MC_CLE_ROMMA", base / ".secrets" / "romma.key"), stations=chemin("MC_STATIONS", Path(__file__).resolve().parent.parent / "config" / "stations.json"), plafond_commun=int(e.get("MC_PLAFOND_COMMUN", 4999)), plafond_site=int(e.get("MC_PLAFOND_SITE", 1000)), @@ -73,6 +82,7 @@ class Config: romma_actif=oui("MC_ROMMA_ACTIF", True), infoclimat_actif=oui("MC_INFOCLIMAT_ACTIF", True), direct_compat=chemin("MC_DIRECT_COMPAT", None), + env=env, ) @@ -154,11 +164,6 @@ def ecrire_json(p, d, compact=True): os.replace(tmp, p) -def lire_secret(p): - """Lit un jeton ou une clé au moment de l'appel. Le contenu n'est jamais journalisé.""" - return Path(p).read_text(encoding="utf-8").strip() - - def scrub(texte, *secrets): """Masque tout paramètre token=/apikey= d'URL et chaque secret, en clair ou encodé pour l'URL.""" texte = re.sub(r"(?i)\b(token|apikey)=[^&\s)\"']*", lambda m: m.group(1) + "=***", str(texte)) diff --git a/meteo_collecte/infoclimat.py b/meteo_collecte/infoclimat.py index 2f84ff7..ebec2d0 100644 --- a/meteo_collecte/infoclimat.py +++ b/meteo_collecte/infoclimat.py @@ -19,7 +19,7 @@ import statistics import urllib.parse import urllib.request -from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, lire_secret, lire_utc, scrub +from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, lire_utc, scrub SOURCE = "infoclimat" URL_BASE = "https://www.infoclimat.fr/opendata/" @@ -237,8 +237,8 @@ def passer(cfg, stockage, journal, maintenant, stations_cfg, fetch=telecharger, return resume try: - jeton = lire_secret(cfg.jeton_infoclimat) - except OSError: + jeton = cfg.secret(cfg.var_jeton_infoclimat) + except LookupError: journal("jeton Infoclimat illisible, aucun appel", maintenant) resume["action"] = "sans_jeton" return resume diff --git a/meteo_collecte/ordonnanceur.py b/meteo_collecte/ordonnanceur.py index 067287a..77d589b 100644 --- a/meteo_collecte/ordonnanceur.py +++ b/meteo_collecte/ordonnanceur.py @@ -56,7 +56,15 @@ def main(argv=None): cfg = Config.depuis_env() if "--config" in argv: for k, v in vars(cfg).items(): - print("%-20s %s" % (k, v)) # chemins seulement, jamais le contenu des secrets + if k == "env": + continue # l'environnement contient les secrets : jamais affiché + print("%-20s %s" % (k, v)) # chemins et noms de variables seulement + for nom in (cfg.var_jeton_infoclimat, cfg.var_cle_romma): + try: + cfg.secret(nom) + print("%-20s définie (valeur masquée)" % nom) + except LookupError: + print("%-20s absente" % nom) return 0 tick(cfg, appels="--publier" not in argv) return 0 diff --git a/meteo_collecte/romma.py b/meteo_collecte/romma.py index bf4ca72..9b88d16 100644 --- a/meteo_collecte/romma.py +++ b/meteo_collecte/romma.py @@ -19,7 +19,7 @@ import re import urllib.parse import urllib.request -from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, lire_secret, paris_vers_utc, scrub +from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, paris_vers_utc, scrub SOURCE = "romma" URL_BASE = "https://www.romma.fr/api_export.php/" @@ -188,8 +188,8 @@ def passer(cfg, stockage, journal, maintenant, fetch=telecharger): ).total_seconds() < INTERVALLE_MIN_S - 30: return resume try: - cle = lire_secret(cfg.cle_romma) - except OSError: + cle = cfg.secret(cfg.var_cle_romma) + except LookupError: resume["action"] = "sans_cle" # opt-in : sans clé, aucun appel return resume journal.masquer(cle) diff --git a/tests/aide.py b/tests/aide.py index 3a41d49..8ae2e4d 100644 --- a/tests/aide.py +++ b/tests/aide.py @@ -15,12 +15,9 @@ def fixture(nom): def config(dossier, **kw): d = Path(dossier) - (d / "secrets").mkdir(exist_ok=True) - (d / "secrets" / "infoclimat.token").write_text(JETON_FICTIF) - (d / "secrets" / "romma.key").write_text(CLE_FICTIVE) + # Environnement simulé (dictionnaire) : les valeurs fictives ne sont jamais écrites sur disque. env = {"MC_BASE": str(d), "MC_QUOTA_COMMUN": str(d / "quota.json"), - "MC_JETON_INFOCLIMAT": str(d / "secrets" / "infoclimat.token"), - "MC_CLE_ROMMA": str(d / "secrets" / "romma.key")} + "MC_JETON_INFOCLIMAT": JETON_FICTIF, "MC_CLE_ROMMA": CLE_FICTIVE} cfg = Config.depuis_env(env) for k, v in kw.items(): setattr(cfg, k, v) diff --git a/tests/test_commun.py b/tests/test_commun.py index 64ed93d..567d635 100644 --- a/tests/test_commun.py +++ b/tests/test_commun.py @@ -46,6 +46,27 @@ class TestSecrets(unittest.TestCase): j("erreur SECRET123") self.assertNotIn("SECRET123", (Path(d) / "j.log").read_text(encoding="utf-8")) + def test_secret_lu_seulement_dans_l_environnement(self): + cfg = Config.depuis_env({"MC_BASE": "x", "MC_JETON_INFOCLIMAT": " VAL "}) + self.assertEqual(cfg.secret("MC_JETON_INFOCLIMAT"), "VAL") + with self.assertRaises(LookupError): + cfg.secret("MC_CLE_ROMMA") + self.assertNotIn("VAL", repr(cfg)) # l'environnement n'apparaît pas dans repr() + + def test_config_n_affiche_pas_les_secrets(self): + import contextlib + import io + from unittest import mock + from meteo_collecte import ordonnanceur + env = {"MC_BASE": "x", "MC_JETON_INFOCLIMAT": "JETON_TRES_SECRET", "MC_CLE_ROMMA": "CLE_TRES_SECRETE"} + sortie = io.StringIO() + with mock.patch.dict("os.environ", env), contextlib.redirect_stdout(sortie): + ordonnanceur.main(["--config"]) + texte = sortie.getvalue() + self.assertNotIn("TRES_SECRET", texte) + self.assertIn("MC_JETON_INFOCLIMAT", texte) + self.assertIn("valeur masquée", texte) + class TestFichiers(unittest.TestCase): def test_ecriture_atomique(self): diff --git a/tests/test_infoclimat.py b/tests/test_infoclimat.py index 2979305..42d70ce 100644 --- a/tests/test_infoclimat.py +++ b/tests/test_infoclimat.py @@ -128,6 +128,13 @@ class TestPassage(unittest.TestCase): self.assertEqual(r2.urls, []) self.assertEqual(res["requetes"], 0) + def test_sans_jeton_aucun_appel_ni_quota(self): + del self.cfg.env["MC_JETON_INFOCLIMAT"] + r = FauxReseau(fixture("infoclimat_ok.json")) + res = self.passer(t(12, 4), r) + self.assertEqual((res["action"], r.urls), ("sans_jeton", [])) + self.assertEqual(lire_json(self.cfg.quota_commun, {}).get("requetes", 0), 0) + def test_erreur_pause_15_min_et_jeton_masque(self): r = FauxReseau(OSError("échec pour url https://x/?token=%s" % urllib.parse.quote(JETON_FICTIF, safe=""))) res = self.passer(t(12, 4), r) diff --git a/tests/test_romma.py b/tests/test_romma.py index 0ec665d..d0c3945 100644 --- a/tests/test_romma.py +++ b/tests/test_romma.py @@ -110,7 +110,7 @@ class TestPassage(unittest.TestCase): FauxReseau(fixture("romma_live.json")))["action"], "pause") def test_sans_cle_aucun_appel(self): - self.cfg.cle_romma.unlink() + del self.cfg.env["MC_CLE_ROMMA"] res = FauxReseau(fixture("romma_live.json")) self.assertEqual(romma.passer(self.cfg, self.s, self.journal, APPEL, res)["action"], "sans_cle") self.assertEqual(res.urls, [])