Secrets lus uniquement dans l'environnement (MC_JETON_INFOCLIMAT, MC_CLE_ROMMA)
Plus aucun fichier de secret : la valeur est lue au moment de l'appel, jamais copiee, jamais affichee (--config indique seulement definie/absente). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Cette révision appartient à :
1 Parent
b0088e636f
révision
c1e87e91be
8 fichiers modifiés
+61
-23
Aucun fichier ne correspond à votre recherche
@@ -8,7 +8,7 @@ import json
|
||||
import os
|
||||
import re
|
||||
import urllib.parse
|
||||
from dataclasses import dataclass
|
||||
from dataclasses import dataclass, field
|
||||
from pathlib import Path
|
||||
|
||||
try: # fcntl n'existe que sous Unix (le VPS) ; les tests tournent aussi sous Windows
|
||||
@@ -28,8 +28,6 @@ class Config:
|
||||
base: Path # état, journal, base SQLite
|
||||
public: Path # racine servie par Caddy (on écrit dans public/data/)
|
||||
quota_commun: Path # compteur partagé avec le collecteur GWS et meteo-direct
|
||||
jeton_infoclimat: Path # lu au moment de l'appel, jamais copié
|
||||
cle_romma: Path
|
||||
stations: Path # liste des stations Infoclimat suivies (JSON)
|
||||
plafond_commun: int = 4999 # même plafond que le collecteur (décision du 29/09)
|
||||
plafond_site: int = 1000 # plafond propre au site (décision du 16/10)
|
||||
@@ -43,6 +41,19 @@ class Config:
|
||||
romma_actif: bool = True
|
||||
infoclimat_actif: bool = True
|
||||
direct_compat: Path = None # si défini : écrit aussi l'ancien direct.json (site LAN)
|
||||
# Secrets : uniquement des variables d'environnement, lues au moment de l'appel (jamais copiées ni écrites).
|
||||
# On garde ici le *nom* de la variable et l'environnement à consulter, jamais la valeur.
|
||||
var_jeton_infoclimat: str = "MC_JETON_INFOCLIMAT"
|
||||
var_cle_romma: str = "MC_CLE_ROMMA"
|
||||
env: object = field(default=None, repr=False)
|
||||
|
||||
def secret(self, nom_variable):
|
||||
"""Valeur d'un secret lue dans l'environnement. LookupError si absente ou vide."""
|
||||
e = os.environ if self.env is None else self.env
|
||||
v = (e.get(nom_variable) or "").strip()
|
||||
if not v:
|
||||
raise LookupError("variable %s absente ou vide" % nom_variable)
|
||||
return v
|
||||
|
||||
@classmethod
|
||||
def depuis_env(cls, env=None):
|
||||
@@ -61,8 +72,6 @@ class Config:
|
||||
base=base,
|
||||
public=chemin("MC_PUBLIC", base / "public"),
|
||||
quota_commun=chemin("MC_QUOTA_COMMUN", home / "gws-collecte" / "quota.json"),
|
||||
jeton_infoclimat=chemin("MC_JETON_INFOCLIMAT", home / "gws-collecte" / "infoclimat.token"),
|
||||
cle_romma=chemin("MC_CLE_ROMMA", base / ".secrets" / "romma.key"),
|
||||
stations=chemin("MC_STATIONS", Path(__file__).resolve().parent.parent / "config" / "stations.json"),
|
||||
plafond_commun=int(e.get("MC_PLAFOND_COMMUN", 4999)),
|
||||
plafond_site=int(e.get("MC_PLAFOND_SITE", 1000)),
|
||||
@@ -73,6 +82,7 @@ class Config:
|
||||
romma_actif=oui("MC_ROMMA_ACTIF", True),
|
||||
infoclimat_actif=oui("MC_INFOCLIMAT_ACTIF", True),
|
||||
direct_compat=chemin("MC_DIRECT_COMPAT", None),
|
||||
env=env,
|
||||
)
|
||||
|
||||
|
||||
@@ -154,11 +164,6 @@ def ecrire_json(p, d, compact=True):
|
||||
os.replace(tmp, p)
|
||||
|
||||
|
||||
def lire_secret(p):
|
||||
"""Lit un jeton ou une clé au moment de l'appel. Le contenu n'est jamais journalisé."""
|
||||
return Path(p).read_text(encoding="utf-8").strip()
|
||||
|
||||
|
||||
def scrub(texte, *secrets):
|
||||
"""Masque tout paramètre token=/apikey= d'URL et chaque secret, en clair ou encodé pour l'URL."""
|
||||
texte = re.sub(r"(?i)\b(token|apikey)=[^&\s)\"']*", lambda m: m.group(1) + "=***", str(texte))
|
||||
|
||||
@@ -19,7 +19,7 @@ import statistics
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
|
||||
from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, lire_secret, lire_utc, scrub
|
||||
from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, lire_utc, scrub
|
||||
|
||||
SOURCE = "infoclimat"
|
||||
URL_BASE = "https://www.infoclimat.fr/opendata/"
|
||||
@@ -237,8 +237,8 @@ def passer(cfg, stockage, journal, maintenant, stations_cfg, fetch=telecharger,
|
||||
return resume
|
||||
|
||||
try:
|
||||
jeton = lire_secret(cfg.jeton_infoclimat)
|
||||
except OSError:
|
||||
jeton = cfg.secret(cfg.var_jeton_infoclimat)
|
||||
except LookupError:
|
||||
journal("jeton Infoclimat illisible, aucun appel", maintenant)
|
||||
resume["action"] = "sans_jeton"
|
||||
return resume
|
||||
|
||||
@@ -56,7 +56,15 @@ def main(argv=None):
|
||||
cfg = Config.depuis_env()
|
||||
if "--config" in argv:
|
||||
for k, v in vars(cfg).items():
|
||||
print("%-20s %s" % (k, v)) # chemins seulement, jamais le contenu des secrets
|
||||
if k == "env":
|
||||
continue # l'environnement contient les secrets : jamais affiché
|
||||
print("%-20s %s" % (k, v)) # chemins et noms de variables seulement
|
||||
for nom in (cfg.var_jeton_infoclimat, cfg.var_cle_romma):
|
||||
try:
|
||||
cfg.secret(nom)
|
||||
print("%-20s définie (valeur masquée)" % nom)
|
||||
except LookupError:
|
||||
print("%-20s absente" % nom)
|
||||
return 0
|
||||
tick(cfg, appels="--publier" not in argv)
|
||||
return 0
|
||||
|
||||
@@ -19,7 +19,7 @@ import re
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
|
||||
from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, lire_secret, paris_vers_utc, scrub
|
||||
from .commun import UTC, Pause, ecrire_json, fmt_utc, jour_paris, lire_json, paris_vers_utc, scrub
|
||||
|
||||
SOURCE = "romma"
|
||||
URL_BASE = "https://www.romma.fr/api_export.php/"
|
||||
@@ -188,8 +188,8 @@ def passer(cfg, stockage, journal, maintenant, fetch=telecharger):
|
||||
).total_seconds() < INTERVALLE_MIN_S - 30:
|
||||
return resume
|
||||
try:
|
||||
cle = lire_secret(cfg.cle_romma)
|
||||
except OSError:
|
||||
cle = cfg.secret(cfg.var_cle_romma)
|
||||
except LookupError:
|
||||
resume["action"] = "sans_cle" # opt-in : sans clé, aucun appel
|
||||
return resume
|
||||
journal.masquer(cle)
|
||||
|
||||
+2
-5
@@ -15,12 +15,9 @@ def fixture(nom):
|
||||
|
||||
def config(dossier, **kw):
|
||||
d = Path(dossier)
|
||||
(d / "secrets").mkdir(exist_ok=True)
|
||||
(d / "secrets" / "infoclimat.token").write_text(JETON_FICTIF)
|
||||
(d / "secrets" / "romma.key").write_text(CLE_FICTIVE)
|
||||
# Environnement simulé (dictionnaire) : les valeurs fictives ne sont jamais écrites sur disque.
|
||||
env = {"MC_BASE": str(d), "MC_QUOTA_COMMUN": str(d / "quota.json"),
|
||||
"MC_JETON_INFOCLIMAT": str(d / "secrets" / "infoclimat.token"),
|
||||
"MC_CLE_ROMMA": str(d / "secrets" / "romma.key")}
|
||||
"MC_JETON_INFOCLIMAT": JETON_FICTIF, "MC_CLE_ROMMA": CLE_FICTIVE}
|
||||
cfg = Config.depuis_env(env)
|
||||
for k, v in kw.items():
|
||||
setattr(cfg, k, v)
|
||||
|
||||
@@ -46,6 +46,27 @@ class TestSecrets(unittest.TestCase):
|
||||
j("erreur SECRET123")
|
||||
self.assertNotIn("SECRET123", (Path(d) / "j.log").read_text(encoding="utf-8"))
|
||||
|
||||
def test_secret_lu_seulement_dans_l_environnement(self):
|
||||
cfg = Config.depuis_env({"MC_BASE": "x", "MC_JETON_INFOCLIMAT": " VAL "})
|
||||
self.assertEqual(cfg.secret("MC_JETON_INFOCLIMAT"), "VAL")
|
||||
with self.assertRaises(LookupError):
|
||||
cfg.secret("MC_CLE_ROMMA")
|
||||
self.assertNotIn("VAL", repr(cfg)) # l'environnement n'apparaît pas dans repr()
|
||||
|
||||
def test_config_n_affiche_pas_les_secrets(self):
|
||||
import contextlib
|
||||
import io
|
||||
from unittest import mock
|
||||
from meteo_collecte import ordonnanceur
|
||||
env = {"MC_BASE": "x", "MC_JETON_INFOCLIMAT": "JETON_TRES_SECRET", "MC_CLE_ROMMA": "CLE_TRES_SECRETE"}
|
||||
sortie = io.StringIO()
|
||||
with mock.patch.dict("os.environ", env), contextlib.redirect_stdout(sortie):
|
||||
ordonnanceur.main(["--config"])
|
||||
texte = sortie.getvalue()
|
||||
self.assertNotIn("TRES_SECRET", texte)
|
||||
self.assertIn("MC_JETON_INFOCLIMAT", texte)
|
||||
self.assertIn("valeur masquée", texte)
|
||||
|
||||
|
||||
class TestFichiers(unittest.TestCase):
|
||||
def test_ecriture_atomique(self):
|
||||
|
||||
@@ -128,6 +128,13 @@ class TestPassage(unittest.TestCase):
|
||||
self.assertEqual(r2.urls, [])
|
||||
self.assertEqual(res["requetes"], 0)
|
||||
|
||||
def test_sans_jeton_aucun_appel_ni_quota(self):
|
||||
del self.cfg.env["MC_JETON_INFOCLIMAT"]
|
||||
r = FauxReseau(fixture("infoclimat_ok.json"))
|
||||
res = self.passer(t(12, 4), r)
|
||||
self.assertEqual((res["action"], r.urls), ("sans_jeton", []))
|
||||
self.assertEqual(lire_json(self.cfg.quota_commun, {}).get("requetes", 0), 0)
|
||||
|
||||
def test_erreur_pause_15_min_et_jeton_masque(self):
|
||||
r = FauxReseau(OSError("échec pour url https://x/?token=%s" % urllib.parse.quote(JETON_FICTIF, safe="")))
|
||||
res = self.passer(t(12, 4), r)
|
||||
|
||||
@@ -110,7 +110,7 @@ class TestPassage(unittest.TestCase):
|
||||
FauxReseau(fixture("romma_live.json")))["action"], "pause")
|
||||
|
||||
def test_sans_cle_aucun_appel(self):
|
||||
self.cfg.cle_romma.unlink()
|
||||
del self.cfg.env["MC_CLE_ROMMA"]
|
||||
res = FauxReseau(fixture("romma_live.json"))
|
||||
self.assertEqual(romma.passer(self.cfg, self.s, self.journal, APPEL, res)["action"], "sans_cle")
|
||||
self.assertEqual(res.urls, [])
|
||||
|
||||
Référencer dans un nouveau ticket
Bloquer un utilisateur