- collecte : collecter_meteofrance, extraire_infoclimat, extraire_vp2, archiver_historique, importer_opendata ; WeatherLink allégé (alleger) - tests : meteofrance, infoclimat, vp2, archive, opendata (tous verts) - maquettes/accueil-carte : sources de la maquette (générateurs de tuiles, page, À propos, CGU, confidentialité) - forum : noyau local (rôles, droits, SQLite, serveur de test, 18 tests) - deploy : Caddyfile.vercors.me.v2 (non appliqué) Co-Authored-By: Claude Sonnet 5.5 <noreply@anthropic.com>
80 lignes
3.3 KiB
Python
80 lignes
3.3 KiB
Python
#!/usr/bin/env python3
|
|
"""Importe l'historique horaire Météo-France (open data data.gouv.fr, « Données climatologiques de base - horaires »)
|
|
des postes du Vercors dans la base d'archive de vercors.me (table `horaire`, un point par heure, jamais purgé).
|
|
|
|
Fichiers : H_<département>_<période>.csv.gz, séparateur « ; », déjà téléchargés dans un dossier.
|
|
https://object.files.data.gouv.fr/meteofrance/data/synchro_ftp/BASE/HOR/H_38_latest-2025-2026.csv.gz (idem 26, et les décennies)
|
|
Ce script ne télécharge rien. Licence Ouverte Etalab 2.0, source Météo-France.
|
|
|
|
Usage : python importer_opendata.py --db archive/vercors.db --dossier od/
|
|
Les fichiers « latest » s'arrêtent plusieurs mois avant aujourd'hui : l'API temps réel (6 min) couvre les 5 derniers jours ;
|
|
le trou entre les deux est à combler avec l'API climatologique (DPClim) si Théo s'y abonne.
|
|
"""
|
|
import argparse
|
|
import csv
|
|
import datetime as dt
|
|
import glob
|
|
import gzip
|
|
import os
|
|
import sqlite3
|
|
import sys
|
|
|
|
POSTES = {"38021001": "autrans", "38548001": "villard", "26074001": "chapelle",
|
|
"26290002": "rousset", "38186001": "gresse", "26307001": "st-jean"}
|
|
# colonne de la base <- colonne Météo-France
|
|
CHAMPS = (("t", "T"), ("tn", "TN"), ("tx", "TX"), ("td", "TD"), ("u", "U"), ("ff", "FF"), ("fxi", "FXI"),
|
|
("dd", "DD"), ("rr1", "RR1"), ("pmer", "PMER"), ("neige", "NEIGETOT"))
|
|
SCHEMA = """CREATE TABLE IF NOT EXISTS horaire (
|
|
id TEXT NOT NULL, ts INTEGER NOT NULL,
|
|
t REAL, tn REAL, tx REAL, td REAL, u REAL, ff REAL, fxi REAL, dd REAL, rr1 REAL, pmer REAL, neige REAL,
|
|
PRIMARY KEY (id, ts)) WITHOUT ROWID"""
|
|
|
|
|
|
def nombre(v):
|
|
try:
|
|
return float(v) if v not in ("", None) else None
|
|
except ValueError:
|
|
return None
|
|
|
|
|
|
def epoch(aaaammjjhh):
|
|
d = dt.datetime.strptime(aaaammjjhh, "%Y%m%d%H").replace(tzinfo=dt.timezone.utc)
|
|
return int(d.timestamp())
|
|
|
|
|
|
def importer_fichier(db, chemin):
|
|
cols = [c for c, _ in CHAMPS]
|
|
sql = ("INSERT OR REPLACE INTO horaire (id, ts, %s) VALUES (?, ?, %s)" % (", ".join(cols), ", ".join("?" * len(cols))))
|
|
n = 0
|
|
with gzip.open(chemin, "rt", encoding="utf-8") as f:
|
|
for row in csv.DictReader(f, delimiter=";"):
|
|
site = POSTES.get(row.get("NUM_POSTE"))
|
|
if not site or not row.get("AAAAMMJJHH"):
|
|
continue
|
|
db.execute(sql, [site, epoch(row["AAAAMMJJHH"])] + [nombre(row.get(src)) for _, src in CHAMPS])
|
|
n += 1
|
|
db.commit()
|
|
return n
|
|
|
|
|
|
def main(argv=None):
|
|
ap = argparse.ArgumentParser(description=__doc__.split("\n")[0])
|
|
ap.add_argument("--db", required=True)
|
|
ap.add_argument("--dossier", required=True)
|
|
a = ap.parse_args(argv)
|
|
db = sqlite3.connect(os.path.expanduser(a.db))
|
|
db.execute(SCHEMA)
|
|
total = 0
|
|
for chemin in sorted(glob.glob(os.path.join(os.path.expanduser(a.dossier), "H_*.csv.gz"))):
|
|
n = importer_fichier(db, chemin)
|
|
total += n
|
|
print("%s : %d heures" % (os.path.basename(chemin), n))
|
|
for site, mini, maxi, nb in db.execute("SELECT id, MIN(ts), MAX(ts), COUNT(*) FROM horaire GROUP BY id"):
|
|
f = lambda t: dt.datetime.fromtimestamp(t, dt.timezone.utc).strftime("%Y-%m-%d")
|
|
print(" %s : %d heures, du %s au %s" % (site, nb, f(mini), f(maxi)))
|
|
return 0
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|