diff --git a/docs/superpowers/specs/2026-05-13-api-privee-design.md b/docs/superpowers/specs/2026-05-13-api-privee-design.md new file mode 100644 index 0000000..0a838c3 --- /dev/null +++ b/docs/superpowers/specs/2026-05-13-api-privee-design.md @@ -0,0 +1,428 @@ +# API privée decp.info — Design + +**Date** : 2026-05-13 +**Statut** : design validé, en attente du plan d'implémentation + +## 1. Contexte et objectifs + +decp.info reçoit des demandes récurrentes pour un accès programmatique aux +données DECP exposées par l'application web. Le besoin est d'ouvrir une API +HTTP **privée** (accès sur token), inspirée de l'API tabulaire de data.gouv.fr +(https://tabular-api.data.gouv.fr/api/resources/22847056-61df-452d-837d-8b8ceadbfc52/swagger/), +qu'un utilisateur en cours s'est déjà appropriée comme référence. + +Objectifs explicites : + +- Réponses rapides. +- API documentée (OpenAPI + Swagger UI). +- Suivi de la consommation par utilisateur. + +Non-objectifs (V1) : + +- Self-service de création de tokens via UI web. +- Rate-limiting / quotas. +- Formats de sortie autres que JSON (CSV, Parquet…). +- Endpoints sémantiques métier (`/acheteurs/{id}`, etc.). + +## 2. Choix structurants + +### 2.1 Framework : Flask + flask-smorest + +L'API est ajoutée à l'application Flask existante (serveur Dash) sous forme +d'un blueprint flask-smorest monté sur `/api/v1`. Choix motivé par : + +- L'app Dash actuelle tourne déjà sur Flask via gunicorn. +- DuckDB est ouvert une seule fois au boot dans `src/db.py` (`conn` read-only) + et peut être partagé directement par les endpoints API. +- L'API est tabulaire avec filtres **dynamiques** : la liste des colonnes et + des types vient du schéma DuckDB, pas d'une déclaration Pydantic. Les + bénéfices de FastAPI (auto-validation Pydantic) sont donc faibles. +- flask-smorest génère OpenAPI + sert Swagger UI nativement. +- Un seul process, un seul serveur, un seul déploiement. + +Alternatives écartées : + +- **FastAPI séparé reverse-proxié** : deux processus, ops plus complexe, + bénéfice marginal vu les filtres dynamiques. +- **FastAPI englobant Flask via WSGIMiddleware** : changerait le serveur de + toute l'app Dash existante, migration risquée. + +### 2.2 Style d'API : tabulaire générique + +Un endpoint unique de requête (`/api/v1/data`) avec filtres dynamiques sur +toutes les colonnes du schéma, à l'image du swagger cible. Aucun endpoint +sémantique métier en V1. + +### 2.3 Authentification : tokens admin manuels + +Tokens Bearer émis manuellement par l'admin via un CLI. Pas de page web de +gestion en V1. Modèle prévu pour se lier ultérieurement aux comptes +utilisateurs (cf. `comptes_utilisateurs.md`) sans migration de données. + +### 2.4 Suivi de consommation : Matomo asynchrone + compteurs locaux + +- Matomo en fire-and-forget pour l'analyse fine (qui, quand, quoi, code HTTP). +- Compteurs locaux SQLite (`count_total`, `last_used_at`) pour identifier + les tokens inactifs et préparer un éventuel rate-limit futur. + +## 3. Architecture + +### 3.1 Arborescence + +``` +src/api/ +├── __init__.py # init_api(server) — enregistre le blueprint flask-smorest +├── routes.py # endpoints /data, /schema, /health +├── schemas.py # marshmallow : query params, réponses +├── filters.py # parsing & validation `col__op=val` → (where_sql, params) +├── auth.py # décorateur @require_token, header Authorization Bearer +├── tracking.py # worker thread compteurs SQLite + httpx fire-and-forget Matomo +├── tokens_db.py # CRUD api_tokens dans users.sqlite +└── tokens_cli.py # python -m src.api.tokens_cli create|list|revoke +``` + +`src/auth/` reste réservé aux comptes utilisateurs interactifs +(`comptes_utilisateurs.md`), distincts des tokens API. + +### 3.2 Branchement + +Dans `src/app.py`, après l'init Dash : + +```python +from src.api import init_api +init_api(app.server) +``` + +`init_api` enregistre le blueprint sur `/api/v1` et expose : + +- `/api/v1/data` +- `/api/v1/schema` +- `/api/v1/health` +- `/api/v1/swagger` (UI) +- `/api/v1/openapi.json` + +### 3.3 Partage de la connexion DuckDB + +Les routes importent `src.db.conn` et utilisent les helpers existants +(`query_marches`, `count_marches`) ainsi que `src.db.schema` (Polars Schema) +pour la whitelist de colonnes. + +## 4. Stockage + +### 4.1 SQLite consolidée + +Une seule base SQLite, `users.sqlite` à la racine, contient : + +- `users` (futur — cf. `comptes_utilisateurs.md`) +- `api_tokens` (V1) + +Bénéfice : un seul fichier à sauvegarder et migrer ; la liaison future +`api_tokens.user_id → users.id` est immédiate sans migration de données. + +### 4.2 Schéma `api_tokens` + +```sql +CREATE TABLE api_tokens ( + id INTEGER PRIMARY KEY, + token_hash TEXT NOT NULL UNIQUE, + label TEXT NOT NULL, + user_id INTEGER, + created_at TEXT NOT NULL, + last_used_at TEXT, + count_total INTEGER NOT NULL DEFAULT 0, + revoked_at TEXT +); +CREATE INDEX idx_api_tokens_hash ON api_tokens(token_hash); +``` + +`user_id` est `NULL` pour les tokens admin manuels. Quand le self-service +arrivera, il suffira de le renseigner. + +## 5. Endpoints + +### 5.1 Vue d'ensemble + +| Méthode | Path | Auth | Rôle | +| ------- | ---------------------- | ------ | ------------------------------------------- | +| GET | `/api/v1/data` | Bearer | Endpoint tabulaire principal | +| GET | `/api/v1/schema` | Bearer | Liste des colonnes (nom, type, description) | +| GET | `/api/v1/health` | Aucune | Sonde monitoring | +| GET | `/api/v1/swagger` | Aucune | Swagger UI | +| GET | `/api/v1/openapi.json` | Aucune | Spec OpenAPI | + +### 5.2 `/api/v1/data` — langage de requête + +Filtres en query string, opérateurs suffixés par `__` (mirror swagger cible) : + +| Opérateur | Sens | +| -------------------- | ----------------------------------------------------- | +| `__exact` | égalité | +| `__contains` | sous-chaîne (LIKE %v%) | +| `__notcontains` | négation de `__contains` | +| `__less` | ≤ | +| `__greater` | ≥ | +| `__strictly_less` | < | +| `__strictly_greater` | > | +| `__in` | liste séparée par virgules | +| `__notin` | négation de `__in` | +| `__isnull` | `IS NULL` (valeur ignorée) | +| `__isnotnull` | `IS NOT NULL` (valeur ignorée) | +| `__sort` | `asc` ou `desc` — ordre = ordre des params dans l'URL | + +Autres paramètres réservés : + +- `page` (int, défaut 1, ≥1) +- `page_size` (int, défaut 50, max 1000) +- `columns` (string, liste séparée par virgules ; défaut = toutes) +- `count` (bool, défaut `true` ; `false` → `meta.total` absent, économise un `COUNT(*)`) + +Exemple : + +``` +GET /api/v1/data?acheteur_departement_code__exact=44 + &dateNotification__greater=2024-01-01 + &montant__strictly_greater=100000 + &objet__contains=informatique + &cpv_8__in=72000000,72200000 + &dateNotification__sort=desc + &page=1 + &page_size=50 + &columns=uid,objet,montant,dateNotification +``` + +### 5.3 Sécurité du parsing + +`filters.py` est l'unique chemin de génération du `WHERE` SQL : + +1. Chaque clé `