077af6dd2e
Implémentation de build_database avec transforms Polars et tables dérivées
...
- _load_source_frame reprend la pipeline Polars (sort, filtre donneesActuelles,
booleans_to_strings, remplacement des noms null)
- build_database utilise write_parquet + read_parquet pour zéro-dépendance
pyarrow (pyarrow absent du venv) et écrit atomiquement via .tmp + os.replace
- 4 tables dérivées : acheteurs_marches, titulaires_marches,
acheteurs_departement, titulaires_departement
refs #71
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-15 16:16:12 +02:00
553e23dd98
Nettoyage des tests should_rebuild suite à la revue
...
- Import de should_rebuild au niveau module
- Suppression d'un setenv DEVELOPMENT inutile (branche db-missing)
- Utilisation de os.utime pour un ordre mtime déterministe
refs #71
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-15 16:10:17 +02:00
e83df64261
Ajout de src.db.should_rebuild et ses tests
...
refs #71
2026-04-15 16:07:41 +02:00
0c3b0265b4
Ajout de la dépendance duckdb
...
Ajoute duckdb (==1.5.2) à pyproject.toml et ignore les artefacts
runtime (decp.duckdb, .tmp, .lock) qui sont régénérés au démarrage
depuis decp_prod.parquet.
refs #71
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-15 16:03:06 +02:00
fd1a801ddb
Ignore .worktrees pour exécution en worktree isolé
...
refs #71
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-15 13:50:31 +02:00
035d7f23fa
Plan de migration DuckDB — découpage en 20 tâches
...
20 étapes bite-sized couvrant : dépendance duckdb + .gitignore,
should_rebuild (TDD), build_database avec transforms Polars et verrou
fcntl, startup guard + query_marches, migration page-par-page
(marche → acheteur → titulaire → arbre → tableau → observatoire →
figures), suppression des globaux Polars, mesure RSS avant/après.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-15 13:37:49 +02:00
e75a69e259
Spec: DuckDB migration for decp data layer
...
Replace global Polars dataframes in src/utils.py (lines 891-913) with
an on-disk DuckDB database, built at startup from decp_prod.parquet.
Keeps two small search-path frames (df_acheteurs, df_titulaires) in
memory; moves heavy filtering and aggregation to DuckDB via a
query_marches helper that returns pl.DataFrame.
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-04-15 13:19:52 +02:00
9a19e5cba7
Mise en place d'un cache pour l'observatoire
2026-04-15 12:11:44 +02:00
0d0c0d0a75
Acheteur et titulaire appliquent bien la liste de colonnes par défaut
2026-04-15 11:35:10 +02:00
ade9a20926
Tableau applique bien la liste de colonnes par défaut
2026-04-14 17:39:52 +02:00
24e0cee2b1
Améliorations de typage
2026-03-30 14:58:18 +02:00
9e8811e080
Merge tag 'v2.7.1' into dev
...
- Correction du partage de données filtrées entre dashboard et vue des données
2026-03-23 13:40:10 +01:00
06186c1691
Merge branch 'hotfix/2.7.1'
2026-03-23 13:40:01 +01:00
30b6874045
Changelog 2.7.1
2026-03-23 13:39:49 +01:00
6e5f4011e5
On garde toutes les valeurs en paramètre puour prepare_dashboard_data
2026-03-23 13:39:37 +01:00
1f48319a0f
Utilisation d'un store plutôt que df global, regroupement des inputs/outputs
2026-03-23 13:25:08 +01:00
75005f43af
Merge tag 'v2.7.0' into dev
...
- Remplacement de la page Statistiques par l'observatoire
- Généralisation de la grille dash (`dbc.Row`, `dbc.Col`)
- Ajout de l'histogramme de distances aux pages acheteur et titulaire
- Ajout de la colonne `acheteur_categorie` (commune, État, etc.)
2026-03-23 07:49:56 +01:00
08fc4dcfdc
Merge branch 'release/2.7.0'
2026-03-23 07:49:04 +01:00
ad3f2cf654
Changelog 2.7.0
2026-03-23 07:48:54 +01:00
24bce6e2d6
Lien vers #sources
2026-03-23 07:43:37 +01:00
72da1a15e2
Nettoyage HTML recherche.py
2026-03-23 07:43:37 +01:00
f4514bf06c
Le bouton Partager n'apparaît que s'il y a des filtres
2026-03-23 07:43:02 +01:00
a54f78875e
Utilise l'année en cours pour plafonner les données du graph sources #65
2026-03-21 12:25:31 +01:00
7b78e0a0ea
Style, ordre des années #65
2026-03-21 12:09:00 +01:00
eecd75ac42
Style des boutons Prévisualiser et Partager #65
2026-03-21 11:55:48 +01:00
b06f3c91e0
test: add multi-param URL round-trip test for observatoire
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-21 11:33:38 +01:00
139b820b6b
fix: remove duplicate observatoire-share-url element in layout
...
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com >
2026-03-21 11:32:43 +01:00
bb2cde2fc5
feat: sync_observatoire_share_url encodes all 17 filter params
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-21 11:31:47 +01:00
3957ca1662
feat: restore_filters reads all 17 filter params from URL
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-21 11:27:54 +01:00
547accd7be
fix: update test_010 to use prepare_dashboard_data instead of removed _apply_filters
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-21 11:25:54 +01:00
ff6b5d0d41
Add design spec for full URL sharing on observatoire page
2026-03-21 11:15:26 +01:00
a3dce84cc5
Merge branch 'feature/preview_data' into dev
2026-03-21 10:28:19 +01:00
e6bf671f16
Prévisualisation des données: bonnes données téléchargées #65
2026-03-21 10:28:07 +01:00
b34f63f711
Prévisualisation des données: choix des colonnes #65
2026-03-21 10:17:58 +01:00
d6e14e2564
Prévisualisation des données fonctionnelle #65
2026-03-21 10:02:11 +01:00
dd63feeeac
Style des boutons
2026-03-20 17:49:27 +01:00
3b2cb15935
Prévisualisation basique des données #65
2026-03-20 17:38:10 +01:00
91ea9eccea
Top 10 acheteurs et titulaires #65
2026-03-20 16:44:29 +01:00
a89677604b
Médian des distances titulaire-acheteur #65
2026-03-20 14:20:44 +01:00
e5419bab9c
Donut : ajout à autres si moins de 1% #65 ;
2026-03-20 13:57:44 +01:00
4f9f31c4c7
Ajout des filtres objet et code CPV #65
2026-03-20 11:46:56 +01:00
28fdca2a06
Tri des départements pour dropdown #65
2026-03-20 11:33:25 +01:00
771dcf0ea1
Moins de barres dans l'histogramme distances #65
2026-03-20 11:32:50 +01:00
dac9efee88
Carte résumé => figures.py #65
2026-03-20 10:20:44 +01:00
50c3947c04
Filtres sur techniques, sous-traitance, innovant #65
2026-03-19 18:36:54 +01:00
9852d55a3d
Tentative de tri des départemetns
2026-03-19 13:02:42 +01:00
144e714235
fix: reduce right margin in distance histogram to use full card width
...
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-19 13:02:41 +01:00
a9d3d96a5e
"Partager" masqué dans l'observatoire pour l'instant #65
2026-03-19 00:04:59 +01:00
dbfc20921a
Amélioration du layout dans titulaire et acheteur
2026-03-18 23:54:41 +01:00
d8f1a884a3
fix: show actual km ranges in distance histogram tooltip
...
Replace px.histogram with manually-computed go.Bar so hover text
displays human-readable distance ranges (e.g. "8.9 – 10.0 km")
instead of raw log10 bin values.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com >
2026-03-18 23:35:04 +01:00
Colin Maudry