Changelog 2.6.1

Dynamique, donc pas sûr que les moteurs de recherche le voit.

.template.env

@@ -3,12 +3,23 @@ PORT=8050
 DEVELOPMENT=True
 SOURCE_STATS_CSV_PATH="https://www.data.gouv.fr/api/1/datasets/r/8ded94de-3b80-4840-a5bb-7faad1c9c234"
 
+# Annonce dans l'en-tête du site
+ANNOUNCEMENTS=
+
 # Chemin vers le schéma de données
 DATA_SCHEMA_PATH=https://www.data.gouv.fr/api/1/datasets/r/9a4144c0-ee44-4dec-bee5-bbef38191d9a
 
+# Colonnes masquées par défaut
+DISPLAYED_COLUMNS="uid, acheteur_id, acheteur_nom, montant, objet, titulaire_nom, titulaire_id, dateNotification, dureeMois, acheteur_departement_code, sourceDataset"
+
 # Formulaire de contact
 SENDER_SERVER_DOMAIN="mail.example.com" # serveur SMTP
 LOGIN_PASSWORD="" # mot de passe du serveur
 LOGIN_EMAIL="connect@example.fr" # adresse utilisée pour se connecter au serveur SMTP
 FROM_EMAIL="from@example.com" # adresse d'envoi des emails (From)
 TO_EMAIL="to@example.com" # adresse de destination des emails (To)
+
+# Matomo
+MATOMO_ID_SITE=
+MATOMO_BASE_URL=
+MATOMO_TOKEN=

CHANGELOG.md

@@ -0,0 +1,173 @@
+#### 2.6.1 (17 février 2026)
+
+- Corrections la création des liens canoniques (SEO)
+
+#### 2.6.0 (5 février 2026)
+
+- Suite de la refonte graphique
+- Persistence des filtres, des tris et des choix de colonnes sur toutes les pages
+- Joli tableau pour choisir les colonnes à afficher
+- Meilleure gestion des acheteurs et titulaires absents de la base SIRENE
+- Amélioration du SEO (liens canoniques)
+
+##### 2.5.1 (29 janvier 2026)
+
+- Mise en production un peu hâtive ([#67](https://github.com/ColinMaudry/decp.info/issues/67), [#68](https://github.com/ColinMaudry/decp.info/issues/68))
+
+#### 2.5.0 (29 janvier 2026)
+
+- Refonte graphique et amélioration des textes d'aide
+- Amélioration du filtrage du tableau à partir d'une URL
+- Renforcement du SEO avec une arborescence permettant l'accès aux marchés et des snippets JSON-LD
+- Suppression de la dépendance à Google Fonts grâce à [Bunny Fonts](https://fonts.bunny.net) 🇪🇺 🇸🇮
+
+##### 2.4.1 (22 janvier 2026)
+
+- Meilleure gestion des colonnes absentes du schéma
+
+#### 2.4.0 (22 janvier 2026)
+
+- Site à peu près utilisable sur petit écran (smartphone) ([#63](https://github.com/ColinMaudry/decp.info/issues/63))
+- Ajout de nouvelles statistiques dans [/statistiques](https://decp.info/statistiques) (stats par année, doublons par source)
+- Amélioration du référencement Web (sitemap, titres, descriptions) ([#50](https://github.com/ColinMaudry/decp.info/issues/50))
+- Possibilité dans les champs non-numériques de filtrer le texte selon son début ou sa fin (`text*` et `*text`)
+- Ajout d'une table des matières dans la page [À propos](https://decp.infi/a-propos) ([#36](https://github.com/ColinMaudry/decp.info/issues/36))
+- Désactivation du bloquage des robot d'agents de LLM (robots.txt)
+
+##### 2.3.1 (16 janvier 2026)
+
+- Les champs absents du [schéma](https://www.data.gouv.fr/datasets/donnees-essentielles-de-la-commande-publique-consolidees-format-tabulaire?resource_id=9a4144c0-ee44-4dec-bee5-bbef38191d9a) sont ignorés pour éviter les erreurs
+
+#### 2.3.0 (24 décembre 2025)
+
+- Possibilité de filtrer, trier etc. dans les vues acheteur et titulaire
+- Possibilité de partager les filtres, tris et choix de colonnes via une adresse Web ([exemple](https://decp.info/tableau?filtres=%7Bobjet%7D+icontains+%22d%C3%A9corations+de+no%C3%ABl%22+%26%26+%7BdateNotification%7D+icontains+2025&colonnes=uid%2Cacheteur_id%2Cacheteur_nom%2Ctitulaire_id%2Ctitulaire_nom%2Cobjet%2Cmontant%2CdateNotification%2Cdistance%2Cacheteur_departement_code))
+- Possibilité de filtrer une colonne avec plusieurs mots
+
+##### 2.2.3 (4 décembre 2025)
+
+- mise à jour de l'adresse email de contact (colmo.tech)
+- message sur l'indisponibilité des données MINEF
+
+##### 2.2.2 (22 novembre 2025)
+
+- Correction d'un bug dans le téléchargement Excel
+
+##### 2.2.1 (15 novembre 2025)
+
+- Le moteur de recherche ignore les tirets ("franche comté" trouve "Bourgogne-Franche-Comté)
+- Phrase "tagline" au-dessus du champ de recherche
+- Les infos de Contact rebasculent dans À propos
+- Police de caractère "Open Sans" généralisée
+
+#### 2.2.0 (13 novembre 2025)
+
+- Moteur de recherche (acheteurs et titulaires) en page d'accueil ([#58](https://github.com/ColinMaudry/decp.info/issues/58))
+- Top acheteurs / titulaires par montant attribué/remporté (([#55](https://github.com/ColinMaudry/decp.info/issues/55)))
+- Moins de colonnes affichées par défaut dans Tableau ([#54](https://github.com/ColinMaudry/decp.info/issues/54))
+
+##### 2.1.7 (11 novembre 2025)
+
+- Remplacement du formulaire de contact par une adresse email
+
+##### 2.1.6 (15 octobre 2025)
+
+- Stabilisation de la vue marché
+
+##### 2.1.5 (10 octobre 2025)
+
+- réparation des filtres (notamment < > sur les montants)
+- remplacement des valeurs "null" dans les tableaux par des cellules vides
+
+##### 2.1.4 (8 octobre 2025)
+
+- possibilité de filtrer sur le champ "Source"
+- création automatique d'une release Github quand je push un tag
+
+##### 2.1.3 (4 octobre 2025)
+
+- tentative d'auto-release à chaque création de tag git
+- adaptation au format TableSchema
+
+##### 2.1.2 (3 octobre 2025)
+
+- dataframe global plutôt que lazyframe, pour plus de résilience et charger toutes les données en mémoire
+
+##### 2.1.1 (1er octobre 2025)
+
+- ajout d'une section dans À propos sur la qualité et l'exhaustivité des données ([#43](https://github.com/ColinMaudry/decp.info/issues/43))
+- ajout du nombre de marchés en plus du nombre de lignes dans la vue Tableau
+
+#### 2.1.0 (30 septembre 2025)
+
+- Ajout des vues [acheteur](https://decp.info/acheteurs/24350013900189) ([#28](https://github.com/ColinMaudry/decp.info/issues/28)), [titulaire](https://decp.info/titulaires/51903758414786) ([#35](https://github.com/ColinMaudry/decp.info/issues/35)) et [marché](https://decp.info/marches/532239472000482025S00004) ([#40](https://github.com/ColinMaudry/decp.info/issues/40)) 🔎
+- Ajout des balises HTML meta Open Graph et Twitter ([#39](https://github.com/ColinMaudry/decp.info/issues/39)) pour de beaux aperçus de liens 🖼️
+- Formulaire de contact ([#48](https://github.com/ColinMaudry/decp.info/issues/48)) 📨
+- Nom de colonnes plus_agréables ([#33](https://github.com/ColinMaudry/decp.info/issues/33)) 💅
+- Définition des colonnes quand vous passez votre souris sur les en-têtes ([#33](https://github.com/ColinMaudry/decp.info/issues/33)) 📖
+- Affichage du numéro de version près du logo et lien vers ici 🤓
+- Variables globales uniquement en lecture (😁)
+
+##### 2.0.1 (23 septembre 2025)
+
+- Bloquage du bouton de téléchargement si trop de lignes (+ 65000) [#38](https://github.com/ColinMaudry/decp.info/issues/38)
+- Amélioration du script de déploiement (deploy.sh)
+- Meilleures instructions d'installation et lancement
+- Coquilles 🐚
+
+### 2.0.0 (23 septembre 2025)
+
+- détails des sources de données
+- section "À propos" plus développée
+- correction de bugs dans les filtres de la data table
+
+#### 2.0.0-alpha
+
+- Data table fonctionnelle
+
+### 1.5.0 (28/01/2023
+
+- fixation des dépendances Python pour plus de stabilité en cas de réinstallation (Pipfile)
+
+#### 1.4.1 (14/06/2021)
+
+- ajout des traductions des opérations de filtrage à toutes les vues, pas seulement /db/decp
+
+### 1.4.0 (14/06/2021)
+
+- traduction des opérations de filtrage (ex : contains => contient)
+- élargissement des menus de filtrage
+- correction du titre de la page des notes de versions
+
+### 1.3.0 (03/06/2021)
+
+- utilisation de noms de colonnes plus lisibles dans l'application
+- suppression des références à la licence et aux données source sur la page d'accueil
+- correction des liens vers le code source
+- correction de l'indentation des puces dans les notes de version
+
+### 1.2.0 (28/05/2021)
+
+- ajout d'une page "Notes de version"
+- meilleur lien pour la documentation des champs
+- déplacement du code de decp.info depuis [ColinMaudry/decp-table-schema-utils](https://github.com/ColinMaudry/decp-table-schema-utils) vers [ColinMaudry/decp.info](https://github.com/ColinMaudry/decp.info)
+
+### 1.1.0 (25/05/2021)
+
+- ajout de nouvelles vues :
+  - Marchés publics sans leurs titulaires : vue dédiée aux titulaires de marchés avec des données provenant du répertoire SIRENE
+  - Données sur les titulaires et géolocalisation : vue sans les titulaires pour analyser les nombres de marchés et les montants
+- amélioration de la page d'accueil
+- développement de la page "db" avec description des vues et liste des colonnes
+- les codes APE sont cliquables
+- ajout des mentions légales
+- ajout d'un formulatire d'inscription à une lettre d'information
+- correction de bugs :
+  - correction du format de certaines dates dans les données
+
+### 1.0.0
+
+- publication sur https://decp.info
+- ajout d'une vue équivalente au format DECP réglementaire
+- personnalisation de datasette
+- script de conversion quotidien basé sur [dataflows](https://github.com/datahq/dataflows)

README.md

@@ -1,8 +1,7 @@
 # decp.info
 
-> v2.1.1
-
-Outil d'exploration et de téléchargement des données essentielles de la commande publique.
+> v2.6.1
+> Outil d'exploration et de téléchargement des données essentielles de la commande publique.
 
 => [decp.info](https://decp.info)
 
@@ -38,81 +37,4 @@ Ne pas oublier de mettre à jour les fichier .env.
 
 ## Notes de version
 
-##### 2.1.1
-
-- ajout d'une section dans À propos sur la qualité et l'exhaustivité des données ([#43](https://github.com/ColinMaudry/decp.info/issues/43))
-- ajout du nombre de marchés en plus du nombre de lignes dans la vue Tableau
-
-#### 2.1.0
-
-- Ajout des vues [acheteur](https://decp.info/acheteurs/24350013900189) ([#28](https://github.com/ColinMaudry/decp.info/issues/28)), [titulaire](https://decp.info/titulaires/51903758414786) ([#35](https://github.com/ColinMaudry/decp.info/issues/35)) et [marché](https://decp.info/marches/532239472000482025S00004) ([#40](https://github.com/ColinMaudry/decp.info/issues/40)) 🔎
-- Ajout des balises HTML meta Open Graph et Twitter ([#39](https://github.com/ColinMaudry/decp.info/issues/39)) pour de beaux aperçus de liens 🖼️
-- Formulaire de contact ([#48](https://github.com/ColinMaudry/decp.info/issues/48)) 📨
-- Nom de colonnes plus_agréables ([#33](https://github.com/ColinMaudry/decp.info/issues/33)) 💅
-- Définition des colonnes quand vous passez votre souris sur les en-têtes ([#33](https://github.com/ColinMaudry/decp.info/issues/33)) 📖
-- Affichage du numéro de version près du logo et lien vers ici 🤓
-- Variables globales uniquement en lecture (😁)
-
-##### 2.0.1 (23 septembre 2025)
-
-- Bloquage du bouton de téléchargement si trop de lignes (+ 65000) [#38](https://github.com/ColinMaudry/decp.info/issues/38)
-- Amélioration du script de déploiement (deploy.sh)
-- Meilleures instructions d'installation et lancement
-- Coquilles 🐚
-
-### 2.0.0 (23 septembre 2025)
-
-- détails des sources de données
-- section "À propos" plus développée
-- correction de bugs dans les filtres de la data table
-
-#### 2.0.0-alpha
-
-- Data table fonctionnelle
-
-### 1.5.0 (28/01/2023
-
-- fixation des dépendances Python pour plus de stabilité en cas de réinstallation (Pipfile)
-
-#### 1.4.1 (14/06/2021)
-
-- ajout des traductions des opérations de filtrage à toutes les vues, pas seulement /db/decp
-
-### 1.4.0 (14/06/2021)
-
-- traduction des opérations de filtrage (ex : contains => contient)
-- élargissement des menus de filtrage
-- correction du titre de la page des notes de versions
-
-### 1.3.0 (03/06/2021)
-
-- utilisation de noms de colonnes plus lisibles dans l'application
-- suppression des références à la licence et aux données source sur la page d'accueil
-- correction des liens vers le code source
-- correction de l'indentation des puces dans les notes de version
-
-### 1.2.0 (28/05/2021)
-
-- ajout d'une page "Notes de version"
-- meilleur lien pour la documentation des champs
-- déplacement du code de decp.info depuis [ColinMaudry/decp-table-schema-utils](https://github.com/ColinMaudry/decp-table-schema-utils) vers [ColinMaudry/decp.info](https://github.com/ColinMaudry/decp.info)
-
-### 1.1.0 (25/05/2021)
-
-- ajout de nouvelles vues :
-  - Marchés publics sans leurs titulaires : vue dédiée aux titulaires de marchés avec des données provenant du répertoire SIRENE
-  - Données sur les titulaires et géolocalisation : vue sans les titulaires pour analyser les nombres de marchés et les montants
-- amélioration de la page d'accueil
-- développement de la page "db" avec description des vues et liste des colonnes
-- les codes APE sont cliquables
-- ajout des mentions légales
-- ajout d'un formulatire d'inscription à une lettre d'information
-- correction de bugs :
-  - correction du format de certaines dates dans les données
-
-### 1.0.0
-
-- publication sur https://decp.info
-- ajout d'une vue équivalente au format DECP réglementaire
-- personnalisation de datasette
-- script de conversion quotidien basé sur [dataflows](https://github.com/datahq/dataflows)
+Voir [CHANGELOG](https://github.com/ColinMaudry/decp.info/blob/main/CHANGELOG.md).

pyproject.toml

@@ -1,13 +1,13 @@
 [project]
 name = "decp.info"
 description = "Interface d'exploration et d'analyse des marchés publics français."
-version = "2.1.1"
+version = "2.6.1"
 requires-python = ">= 3.10"
 authors = [
-    { name = "Colin Maudry", email = "colin+decp@maudry.com" }
+    { name = "Colin Maudry", email = "colin@colmo.tech" }
 ]
 dependencies = [
-    "dash==3.2.0",
+    "dash==3.4.0",
     "dash[compress]",
     "polars",
     "gunicorn",
@@ -16,10 +16,28 @@ dependencies = [
     "xlsxwriter",
     "plotly[express]",
     "httpx",
-    "pandas" # utilisé pour la création de certains graphiques
+    "pandas", # utilisé pour la création de certains graphiques
+    "unidecode"
 ]
 
 [project.optional-dependencies]
 dev = [
+    "pytest",
+    "pytest-env",
     "pre-commit",
+    "selenium",
+    "webdriver-manager",
+    "dash[testing]",
 ]
+
+[tool.pytest.ini_options]
+pythonpath = [
+  "src"
+]
+testpaths = [
+    "tests"
+]
+env = [
+    "DATA_FILE_PARQUET_PATH=tests/test.parquet"
+]
+addopts = "-p no:warnings"

src/app.py

@@ -1,19 +1,38 @@
 import logging
+import os
 
 import dash_bootstrap_components as dbc
 import tomllib
-from dash import Dash, dcc, html, page_container, page_registry
+from dash import Dash, Input, Output, State, dcc, html, page_container, page_registry
 from dotenv import load_dotenv
-from flask import send_from_directory
+from flask import Response
 
 load_dotenv()
 
-app = Dash(
-    external_stylesheets=[dbc.themes.SIMPLEX],
+# if os.getenv("PYTEST_CURRENT_TEST"):
+#     os.environ["DATA_FILE_PARQUET_PATH"]
+
+
+development = os.getenv("DEVELOPMENT").lower() == "true"
+
+meta_tags = [
+    {"name": "viewport", "content": "width=device-width, initial-scale=1"},
+    {
+        "name": "keywords",
+        "content": "commande publique, decp, marchés publics, données essentielles",
+    },
+]
+
+if development:
+    meta_tags.append({"name": "robots", "content": "noindex"})
+
+app: Dash = Dash(
     title="decp.info",
     use_pages=True,
     compress=True,
+    meta_tags=meta_tags,
 )
+
 # COSMO (belle font, blue),
 # UNITED (rouge, ubuntu font),
 # LUMEN (gros séparateur, blue clair),
@@ -23,7 +42,29 @@ app = Dash(
 # robots.txt
 @app.server.route("/robots.txt")
 def robots():
-    return send_from_directory("./assets", "robots.txt", mimetype="text/plain")
+    text = """User-agent: *
+Allow: /
+    """
+    return Response(text, mimetype="text/plain")
+
+
+@app.server.route("/sitemap.xml")
+def sitemap():
+    base_url = "https://decp.info"
+    pages = [
+        "/",
+        "/statistiques",
+        "/tableau",
+        "/a-propos",
+    ]
+    xml = '<?xml version="1.0" encoding="UTF-8"?>\n'
+    xml += '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">\n'
+    for page in pages:
+        xml += "  <url>\n"
+        xml += f"    <loc>{base_url}{page}</loc>\n"
+        xml += "  </url>\n"
+    xml += "</urlset>"
+    return Response(xml, mimetype="text/xml")
 
 
 logger = logging.getLogger("decp.info")
@@ -46,6 +87,7 @@ app.index_string = """
         <title>{%title%}</title>
         {%favicon%}
         {%css%}
+        <!-- canonical link -->
     </head>
     <body>
         {%app_entry%}
@@ -72,39 +114,87 @@ app.index_string = """
 </html>
 """
 
-app.layout = html.Div(
-    [
-        html.Div(
-            [
-                html.Div(
-                    [
-                        html.A(children=html.H1("decp.info"), href="/"),
-                        html.P(
-                            children=html.A(
-                                version,
-                                href="https://github.com/ColinMaudry/decp.info?tab=readme-ov-file#notes-de-version",
-                                target="_blank",
+navbar = dbc.Navbar(
+    dbc.Container(
+        fluid=True,
+        children=[
+            dbc.NavItem(
+                children=[
+                    html.Div(
+                        [
+                            dcc.Link(html.H1("decp.info"), href="/", className="logo"),
+                            html.P(
+                                [
+                                    html.A(
+                                        version,
+                                        href="https://github.com/ColinMaudry/decp.info/blob/main/CHANGELOG.md",
+                                    )
+                                ],
+                                className="version",
                             ),
-                            className="version",
-                        ),
-                    ],
-                    className="logo",
-                ),
-                html.Div(
+                        ],
+                        className="logo-wrapper",
+                    )
+                ],
+                style={"minWidth": "230px"},
+            ),
+            dbc.Nav(
+                children=[dcc.Markdown(os.getenv("ANNOUNCEMENTS"), id="announcements")],
+                style={
+                    "maxWidth": "1200px",
+                    "display": "inline-block",
+                },
+                navbar=True,
+                id="announcements-nav",
+            ),
+            dbc.NavbarToggler(id="navbar-toggler"),
+            dbc.Collapse(
+                dbc.Nav(
                     [
-                        dcc.Link(
-                            page["name"], href=page["relative_path"], className="nav"
+                        dbc.NavItem(
+                            dbc.NavLink(
+                                page["name"].replace(" ", " "),
+                                href=page["relative_path"],
+                                active="exact",
+                            )
                         )
                         for page in page_registry.values()
-                        if page["name"] not in ["Acheteur", "Titulaire", "Marché"]
-                    ]
+                        if page["name"]
+                        in ["Recherche", "À propos", "Tableau", "Statistiques"]
+                    ],
+                    className="ms-auto",
+                    navbar=True,
                 ),
-            ],
-            className="navbar",
+                id="navbar-collapse",
+                navbar=True,
+            ),
+        ],
+    ),
+    color="light",
+    dark=False,
+    className="mb-4",
+    expand="lg",
+)
+
+app.layout = html.Div(
+    [
+        navbar,
+        dbc.Container(
+            page_container,
+            fluid=True,
+            id="page-content-container",
+            className="mb-4",
         ),
-        page_container,
     ]
 )
 
-if __name__ == "__main__":
-    app.run(debug=True)
+
+@app.callback(
+    Output("navbar-collapse", "is_open"),
+    [Input("navbar-toggler", "n_clicks")],
+    [State("navbar-collapse", "is_open")],
+)
+def toggle_navbar_collapse(n, is_open):
+    if n:
+        return not is_open
+    return is_open

src/assets/copy.svg

@@ -0,0 +1 @@
+<svg aria-hidden="true" focusable="false" data-prefix="far" data-icon="copy" class="svg-inline--fa fa-copy fa-w-14 " role="img" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 448 512"><path fill="currentColor" d="M433.941 65.941l-51.882-51.882A48 48 0 0 0 348.118 0H176c-26.51 0-48 21.49-48 48v48H48c-26.51 0-48 21.49-48 48v320c0 26.51 21.49 48 48 48h224c26.51 0 48-21.49 48-48v-48h80c26.51 0 48-21.49 48-48V99.882a48 48 0 0 0-14.059-33.941zM266 464H54a6 6 0 0 1-6-6V150a6 6 0 0 1 6-6h74v224c0 26.51 21.49 48 48 48h96v42a6 6 0 0 1-6 6zm128-96H182a6 6 0 0 1-6-6V54a6 6 0 0 1 6-6h106v88c0 13.255 10.745 24 24 24h88v202a6 6 0 0 1-6 6zm6-256h-64V48h9.632c1.591 0 3.117.632 4.243 1.757l48.368 48.368a6 6 0 0 1 1.757 4.243V112z"></path></svg>

src/assets/css/style.css

@@ -0,0 +1,554 @@
+@import url(https://fonts.bunny.net/css?family=fira-code:400|inter:400,600);
+
+/* ==========================================================================
+   Variables
+   ========================================================================== */
+:root {
+  --bs-font-monospace: "Fira Code";
+  --primary-color: rgb(179, 56, 33);
+  --primary-color-text: #b33821;
+}
+
+/* ==========================================================================
+   Base & Reset
+   ========================================================================== */
+body {
+  font-family: "Inter", sans-serif;
+  font-weight: 400;
+  background-color: rgb(255 240 240 / 40%);
+  -moz-osx-font-smoothing: grayscale;
+  -webkit-font-smoothing: antialiased;
+  font-smooth: always;
+  font-display: swap;
+}
+
+strong,
+b {
+  font-weight: 600 !important;
+}
+
+h1,
+h2,
+h3,
+h4,
+h5 {
+  font-weight: 600;
+}
+
+h3 {
+  margin: 36px 0 20px 0;
+}
+
+/* Base Button Styles
+button {
+  font-weight: 400;
+  background-color: #fff;
+  border-radius: 3px;
+  appearance: auto;
+  border: solid var(--primary-color) 1px;
+}  */
+
+button.btn.btn-primary,
+button.show-hide {
+  display: block;
+  border-radius: 3px;
+  outline: 0;
+  color: #fff;
+  border: 0;
+  height: 30px;
+  padding-top: 2px;
+  background-image: linear-gradient(
+    rgb(209, 96, 73),
+    rgb(179, 56, 33) 26%,
+    rgb(159, 36, 22)
+  );
+}
+
+button.btn.btn-primary:hover,
+button.show-hide:hover {
+  background-image: linear-gradient(
+    rgb(239, 126, 103),
+    rgb(209, 86, 63) 26%,
+    rgb(189, 66, 52)
+  );
+}
+
+button[disabled] {
+  border-color: #ccc;
+  color: #666;
+}
+
+button:hover:not([disabled]) {
+  background-color: #fee;
+}
+
+/* Global Link Styles */
+#_pages_content a {
+  color: #993333;
+}
+
+/* ==========================================================================
+   Layout
+   ========================================================================== */
+#_pages_content {
+  padding: 28px 24px 0 24px;
+}
+
+.wrapper {
+  display: grid;
+  grid-gap: 10px;
+  margin-bottom: 50px;
+  justify-content: space-between;
+}
+
+#header > * {
+  margin: 0 0 20px 0px;
+}
+
+/* ==========================================================================
+   Components
+   ========================================================================== */
+
+/* --- Navigation & Header --- */
+a.logo {
+  color: black;
+  text-decoration: none;
+}
+
+a.logo > h1 {
+  font-weight: 400;
+  margin: 0;
+  line-height: 1;
+}
+
+.logo-wrapper {
+  display: flex;
+  align-items: baseline;
+}
+
+p.version {
+  margin: 0 0 0 12px;
+  font-family: "Fira Code";
+  font-size: 0.9rem;
+}
+
+p.version > a {
+  text-decoration: none;
+  margin-top: 10px;
+}
+
+.navbar-brand {
+  margin-right: 2px;
+}
+
+.navbar-nav .nav-link.active {
+  font-weight: 600;
+}
+
+#announcements {
+  margin: 25px 40px 0 60px;
+  font-size: 90%;
+  max-width: 900px;
+}
+
+/* --- Search Page --- */
+.tagline {
+  text-align: center;
+  font-size: 120%;
+  display: block;
+  margin-top: 50px;
+}
+
+#search {
+  margin: 30px auto 0px auto;
+  width: 500px;
+  font-size: 16px;
+  height: 30px;
+  display: block;
+}
+
+.search_options {
+  margin: 16px auto;
+  width: 450px;
+}
+
+.search_options input {
+  margin-right: 12px;
+}
+
+.results_acheteur {
+  grid-column: 1;
+  grid-row: 1;
+}
+
+.results_titulaire {
+  grid-column: 2;
+  grid-row: 1;
+}
+
+/* --- Tables (Dash & Custom) --- */
+
+/* Table Menu (Exports etc) */
+.table-menu {
+  font-size: 16px;
+  margin: 12px 0 12px 0;
+  height: 50px;
+  display: flex;
+  align-items: center;
+}
+
+.table-menu > * {
+  margin: 8px 16px 8px 0;
+}
+
+#source_table {
+  margin-bottom: 25px;
+}
+
+#source_table p {
+  line-height: 1.5;
+}
+
+/* Dash Table Overrides */
+.column-header--sort {
+  margin-left: 3px;
+}
+
+dash-table-container dash-spreadsheet-menu table.cell-table {
+  margin-right: 8px;
+  margin-lef: 8px;
+}
+
+table.cell-table,
+table.cell-table tr {
+  border-color: #fff;
+  padding: 0;
+  border-collapse: separate !important;
+  /* Required for border-radius */
+  border-spacing: 0;
+}
+
+table.cell-table th {
+  border-collapse: separate !important;
+  border-spacing: 0;
+}
+
+.dash-table-container p {
+  margin-bottom: 0;
+}
+
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  th.dash-header,
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  th.dash-select-header {
+  margin: 0;
+  color: white;
+  font-family: "Inter", sans-serif;
+  text-align: left;
+  font-weight: 600;
+  padding: 2px 12px 4px 2px;
+  border: 1px solid rgb(179, 56, 33) !important;
+  background-color: rgb(179, 56, 33);
+  border-bottom: none !important;
+  height: 32px;
+}
+
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  table.cell-table
+  tr:first-of-type
+  th.dash-header:first-of-type,
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  table.cell-table
+  tr:first-of-type
+  th.dash-select-header:first-of-type {
+  border-top-left-radius: 3px !important;
+}
+
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  table.cell-table
+  tr:first-of-type
+  th.dash-header:last-of-type {
+  border-top-right-radius: 3px !important;
+}
+
+/* Dash Filters */
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  .cell-table
+  .dash-filter
+  input[type="text"] {
+  border-color: #ccc;
+  border-style: solid;
+  border-width: 1px;
+  border-radius: 3px;
+  height: 28px;
+  font-family: "Fira Code";
+  caret-color: #000;
+  background-color: rgb(250 250 250);
+  text-align: left !important;
+  padding: 1px 2px 0 2px;
+  vertical-align: center;
+}
+
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  .cell-table
+  .dash-filter
+  input[type="text"]::placeholder {
+  color: #999;
+}
+
+.dash-filter--case {
+  display: none;
+}
+
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  .cell-table
+  th.dash-filter {
+  background-color: #ccc;
+}
+
+/* Custom Marches Table */
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  .cell-table
+  td {
+  padding-left: 5px;
+  padding-right: 5px;
+}
+
+.dash-table-container
+  .dash-spreadsheet-container
+  .dash-spreadsheet-inner
+  td
+  div.dash-cell-value.cell-markdown {
+  font-family: "Inter", sans-serif !important;
+  font-weight: 400;
+}
+
+.marches_table.stuck {
+  position: relative;
+  right: 200px;
+}
+
+.marches_table .cell-table tr:nth-child(even) td {
+  background-color: rgb(255 240 240 / 40%);
+}
+
+/* Column Visibility Menu */
+.column-actions {
+  margin-right: 8px;
+}
+
+.column-header--hide {
+  display: none;
+}
+
+button.show-hide {
+  position: relative;
+  width: 180px;
+  margin: 0 0 10px 0;
+  display: none;
+}
+
+/*
+.show-hide::before {
+  background: inherit;
+  content: "Colonnes affichées";
+  position: absolute;
+  left: 5px;
+  right: 5px;
+
+
+#column_list .show-hide,
+#table .show-hide {
+  display: none;
+}
+
+.show-hide-menu-item > input {
+  margin-right: 10px;
+} */
+
+#btn-copy-url:before {
+}
+
+/* Dropdowns */
+.Select-placeholder {
+  color: #333 !important;
+}
+
+/* Checkboxes */
+
+input[type="checkbox"] {
+  height: 17px;
+  width: 17px;
+}
+
+/* Tooltips */
+.dash-tooltip,
+.dash-table-tooltip {
+  color: #333;
+  width: 400px !important;
+  max-width: 400px !important;
+  height: 150px !important;
+  max-height: 150px !important;
+  overflow: hidden;
+}
+
+.dash-tooltip pre,
+.dash-tooltip code {
+  overflow: hidden;
+  height: 150px;
+  text-wrap: wrap;
+  font-family: "Inter", sans-serif;
+}
+
+/* --- Organization Cards (Grid Items) --- */
+.org_title {
+  grid-column: 1 / 3;
+  grid-row: 1;
+}
+
+.org_year {
+  grid-column: 3;
+  grid-row: 1;
+}
+
+.org_infos {
+  grid-column: 1;
+  grid-row: 2;
+}
+
+.org_infos > p {
+  margin: 8px 0;
+}
+
+.org_stats {
+  grid-column: 2;
+  grid-row: 2;
+}
+
+.org_map {
+  grid-column: 3;
+  grid-row: 2;
+}
+
+.org_top {
+  grid-column: 1/3;
+  grid-row: 3;
+}
+
+/* --- About Page (A Propos) --- */
+.a-propos-container {
+  display: flex;
+  flex-wrap: wrap;
+  align-items: flex-start;
+  position: relative;
+  max-width: 1200px;
+  margin: 0 auto;
+}
+
+.a-propos-content {
+  flex: 1 1 70%;
+  max-width: 75%;
+  padding-right: 40px;
+}
+
+.a-propos-toc {
+  flex: 0 0 25%;
+  max-width: 25%;
+  /* Keeps it from growing too large */
+  position: sticky;
+  top: 40px;
+  /* Sticks 40px from the top of the viewport */
+  border-left: 2px solid #333;
+  /* Dark vertical line like hedgedoc */
+  padding-left: 15px;
+  margin-top: 40px;
+  background-color: #fff;
+  /* Aligns visually with the first header */
+}
+
+/* TOC Links */
+.toc-link {
+  display: block;
+  color: #666;
+  text-decoration: none;
+  font-size: 0.9em;
+  padding: 2px 0;
+  transition: color 0.2s, font-weight 0.2s;
+  line-height: 1.4;
+}
+
+.toc-link:hover {
+  color: #000;
+  text-decoration: none;
+}
+
+.toc-active {
+  color: #000;
+  font-weight: bold;
+}
+
+.toc-level-2 {
+  margin-left: 15px;
+  font-size: 0.85em;
+}
+
+.toc-header {
+  font-weight: bold;
+  margin-bottom: 10px;
+  display: block;
+  color: #333;
+}
+
+/* --- Misc & Utility --- */
+#instructions {
+  max-width: 1000px;
+}
+
+details > div {
+  padding-top: 24px;
+}
+
+summary > h4 {
+  margin: 0;
+  display: inline;
+}
+
+/* ==========================================================================
+   Media Queries
+   ========================================================================== */
+
+@media (max-width: 992px) {
+  /* Navigation */
+  #announcements-nav {
+    display: none !important;
+  }
+
+  /* About Page */
+  .a-propos-content {
+    max-width: 100%;
+    padding-right: 0;
+    flex: 1 1 100%;
+  }
+
+  .a-propos-toc {
+    display: none;
+  }
+}

src/assets/dash_clientside.js

@@ -0,0 +1,105 @@
+window.dash_clientside = Object.assign({}, window.dash_clientside, {
+  clientside: {
+    clean_filters: function (trigger) {
+      if (!trigger) {
+        return window.dash_clientside.no_update;
+      }
+
+      // Helper to set value on a React text input
+      const setNativeValue = (element, value) => {
+        const valueSetter = Object.getOwnPropertyDescriptor(
+          element,
+          "value"
+        ).set;
+        const prototype = Object.getPrototypeOf(element);
+        const prototypeValueSetter = Object.getOwnPropertyDescriptor(
+          prototype,
+          "value"
+        ).set;
+
+        if (valueSetter && valueSetter !== prototypeValueSetter) {
+          prototypeValueSetter.call(element, value);
+        } else {
+          valueSetter.call(element, value);
+        }
+
+        element.dispatchEvent(new Event("input", { bubbles: true }));
+      };
+
+      const cleanInputs = () => {
+        const inputs = document.querySelectorAll(
+          '.dash-filter input[type="text"]'
+        );
+        inputs.forEach((input) => {
+          let val = input.value;
+          let original = val;
+
+          // Remove "icontains " prefix
+          if (/^icontains\s+/i.test(val)) {
+            val = val.replace(/^icontains\s+/i, "");
+            // Check for surrounding quotes (single or double) and remove them
+            if (
+              (val.startsWith('"') && val.endsWith('"')) ||
+              (val.startsWith("'") && val.endsWith("'"))
+            ) {
+              val = val.substring(1, val.length - 1);
+            }
+          }
+          // Handle relational operators (i<, s>, i<=, etc.)
+          else if (/^[is][<>]=?/i.test(val)) {
+            val = val.substring(1);
+          }
+
+          if (val !== original) {
+            try {
+              // Try setting it the React-friendly way
+              setNativeValue(input, val);
+            } catch (e) {
+              // Fallback to direct assignment if fancy way fails
+              input.value = val;
+            }
+          }
+        });
+      };
+
+      // Use MutationObserver to wait for table to appear/update
+      const observer = new MutationObserver((mutations) => {
+        cleanInputs();
+      });
+
+      const target = document.querySelector(".dash-table-container");
+      if (target) {
+        observer.observe(target, {
+          childList: true,
+          subtree: true,
+          attributes: true,
+          attributeFilter: ["value"],
+        });
+
+        // Disconnect after 5 seconds
+        setTimeout(() => {
+          observer.disconnect();
+        }, 5000);
+
+        // Also try immediately just in case
+        cleanInputs();
+      } else {
+        // Poll briefly if container not found yet
+        const checkInterval = setInterval(() => {
+          const t = document.querySelector(".dash-table-container");
+          if (t) {
+            clearInterval(checkInterval);
+            observer.observe(t, { childList: true, subtree: true });
+            setTimeout(() => observer.disconnect(), 5000);
+            cleanInputs();
+          }
+        }, 200);
+
+        // Stop polling after 2s if still nothing
+        setTimeout(() => clearInterval(checkInterval), 2000);
+      }
+
+      return window.dash_clientside.no_update;
+    },
+  },
+});

src/assets/robots.txt

@@ -1,41 +0,0 @@
-# START YOAST BLOCK
-# Copié depuis https://next.ink/robots.txt
-# ---------------------------
-User-agent: *
-Allow: /
-
-# ---------------------------
-# END YOAST BLOCK
-
-User-agent: GPTBot
-Disallow: /
-User-agent: ChatGPT-User
-Disallow: /
-User-agent: Google-Extended
-Disallow: /
-User-agent: PerplexityBot
-Disallow: /
-User-agent: Amazonbot
-Disallow: /
-User-agent: ClaudeBot
-Disallow: /
-User-Agent: FacebookBot
-Disallow: /
-User-Agent: Applebot
-Disallow: /
-User-agent: anthropic-ai
-Disallow: /
-User-agent: Bytespider
-Disallow: /
-User-agent: Claude-Web
-Disallow: /
-User-agent: Diffbot
-Disallow: /
-User-agent: ImagesiftBot
-Disallow: /
-User-agent: Omgilibot
-Disallow: /
-User-agent: Omgili
-Disallow: /
-User-agent: YouBot
-Disallow: /

src/assets/style.css

@@ -1,240 +0,0 @@
-/* Change la marge bout d'export  */
-.table-menu {
-  font-size: 16px;
-  margin: 12px;
-  height: 36px;
-}
-
-.table-menu > * {
-  margin: 8px;
-  float: left;
-}
-
-#source_table p {
-  line-height: 1.5;
-}
-
-#source_table {
-  margin-bottom: 25px;
-}
-
-#instructions {
-  max-width: 1000px;
-}
-
-details > div {
-  padding-top: 24px;
-}
-
-/* Logo et version */
-
-div.logo {
-  width: 230px;
-}
-
-p.version {
-  float: left;
-  margin-top: 21px;
-  margin-left: 12px;
-}
-
-p.version > a {
-  text-decoration: none;
-}
-
-div.logo h1 {
-  float: left;
-}
-
-div.logo > a {
-  text-decoration: none;
-  color: black;
-}
-
-/* Réduire la taille du texte de la colonne Objet */
-
-td[data-dash-column="objet"] {
-  font-size: 85%;
-}
-
-/* Couleur des en-têtes */
-.dash-table-container
-  .dash-spreadsheet-container
-  .dash-spreadsheet-inner
-  th.dash-header {
-  background-color: #b33821;
-  color: white;
-  font-family: sans-serif;
-  text-align: left;
-}
-
-.dash-table-container
-  .dash-spreadsheet-container
-  .dash-spreadsheet-inner
-  th.dash-filter {
-  background-color: #f0afa3;
-}
-
-.dash-table-container p {
-  margin-bottom: 0;
-}
-
-.dash-filter--case {
-  display: none;
-}
-
-.dash-tooltip,
-.dash-table-tooltip {
-  color: #333;
-  width: 400px !important;
-  max-width: 400px !important;
-  height: 150px !important;
-  max-height: 150px !important;
-  overflow: hidden;
-}
-
-.dash-tooltip pre,
-.dash-tooltip code {
-  overflow: hidden;
-  height: 150px;
-  text-wrap: wrap;
-  font-family: sans-serif;
-}
-
-/* Menu de masquage des colonnes */
-.column-actions {
-  margin-right: 8px;
-}
-
-.column-header--hide {
-  display: none;
-}
-
-.show-hide {
-  position: relative;
-  width: 180px;
-  margin: 0 0 10px 10px;
-}
-
-.show-hide::before {
-  background: inherit;
-  content: "Colonnes affichées";
-  position: absolute;
-  left: 5px;
-  right: 5px;
-}
-
-.show-hide-menu-item > input {
-  margin-right: 10px;
-}
-
-/* Alternance des couleurs pour les lignes */
-.marches_table {
-  font-family: sans-serif;
-}
-.marches_table .cell-table tr:nth-child(even) td {
-  background-color: #feeeee;
-  font-family: sans-serif;
-}
-
-#header > *,
-.dash-spreadsheet-menu button.export {
-  margin: 0 0 20px 20px;
-}
-
-/* Menu de navigation */
-
-.navbar {
-  width: 100%;
-  height: 100px;
-  padding: 0 10px;
-  border: 0;
-  border-bottom: solid 1px black;
-}
-
-a.nav {
-  float: left;
-  margin-right: 40px;
-  font-size: 120%;
-}
-
-h3 {
-  margin: 36px 0 24px 0;
-}
-
-summary > h3 {
-  margin: 0;
-  display: inline;
-}
-
-#_pages_content {
-  padding-top: 28px;
-}
-
-/* Vue acheteur/titulaire    */
-.wrapper {
-  display: grid;
-  grid-gap: 10px;
-  margin-bottom: 50px;
-  justify-content: space-between;
-}
-
-.wrapper > div {
-}
-
-.org_title {
-  grid-column: 1 / 3;
-  grid-row: 1;
-}
-
-.org_year {
-  grid-column: 3;
-  grid-row: 1;
-}
-
-.org_infos {
-  grid-column: 1;
-  grid-row: 2;
-}
-
-.org_infos > p {
-  margin: 8px 0;
-}
-
-.org_stats {
-  grid-column: 2;
-  grid-row: 2;
-}
-
-.org_map {
-  grid-column: 3;
-  grid-row: 2;
-}
-
-/* Vue marché */
-
-.marche_infos p {
-  margin-top: 6px;
-  margin-bottom: 6px;
-}
-
-.marche_title {
-  grid-column: 1/3;
-  grid-row: 1;
-}
-
-.marche_map {
-  grid-column: 3;
-  grid-row: 2;
-  width: 400px;
-}
-
-.marche_infos_1 {
-  grid-column: 1;
-  grid-row: 2;
-}
-
-.marche_infos_2 {
-  grid-column: 2;
-  grid-row: 2;
-}

src/callbacks.py

@@ -0,0 +1,36 @@
+import polars as pl
+from dash import html
+
+from src.figures import DataTable
+from utils import add_links_in_dict, format_values, setup_table_columns
+
+
+def get_top_org_table(data, org_type: str):
+    dff = pl.DataFrame(data, strict=False, infer_schema_length=5000)
+    if dff.height == 0:
+        return html.Div()
+
+    dff = dff.select(
+        ["uid", f"{org_type}_id", f"{org_type}_nom", "titulaire_distance", "montant"]
+    )
+    dff_nb = dff.group_by(
+        f"{org_type}_id", f"{org_type}_nom", "titulaire_distance"
+    ).agg(pl.len().alias("Attributions"), pl.sum("montant").alias("montant"))
+    dff_nb = dff_nb.sort(by="montant", descending=True, nulls_last=True)
+    dff_nb = dff_nb.cast(pl.String)
+    dff_nb = dff_nb.fill_null("")
+    dff_nb = format_values(dff_nb)
+    columns, tooltip = setup_table_columns(
+        dff_nb, hideable=False, exclude=[f"{org_type}_id"], new_columns=["Attributions"]
+    )
+    data = dff_nb.to_dicts()
+    data = add_links_in_dict(data, f"{org_type}")
+
+    return DataTable(
+        dtid=f"top10_{org_type}",
+        data=data,
+        page_action="native",
+        page_size=10,
+        columns=columns,
+        tooltip_header=tooltip,
+    )

src/figures.py

@@ -1,11 +1,16 @@
 import json
+from typing import Literal
 
 import plotly.express as px
+import plotly.graph_objects as go
 import polars as pl
 from dash import dash_table, dcc, html
 
+from src.utils import data_schema, df, format_number
 
-def get_map_count_marches(lf: pl.LazyFrame):
+
+def get_map_count_marches():
+    lf = df.lazy()
     lf = lf.with_columns(
         pl.col("lieuExecution_code").str.head(2).str.zfill(2).alias("Département")
     )
@@ -26,16 +31,16 @@ def get_map_count_marches(lf: pl.LazyFrame):
     for f in departements["features"]:
         f["id"] = f["properties"]["code"]
 
-    df = lf.collect()
+    df_map = lf.collect(engine="streaming")
 
     fig = px.choropleth(
-        df,
+        df_map,
         geojson=departements,
         locations="Département",
         color="uid",
         color_continuous_scale="Reds",
         title="Nombres de marchés attribués par département (lieu d'exécution)",
-        range_color=(df["uid"].min(), df["uid"].max()),
+        range_color=(df_map["uid"].min(), df_map["uid"].max()),
         labels={"uid": "Marchés attribués"},
         scope="europe",
         width=900,
@@ -54,7 +59,47 @@ def get_map_count_marches(lf: pl.LazyFrame):
     return fig
 
 
-def get_barchart_sources(lf: pl.LazyFrame, type_date: str):
+def get_yearly_statistics(statistics, today_str) -> html.Div:
+    # Build DataFrame from statistics
+    years = list(reversed(range(2018, int(today_str.split("/")[-1]) + 1)))
+    data = []
+    for year in years:
+        year_str = str(year)
+        stat = statistics[year_str]
+        data.append(
+            {
+                "Année": year_str,
+                "Marchés et accord-cadres": format_number(
+                    stat["nb_notifications_marches"]
+                ),
+                "Acheteurs": format_number(stat["nb_acheteurs_uniques"]),
+                "Titulaires": format_number(stat["nb_titulaires_uniques"]),
+            }
+        )
+
+    df = pl.DataFrame(data)
+
+    # Create Dash DataTable
+    table = dash_table.DataTable(
+        data=df.to_dicts(),
+        columns=[
+            {"name": "Année", "id": "Année"},
+            {"name": "Marchés et accord-cadres", "id": "Marchés et accord-cadres"},
+            {"name": "Acheteurs", "id": "Acheteurs"},
+            {"name": "Titulaires", "id": "Titulaires"},
+        ],
+        page_size=10,
+        sort_action="none",
+        filter_action="none",
+        style_header={"fontFamily": "Inter", "fontSize": "16px"},
+        style_cell={"fontFamily": "Inter", "fontSize": "16px"},
+    )
+
+    return html.Div(children=table, className="marches_table")
+
+
+def get_barchart_sources(df_source: pl.DataFrame, type_date: str):
+    lf = df_source.lazy()
     labels = {
         "dateNotification": "notification",
         "datePublicationDonnees": "publication des données",
@@ -97,7 +142,7 @@ def get_barchart_sources(lf: pl.LazyFrame, type_date: str):
     #     )
 
     lf = lf.sort(by=["sourceDataset"], descending=False)
-    df: pl.DataFrame = lf.collect()
+    df: pl.DataFrame = lf.collect(engine="streaming")
 
     fig = px.bar(
         df,
@@ -126,14 +171,23 @@ def get_sources_tables(source_path) -> html.Div:
             + pl.lit("</a>")
         ).alias("nom")
     )
-    df = df.drop("url")
+    df = df.drop("url", "unique")
     df = df.sort(by=["nb_marchés"], descending=True)
 
+    columns = {
+        "nom": "Nom de la source",
+        "organisation": "Responsable de publication",
+        "nb_marchés": "Nb de marchés",
+        "nb_acheteurs": "Nb d'acheteurs",
+        "code": "Code",
+    }
+
     datatable = dash_table.DataTable(
         id="source_table",
+        data=df.to_dicts(),
         columns=[
             {
-                "name": i,
+                "name": columns[i],
                 "id": i,
                 "presentation": "markdown",
                 "type": "text",
@@ -153,8 +207,9 @@ def get_sources_tables(source_path) -> html.Div:
         ],
         sort_action="native",
         markdown_options={"html": True},
+        style_header={"fontFamily": "Inter", "fontSize": "16px"},
+        style_cell={"fontFamily": "Inter", "fontSize": "16px"},
     )
-    datatable.data = df.to_dicts()
 
     return html.Div(children=datatable)
 
@@ -189,4 +244,227 @@ def point_on_map(lat, lon):
     fig.update_layout(map_center={"lat": 46.6, "lon": 1.89}, map_zoom=4)
 
     graph = dcc.Graph(id="map", figure=fig)
+    graph = html.Div(style={"width": "400px"})
     return graph
+
+
+class DataTable(dash_table.DataTable):
+    def __init__(
+        self,
+        dtid: str,
+        hidden_columns: list[str] | None = None,
+        data: list[dict[str, str | int | float | bool]] | None = None,
+        columns: list[dict[str, str]] | None = None,
+        page_size: int = 20,
+        page_action: Literal["native", "custom", "none"] = "native",
+        sort_action: Literal["native", "custom", "none"] = "native",
+        filter_action: Literal["native", "custom", "none"] = "native",
+        style_cell_conditional: list | None = None,
+        style_cell: dict | None = None,
+        **kwargs,
+    ):
+        # Styles de base
+        style_cell_conditional_common = [
+            {
+                "if": {"column_id": "objet"},
+                "minWidth": "350px",
+                "overflow": "hidden",
+                "lineHeight": "18px",
+                "whiteSpace": "normal",
+            },
+            {
+                "if": {"column_id": "acheteur_id"},
+                "minWidth": "160px",
+                "overflow": "hidden",
+                "whiteSpace": "normal",
+            },
+            {
+                "if": {"column_id": "acheteur_nom"},
+                "minWidth": "250px",
+                "overflow": "hidden",
+                "lineHeight": "18px",
+                "whiteSpace": "normal",
+            },
+            {
+                "if": {"column_id": "titulaire_nom"},
+                "minWidth": "250px",
+                "overflow": "hidden",
+                "lineHeight": "18px",
+                "whiteSpace": "normal",
+            },
+        ]
+
+        style_cell_common = {"fontFamily": "Inter", "fontSize": "16px"}
+
+        for key in data_schema.keys():
+            field = data_schema[key]
+            if field["type"] in ["number", "integer"]:
+                rule = {
+                    "if": {"column_id": field["name"]},
+                    "textAlign": "right",
+                    # "fontFamily": "Fira Code",
+                }
+                style_cell_conditional_common.append(rule)
+
+        style_cell_conditional = (
+            style_cell_conditional or []
+        ) + style_cell_conditional_common
+        if style_cell:
+            style_cell.update(style_cell_common)
+        else:
+            style_cell = style_cell_common
+        style_header = style_cell
+
+        # Initialisation de la classe parente avec les arguments
+        super().__init__(
+            id=dtid,
+            data=data,
+            columns=columns,
+            cell_selectable=False,
+            page_size=page_size,
+            filter_action=filter_action,
+            page_action=page_action,
+            filter_options={
+                "case": "insensitive",
+                "placeholder_text": "Filtre de colonne...",
+            },
+            sort_action=sort_action,
+            sort_mode="multi",
+            row_deletable=False,
+            page_current=0,
+            style_cell_conditional=style_cell_conditional,
+            data_timestamp=0,
+            markdown_options={"html": True},
+            style_header=style_header,
+            style_cell=style_cell,
+            tooltip_duration=8000,
+            tooltip_delay=350,
+            hidden_columns=hidden_columns,
+            **kwargs,  # Possibilité de remplacer des arguments
+        )
+
+
+def get_duplicate_matrix() -> html.Div:
+    """
+    Fonction développée avec l'aide de la LLM Euria d'Infomaniak.
+    :return:
+    """
+    result_df = pl.read_parquet(
+        "https://www.data.gouv.fr/api/1/datasets/r/a545bf6c-8b24-46ed-b49f-a32bf02eaffa"
+    ).sort("sourceDataset")
+    result_df = result_df.select(
+        ["sourceDataset", "unique"] + sorted(result_df.columns[2:])
+    )
+
+    description = dcc.Markdown("""
+    Ce graphique illustre les doublons de marchés publics entre sources, c'est-à-dire la proportion de marchés publiés par plus d'une source. Il s'appuie sur les identifiants `uid` qui sont pour chaque marché la concaténation du SIRET de l'acheteur et de l'identifiant interne du marché.
+
+    **Comment lire ce graphique ?**
+
+    On part des codes de sources de données en ordonnée. Ces jeux de données sont documentés dans [À propos](/a-propos#sources).
+
+    La première colonne (**unique**) représente le pourcentage de marchés fournis par cette source qui sont uniquement disponibles dans cette source. Plus le rouge est foncé, plus important est le pourcentage. Donc, à l'inverse, plus le rouge est clair dans la première colonne, plus la source en ordonnée a des marchés en commun avec d'autres sources, et donc plus on trouvera sur la même ligne d'autres cases plus ou moins foncées qui indiqueront avec quelles autres sources cette source partage des marchés.
+
+    Passez votre souris sur une case pour avoir les pourcentages exacts. À noter que ces statistiques sont produites avant le dédoublonnement qui a lieu avant la publication en Open Data et sur ce site.""")
+
+    # Extract data
+    z_data = result_df.select(pl.all().exclude("sourceDataset")).fill_null(0).to_numpy()
+    x_labels = result_df.columns[1:]  # columns after "sourceDataset"
+    y_labels = result_df["sourceDataset"].to_list()
+
+    # Create heatmap
+    fig = go.Figure(
+        data=go.Heatmap(
+            z=z_data,
+            x=x_labels,
+            y=y_labels,
+            colorscale=[
+                [0.0, "white"],  # 0% → white
+                [0.10, "lightsalmon"],  # 10% → light warm tone
+                [1.0, "darkred"],  # 100% → deep red
+            ],
+            zmin=0,
+            zmax=1,
+            hoverongaps=False,
+            showscale=True,
+            hovertemplate=(
+                "<b>%{z:.0%}</b> des marchés de <b>%{y}</b> sont également présents dans <b>%{x}</b>"
+            ),
+        )
+    )
+
+    # Update layout: make it wider and taller
+    fig.update_layout(
+        title="",
+        xaxis_title="Sources de données",
+        yaxis_title="Sources de données",
+        yaxis=dict(autorange="reversed"),
+        xaxis=dict(tickangle=45, tickfont=dict(size=10)),  # Smaller x-tick labels
+        coloraxis_colorbar=dict(title="Percentage", tickfont=dict(size=10)),
+        width=1000,  # Wider
+        height=1000,  # Taller
+        font=dict(size=11),  # Overall font size
+        margin=dict(l=100, r=50, t=80, b=100),  # Add margin for labels
+    )
+
+    return html.Div(
+        children=[
+            html.H3("Doublons de marchés entre les sources"),
+            description,
+            dcc.Graph(figure=fig),
+        ]
+    )
+
+
+def make_column_picker(page: str):
+    table_data = []
+    table_columns = [
+        {
+            "id": col,
+            "name": data_schema[col]["title"],
+            "description": data_schema[col]["description"],
+        }
+        for col in df.columns
+    ]
+    for column in table_columns:
+        new_column = {
+            "id": column["id"],
+            "name": column["name"],
+            "description": data_schema[column["id"]]["description"],
+        }
+        table_data.append(new_column)
+
+    table = (
+        DataTable(
+            row_selectable="multi",
+            data=table_data,
+            filter_action="native",
+            sort_action="none",
+            style_cell={
+                "textAlign": "left",
+            },
+            columns=[
+                {
+                    "name": "Nom",
+                    "id": "name",
+                },
+                {
+                    "name": "Description",
+                    "id": "description",
+                },
+            ],
+            style_cell_conditional=[
+                {
+                    "if": {"column_id": "description"},
+                    "minWidth": "450px",
+                    "overflow": "hidden",
+                    "lineHeight": "18px",
+                    "whiteSpace": "normal",
+                }
+            ],
+            page_action="none",
+            dtid=f"{page}_column_list",
+        ),
+    )
+
+    return table

src/pages/a-propos.py

@@ -0,0 +1,209 @@
+import os
+
+from dash import dcc, html, register_page
+
+from src.figures import get_sources_tables
+from src.utils import meta_content
+
+name = "À propos"
+
+register_page(
+    __name__,
+    path="/a-propos",
+    title="À propos | decp.info",
+    name="À propos",
+    description="En savoir plus sur decp.info, l'outil d'exploration des données essentielles de la commande publique.",
+    image_url=meta_content["image_url"],
+    order=5,
+)
+
+layout = html.Div(
+    className="container",
+    children=[
+        html.H2(name),
+        html.Div(
+            className="a-propos-container",
+            children=[
+                # Main Content Column
+                html.Div(
+                    className="a-propos-content",
+                    children=[
+                        dcc.Markdown(
+                            """Outil d'exploration libre et gratuit des données de marchés publics, développé par Colin Maudry.
+
+Ce projet vise à démocratiser l'accès aux données des marchés publics et à un outil performant et gratuit. Si vous le trouvez utile
+j'aimerais beaucoup échanger avec vous pour comprendre vos cas d'usages et vos besoins. Cet outil ne peut rester performant que si je comprends les problèmes qu'il peut aider à résoudre. Ce projet ne peut rester gratuit que grâce au financement du développement de nouvelles fonctionnalités.
+
+En effet, le potentiel des données d'attribution de marchés et des données qui peuvent les enrichir est très loin d'être exploité par
+les fonctionnalités actuelles de decp.info. Il est ainsi possible de rajouter
+
+- de nombreuses visualisations de données (cartes, graphiques, tableaux) sur des thématiques variées (vivacité de la concurrence, secteurs d'activité, insertion par l'activité économique (IAE), distance acheteur-titulaire...)
+- des alertes par email si des marchés correspondant à certains critères
+- ...et toutes les fonctionnalités auxquelles vous pourrez penser
+"""
+                        ),
+                        html.H4("Consommer les données brutes", id="donnees-brutes"),
+                        dcc.Markdown(
+                            """
+Vous pouvez consommer les données qui alimentent decp.info
+
+- en les téléchargeant [sur data.gouv.fr](https://www.data.gouv.fr/datasets/donnees-essentielles-de-la-commande-publique-consolidees-format-tabulaire) (Parquet, CSV), pensez à lire la description du jeu de données
+- en interrogeant l'[API REST ouverte](https://www.data.gouv.fr/datasets/donnees-essentielles-de-la-commande-publique-consolidees-format-tabulaire#user-content-api-rest)
+"""
+                        ),
+                        html.H4("Contact", id="contact"),
+                        dcc.Markdown(
+                            """
+- Email : [colin@colmo.tech](mailto:colin@colmo.tech)
+- Bluesky : [@col1m.bsky.social](https://bsky.app/profile/col1m.bsky.social)
+- Mastodon : [col1m@mamot.fr](https://mamot.fr/@col1m)
+- LinkedIn : [colinmaudry](https://www.linkedin.com/in/colinmaudry/)
+"""
+                        ),
+                        html.H4("Pour contribuer", id="contribuer"),
+                        dcc.Markdown(
+                            """
+- via l'achat d'une prestation de service (devis, prestation, facture), vous pouvez financer le développement de [fonctionnalités prévues](https://github.com/ColinMaudry/decp.info/issues), ou d'autres !
+- ma société accepte aussi les dons (pas de réduction d'impôt possible)
+- écrivez-moi et on discute !
+"""
+                        ),
+                        html.H4("Pour explorer le projet", id="explorer"),
+                        dcc.Markdown(
+                            """
+- ✉️  [inscription à la liste de diffusion](https://6254d9a3.sibforms.com/serve/MUIFAEonUVkoSVrdgey18CTgLyI16xw4yeu-M-YOUzhWE_AgfQfbgkyT7GvA_RYLro9MfuRqkzQxSvu7-uzbMSv2a2ZQPsliM7wtiiqIL8kR2zOvl6m11fb5qjcOxMAYsLiY_YBi3P7NY95CTJ8vRY4CpsDclF2iLooOElKkTgIgi5nePe7zAIrgiYM5v2EuALlGJZMEG9vBP-Cu) (annonces des mises à jour et évènements, maximum une fois par mois)
+- 💾  [données consolidées en Open Data](https://www.data.gouv.fr/datasets/donnees-essentielles-de-la-commande-publique-consolidees-format-tabulaire/)
+- 🗞️  [mon blog](https://colin.maudry.com)
+- 📔  [wiki du projet](https://github.com/ColinMaudry/decp-processing/wiki)
+- 🚰  code source
+    - [de decp.info](https://github.com/ColinMaudry/decp.info)
+    - [du traitement des données](https://github.com/ColinMaudry/decp-processing)
+"""
+                        ),
+                        html.H4(
+                            "Qualité et exhaustivité des données",
+                            id="qualite-exhausitivite",
+                        ),
+                        dcc.Markdown(
+                            """Les données visibles sur ce site proviennent exclusivement de la publication de données ouvertes par les acheteurs publics ou en leur nom, régie par [l'arrêté du 22 décembre 2022](https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000046850496). Leur qualité est donc principalement liée à la qualité de leur saisie par les agents publics, parfois peu aidé·es par la qualité des outils à leur disposition. Je pense que l'analyse de marchés individuels et le comptage de marchés sur des critères autres que financiers sont plutôt fiables. En revanche, certains montants de marché estimés à des valeurs farfelues ([1 euro](https://decp.info/marches/432766947000192025S01301), [1 milliard](https://decp.info/marches/2459004280001320210000000271)) faussent les calculs par aggrégation (sommes, moyennes, médianes) et donc la production de statistiques financières fiables. Acheteurs, acheteuses : s'il vous plaît, essayez d'estimer les montants des marchés publics attribués de manière plus précise.
+
+Quant à l'exhaustivité, je consolide toutes les sources de données exploitables que j'ai pu identifier (voir [statistiques](/statistiques)). Certains profils d'acheteurs ne publient pas leurs données malgré l'obligation réglementaire :
+
+- klekoon.fr (ils y travaillent)
+- safetender.com (Omnikles)
+
+**marches-publics.info** (AWS) publie ses données de manière assez sporadique depuis début 2023. Compte tenu de son poids dans le secteur, c'est assez dommageable pour la transparence des marchés publics.
+
+Au milieu de ces mauvaises nouvelles, je tiens à souligner la belle continuité de la publication par la DGFiP des données des marchés publics remontées via le [protocole PES](https://www.collectivites-locales.gouv.fr/finances-locales/le-protocole-dechange-standard-pes). Merci à leurs équipes."""
+                        ),
+                        html.H4("Sources de données ", id="sources"),
+                        get_sources_tables(os.getenv("SOURCE_STATS_CSV_PATH")),
+                        html.H4("Mentions légales", id="mentions-legales"),
+                        html.H5("Publication", id="publication"),
+                        dcc.Markdown(
+                            """
+Site Web développé et édité par [SAS Colmo](https://annuaire-entreprises.data.gouv.fr/entreprise/colmo-989393350), 989 393 350 RCS Rennes au capital de 3 000 euros.
+
+Siège social : 1 carrefour Jouaust, 35000 Rennes
+
+Hébergement : serveur situé en France et administré par Scaleway, 8 rue de la Ville l’Evêque, 75008 Paris
+"""
+                        ),
+                        html.H5("Suivi d'audience", id="audience"),
+                        dcc.Markdown(
+                            """
+Ce site dépose un petit fichier texte (un « cookie ») sur votre ordinateur lorsque vous le consultez ([Wikipédia](https://fr.wikipedia.org/wiki/Cookie_(informatique))). Cela me permet de mesurer le nombre de visites, de distinguer les nouveaux visiteurs des utilisateurs réguliers et ainsi de communiquer sur l'impact de decp.info.
+
+**Ce site n’affiche pas de bannière de consentement aux cookies, pourquoi ?**
+
+C’est vrai, vous n’avez pas eu à cliquer sur un bloc qui recouvre la moitié de la page pour dire que vous êtes d’accord avec le dépôt de cookies.
+
+Rien d’exceptionnel, je respecte simplement la loi, qui dit que certains outils de suivi d’audience, correctement configurés pour respecter la vie privée, sont exemptés d’autorisation préalable.
+
+J’utilise pour cela [Matomo](https://matomo.org/), un outil [libre](https://matomo.org/free-software/), paramétré pour être en conformité avec [la recommandation « Cookies »](https://www.cnil.fr/fr/solutions-pour-les-cookies-de-mesure-daudience) de la CNIL. Cela signifie que votre adresse IP, par exemple, est anonymisée avant d’être enregistrée. Il m’est donc impossible d’associer vos visites sur ce site à votre personne.
+
+J'enregistre également les données suivantes, de manière anonyme, afin de mieux comprendre comment vous utilisez le site et l'améliorer :
+
+- recherches sur la page d'accueil
+- filtres appliqués aux données
+"""
+                        ),
+                        html.H5("Attributions", id="attributions"),
+                        dcc.Markdown("""
+                        Les polices de caractères sont distribuées par [Bunny fonts](https://fonts.bunny.net), une alternative européenne et qualitative à Google Fonts.
+
+                        - la police de caractère [Inter](https://fonts.bunny.net/family/inter), principale police de ce site, a été créée par The Inter Project Authors ([source](https://github.com/rsms/inter))
+                        - la police de caractère [Fira Code](https://fonts.bunny.net/family/fira-code), la police à largeure fixe, a été créée par The Fira Code Project Authors (https://github.com/tonsky/FiraCode)
+                        """),
+                        html.H4(
+                            "Liste des marchés par département", id="liste_marches"
+                        ),
+                        dcc.Markdown(
+                            """
+                            - [Marchés par département](/departements)
+                            """
+                        ),
+                    ],
+                ),
+                # Table of Contents Column
+                html.Div(
+                    className="a-propos-toc",
+                    children=[
+                        html.Div(
+                            [
+                                html.A(
+                                    "Consommer les données brutes",
+                                    href="#donnees-brutes",
+                                    className="toc-link",
+                                ),
+                                html.A(
+                                    "Contact", href="#contact", className="toc-link"
+                                ),
+                                html.A(
+                                    "Pour contribuer",
+                                    href="#contribuer",
+                                    className="toc-link",
+                                ),
+                                html.A(
+                                    "Pour explorer le projet",
+                                    href="#explorer",
+                                    className="toc-link",
+                                ),
+                                html.A(
+                                    "Qualité et exhaustivité des données",
+                                    href="#qualite-exhausitivite",
+                                    className="toc-link",
+                                ),
+                                html.A(
+                                    "Sources de données",
+                                    href="#sources",
+                                    className="toc-link",
+                                ),
+                                html.A(
+                                    "Mentions légales",
+                                    href="#mentions-legales",
+                                    className="toc-link",
+                                ),
+                                html.A(
+                                    "Publication",
+                                    href="#publication",
+                                    className="toc-link toc-level-2",
+                                ),
+                                html.A(
+                                    "Suivi d'audience",
+                                    href="#audience",
+                                    className="toc-link toc-level-2",
+                                ),
+                                html.A(
+                                    "Attributions",
+                                    href="#attributions",
+                                    className="toc-link toc-level-2",
+                                ),
+                            ]
+                        ),
+                    ],
+                ),
+            ],
+        ),
+    ],
+)

src/pages/about.py

@@ -1,109 +0,0 @@
-import os
-
-from dash import dcc, html, register_page
-
-from src.figures import get_sources_tables
-from src.utils import meta_content
-
-name = "À propos"
-
-register_page(
-    __name__,
-    path="/a-propos",
-    title=meta_content["title"],
-    name=name,
-    description=meta_content["description"],
-    image_url=meta_content["image_url"],
-    order=5,
-)
-
-layout = [
-    html.Div(
-        className="container",
-        children=[
-            html.H2(name),
-            dcc.Markdown(
-                """Outil d'exploration libre et gratuit des données de marchés publics, développé par Colin Maudry.
-
-Ce projet vise à démocratiser l'accès aux données des marchés publics et à un outil performant et gratuit. Si vous le trouvez utile
-j'aimerais beaucoup échanger avec vous pour comprendre vos cas d'usages et vos besoins. Cet outil ne peut rester performant que si je comprends les problèmes qu'il peut aider à résoudre. Ce projet ne peut rester gratuit que grâce au financement du développement de nouvelles fonctionnalités.
-
-En effet, le potentiel des données d'attribution de marchés et des données qui peuvent les enrichir est très loin d'être exploité par
-les fonctionnalités actuelles de decp.info. Il est ainsi possible de rajouter
-
-- de nombreuses visualisations de données (cartes, graphiques, tableaux) sur des thématiques variées (vivacité de la concurrence, secteurs d'activité, insertion par l'activité économique (IAE), distance acheteur-titulaire...)
-- la sauvegarde de filtres pour les retrouver plus tard et les partager
-- des alertes par email si des marchés correspondant à certains critères
-- le développement d'une API pour alimenter d'autres logiciels
-- ...et toutes les fonctionnalités auxquelles vous pourrez penser
-   """
-            ),
-            html.H4("Pour contribuer", id="contribuer"),
-            dcc.Markdown("""
-- via l'achat d'une prestation de service (devis, prestation, facture), vous pouvez financer le développement de [fonctionnalités prévues](https://github.com/ColinMaudry/decp.info/issues), ou d'autres !
-- ma société accepte aussi les dons (pas de réduction d'impôt possible)
-- [écrivez-moi](/contact) et on discute !
-
-#### Pour explorer le projet
-
-- ✉️  [inscription à la liste de diffusion](https://6254d9a3.sibforms.com/serve/MUIFAEonUVkoSVrdgey18CTgLyI16xw4yeu-M-YOUzhWE_AgfQfbgkyT7GvA_RYLro9MfuRqkzQxSvu7-uzbMSv2a2ZQPsliM7wtiiqIL8kR2zOvl6m11fb5qjcOxMAYsLiY_YBi3P7NY95CTJ8vRY4CpsDclF2iLooOElKkTgIgi5nePe7zAIrgiYM5v2EuALlGJZMEG9vBP-Cu) (annonces des mises à jour et évènements, maximum une fois par mois)
-- 💾  [données consolidées en Open Data](https://www.data.gouv.fr/datasets/donnees-essentielles-de-la-commande-publique-consolidees-format-tabulaire/)
-- 🗞️  [mon blog](https://colin.maudry.com)
-- 📔  [wiki du projet](https://github.com/ColinMaudry/decp-processing/wiki)
-- 🚰  code source
-    - [de decp.info](https://github.com/ColinMaudry/decp.info)
-    - [du traitement des données](https://github.com/ColinMaudry/decp-processing)
-    """),
-            html.H4("Qualité et exhaustivité des données", id="qualite-exhausitivite"),
-            dcc.Markdown("""Les données visibles sur ce site proviennent exclusivement de la publication de données ouvertes par les acheteurs publics ou en leur nom, régie par [l'arrêté du 22 décembre 2022](https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000046850496). Leur qualité est donc principalement liée à la qualité de leur saisie par les agents publics, parfois peu aidé·es par la qualité des outils à leur disposition. Je pense que l'analyse de marchés individuels et le comptage de marchés sur des critères autres que financiers sont plutôt fiables. En revanche, certains montants de marché estimés à des valeurs farfelues ([1 euro](https://decp.info/marches/432766947000192025S01301), [1 milliard](https://decp.info/marches/2459004280001320210000000271) faussent les calculs par aggrégation (sommes, moyennes, médianes) et donc la production de statistiques financières fiables. Acheteurs, acheteuses : s'il vous plaît, essayez d'estimer les montants des marchés publics attribués de manière plus précise.
-
-Quant à l'exhaustivité, je consolide toutes les sources de données exploitables que j'ai pu identifier (voir [statistiques](/statistiques)). Certains profils d'acheteurs ne publient pas leurs données malgré l'obligation réglementaire :
-
-- marches-securises.fr
-- klekoon.fr (ils y travaillent)
-
-**marches-publics.gouv.fr** (PLACE, [AIFE](https://aife.economie.gouv.fr)), la plateforme des marchés de l'État, ne publie plus de données depuis le 1er janvier 2024 et l'entrée en vigueur de l'arrêté. Nous n'avons donc plus de données sur les marchés publics passés par les ministères, ainsi que sur ceux passés par les acheteurs clients d'[achatpublic.com](https://www.achatpublic.com), qui s'appuie sur les moyens de publication de l'AIFE.
-
-**marches-publics.info** (AWS) publie ses données de manière assez sporadique depuis début 2023. Compte tenu de son poids dans le secteur, c'est assez dommageable pour la transparence des marchés publics.
-
-Au milieu de ces mauvaises nouvelles, je tiens à souligner la belle continuité de la publication par la DGFiP des données des marchés publics remontées via le [protocole PES](https://www.collectivites-locales.gouv.fr/finances-locales/le-protocole-dechange-standard-pes). Merci à leurs équipes."""),
-            html.H4("Sources de données ", id="qualite-exhausitivite"),
-            get_sources_tables(os.getenv("SOURCE_STATS_CSV_PATH")),
-            html.H4("Mentions légales", id="mentions-legales"),
-            dcc.Markdown("""
-##### Publication
-
-Site Web développé et édité par [SAS Colmo](https://annuaire-entreprises.data.gouv.fr/entreprise/colmo-989393350), 989 393 350 RCS Rennes au capital de 3 000 euros.
-
-Siège social : 1 carrefour Jouaust, 35000 Rennes
-
-Hébergement : serveur situé en France et administré par Scaleway, 8 rue de la Ville l’Evêque, 75008 Paris
-
-##### Suivi d'audience
-
-Ce site dépose un petit fichier texte (un « cookie ») sur votre ordinateur lorsque vous le consultez ([Wikipédia](https://fr.wikipedia.org/wiki/Cookie_(informatique))). Cela me permet de mesurer le nombre de visites, de distinguer les nouveaux visiteurs des utilisateurs réguliers et ainsi de communiquer sur l'impact de decp.info.
-
-**Ce site n’affiche pas de bannière de consentement aux cookies, pourquoi ?**
-
-C’est vrai, vous n’avez pas eu à cliquer sur un bloc qui recouvre la moitié de la page pour dire que vous êtes d’accord avec le dépôt de cookies.
-
-Rien d’exceptionnel, je respecte simplement la loi, qui dit que certains outils de suivi d’audience, correctement configurés pour respecter la vie privée, sont exemptés d’autorisation préalable.
-
-J’utilise pour cela [Matomo](https://matomo.org/), un outil [libre](https://matomo.org/free-software/), paramétré pour être en conformité avec [la recommandation « Cookies »](https://www.cnil.fr/fr/solutions-pour-les-cookies-de-mesure-daudience) de la CNIL. Cela signifie que votre adresse IP, par exemple, est anonymisée avant d’être enregistrée. Il m’est donc impossible d’associer vos visites sur ce site à votre personne."""),
-            # Matomo propose cependant ce formulaire si vous souhaitez totalement désactiver le suivi de vos sessions sur ce site :"""),
-            #             html.Div(
-            #                 id="matomo-opt-out",
-            #                 style={
-            #                     "border": "1pt solid lightgrey",
-            #                     "padding": "12px",
-            #                     "margin": "auto 0 auto 12px",
-            #                     "width": "80%",
-            #                 },
-            #                 children=["Vous utilisez un bloqueur de suivi de trafic."],
-            #             ),
-            #             html.Script(
-            #                 src="https://analytics.maudry.com/index.php?module=CoreAdminHome&action=optOutJS&divId=matomo-opt-out&language=auto&showIntro=1"
-            #             ),
-        ],
-    )
-]

src/pages/acheteur.py

@@ -1,35 +1,78 @@
 import datetime
 
+import dash_bootstrap_components as dbc
 import polars as pl
-from dash import Input, Output, State, callback, dash_table, dcc, html, register_page
+from dash import (
+    ClientsideFunction,
+    Input,
+    Output,
+    State,
+    callback,
+    clientside_callback,
+    dcc,
+    html,
+    register_page,
+)
 
-from src.figures import point_on_map
+from src.callbacks import get_top_org_table
+from src.figures import DataTable, make_column_picker, point_on_map
 from src.utils import (
-    add_links_in_dict,
-    format_montant,
+    columns,
+    df,
+    df_acheteurs,
+    filter_table_data,
     format_number,
     get_annuaire_data,
+    get_button_properties,
+    get_default_hidden_columns,
     get_departement_region,
-    lf,
     meta_content,
-    setup_table_columns,
+    prepare_table_data,
+    sort_table_data,
 )
 
+
+def get_title(acheteur_id: str = None) -> str:
+    acheteur_nom = df_acheteurs.filter(pl.col("acheteur_id") == acheteur_id).select(
+        "acheteur_nom"
+    )
+    if acheteur_nom.height > 0:
+        return f"Marchés publics attribués par {acheteur_nom.item(0, 0)} | decp.info"
+    return "Marchés publics attribués | decp.info"
+
+
 register_page(
     __name__,
     path_template="/acheteurs/<acheteur_id>",
-    title=meta_content["title"],
+    title=get_title,
     name="Acheteur",
-    description=meta_content["description"],
+    description="Consultez les marchés publics attribués par cet acheteur.",
     image_url=meta_content["image_url"],
     order=5,
 )
 
+datatable = html.Div(
+    className="marches_table",
+    children=DataTable(
+        dtid="acheteur_datatable",
+        persistence=True,
+        persistence_type="local",
+        persisted_props=["filter_query", "sort_by"],
+        page_action="custom",
+        filter_action="custom",
+        sort_action="custom",
+        page_size=10,
+        hidden_columns=[],
+        columns=[{"id": col, "name": col} for col in df.columns],
+    ),
+)
+
 layout = [
     dcc.Store(id="acheteur_data", storage_type="memory"),
-    dcc.Location(id="url", refresh="callback-nav"),
+    dcc.Store(id="acheteur-hidden-columns", storage_type="local"),
+    dcc.Store(id="filter-cleanup-trigger-acheteur"),
+    dcc.Location(id="acheteur_url", refresh="callback-nav"),
     html.Div(
-        className="container",
         children=[
             html.Div(
                 className="wrapper",
@@ -46,7 +89,7 @@ layout = [
                         className="org_year",
                         children=dcc.Dropdown(
                             id="acheteur_year",
-                            options=["Toutes"]
+                            options=["Toutes les années"]
                             + [
                                 str(year)
                                 for year in range(
@@ -71,7 +114,6 @@ layout = [
                             html.A(
                                 id="acheteur_lien_annuaire",
                                 children="Plus de détails sur l'Annuaire des entreprises",
-                                target="_blank",
                             ),
                         ],
                     ),
@@ -83,17 +125,80 @@ layout = [
                             html.P(id="acheteur_titulaires_differents"),
                             html.Button(
                                 "Téléchargement au format Excel",
-                                id="btn-download-acheteur-data",
+                                id="btn-download-data-acheteur",
+                                className="btn btn-primary",
                             ),
-                            dcc.Download(id="download-acheteur-data"),
+                            dcc.Download(id="download-data-acheteur"),
                         ],
                     ),
                     html.Div(className="org_map", id="acheteur_map"),
+                    html.Div(
+                        className="org_top",
+                        children=[
+                            html.H3("Top titulaires"),
+                            html.Div(className="marches_table", id="top10_titulaires"),
+                        ],
+                    ),
                 ],
             ),
             # récupérer les données de l'acheteur sur l'api annuaire
             html.H3("Derniers marchés publics attribués"),
-            html.Div(id="acheteur_last_marches", children=""),
+            dcc.Loading(
+                overlay_style={"visibility": "visible", "filter": "blur(2px)"},
+                id="loading-home",
+                type="default",
+                children=[
+                    html.Div(
+                        [
+                            # Bouton modal des colonnes affichées
+                            dbc.Button(
+                                "Colonnes affichées",
+                                id="acheteur_columns_open",
+                                className="column_list",
+                            ),
+                            html.P("lignes", id="acheteur_nb_rows"),
+                            html.Button(
+                                "Téléchargement désactivé au-delà de 65 000 lignes",
+                                id="btn-download-filtered-data-acheteur",
+                                className="btn btn-primary",
+                                disabled=True,
+                            ),
+                            dcc.Download(id="acheteur-download-filtered-data"),
+                            dbc.Button(
+                                "Remise à zéro",
+                                title="Supprime tous les filtres et les tris. Autrement ils sont conservés même si vous fermez la page.",
+                                id="btn-acheteur-reset",
+                            ),
+                        ],
+                        className="table-menu",
+                    ),
+                    dbc.Modal(
+                        [
+                            dbc.ModalHeader(
+                                dbc.ModalTitle("Choix des colonnes à afficher")
+                            ),
+                            dbc.ModalBody(
+                                id="acheteur_columns_body",
+                                children=make_column_picker("acheteur"),
+                            ),
+                            dbc.ModalFooter(
+                                dbc.Button(
+                                    "Fermer",
+                                    id="acheteur_columns_close",
+                                    className="ms-auto",
+                                    n_clicks=0,
+                                )
+                            ),
+                        ],
+                        id="acheteur_columns",
+                        is_open=False,
+                        fullscreen="md-down",
+                        scrollable=True,
+                        size="xl",
+                    ),
+                    datatable,
+                ],
+            ),
         ],
     ),
 ]
@@ -107,30 +212,44 @@ layout = [
     Output(component_id="acheteur_departement", component_property="children"),
     Output(component_id="acheteur_region", component_property="children"),
     Output(component_id="acheteur_lien_annuaire", component_property="href"),
-    Input(component_id="url", component_property="pathname"),
+    Input(component_id="acheteur_url", component_property="pathname"),
 )
 def update_acheteur_infos(url):
     acheteur_siret = url.split("/")[-1]
-    if len(acheteur_siret) != 14:
-        acheteur_siret = (
-            f"Le SIRET renseigné doit faire 14 caractères ({acheteur_siret})"
-        )
+    # if len(acheteur_siret) != 14:
+    #     acheteur_siret = (
+    #         f"Le SIRET renseigné doit faire 14 caractères ({acheteur_siret})"
+    #     )
     data = get_annuaire_data(acheteur_siret)
-    data_etablissement = data["matching_etablissements"][0]
-    acheteur_map = point_on_map(
-        data_etablissement["latitude"], data_etablissement["longitude"]
-    )
-    code_departement, nom_departement, nom_region = get_departement_region(
-        data_etablissement["code_postal"]
-    )
-    departement = f"{nom_departement} ({code_departement})"
-    lien_annuaire = (
-        f"https://annuaire-entreprises.data.gouv.fr/etablissement/{acheteur_siret}"
-    )
+    data_etablissement = data.get("matching_etablissements") if data else None
+    if data_etablissement:
+        data_etablissement = data_etablissement[0]
+
+        acheteur_map = point_on_map(
+            data_etablissement["latitude"], data_etablissement["longitude"]
+        )
+        code_departement, nom_departement, nom_region = get_departement_region(
+            data_etablissement["code_postal"]
+        )
+        departement = f"{nom_departement} ({code_departement})"
+        lien_annuaire = (
+            f"https://annuaire-entreprises.data.gouv.fr/etablissement/{acheteur_siret}"
+        )
+        raison_sociale = data["nom_raison_sociale"]
+        libelle_commune = data_etablissement["libelle_commune"]
+
+    else:
+        acheteur_map = html.Div()
+        code_departement, nom_departement, nom_region = "", "", ""
+        departement = ""
+        lien_annuaire = ""
+        raison_sociale = ""
+        libelle_commune = ""
+
     return (
         acheteur_siret,
-        data["nom_raison_sociale"],
-        data_etablissement["libelle_commune"],
+        raison_sociale,
+        libelle_commune,
         acheteur_map,
         departement,
         nom_region,
@@ -146,113 +265,86 @@ def update_acheteur_infos(url):
     Input(component_id="acheteur_data", component_property="data"),
 )
 def update_acheteur_stats(data):
-    df = pl.DataFrame(data)
-    if df.height == 0:
-        df = pl.DataFrame(schema=lf.collect_schema())
-    df_marches = df.unique("id")
+    dff = pl.DataFrame(data, strict=False, infer_schema_length=5000)
+    if dff.height == 0:
+        dff = pl.DataFrame(schema=df.collect_schema())
+    df_marches = dff.unique("id")
     nb_marches = format_number(df_marches.height)
     # somme_marches = format_number(int(df_marches.select(pl.sum("montant")).item()))
     marches_attribues = [html.Strong(nb_marches), " marchés et accord-cadres attribués"]
     # + ", pour un total de ", html.Strong(somme_marches + " €")]
     del df_marches
 
-    nb_titulaires = df.unique("titulaire_id").height
+    nb_titulaires = dff.unique("titulaire_id").height
     nb_titulaires = [
         html.Strong(format_number(nb_titulaires)),
         " titulaires (SIRET) différents",
     ]
-    del df
+    del dff
 
     return marches_attribues, nb_titulaires
 
 
 @callback(
     Output(component_id="acheteur_data", component_property="data"),
-    Input(component_id="url", component_property="pathname"),
+    Output("btn-download-data-acheteur", "disabled"),
+    Output("btn-download-data-acheteur", "children"),
+    Output("btn-download-data-acheteur", "title"),
+    Input(component_id="acheteur_url", component_property="pathname"),
     Input(component_id="acheteur_year", component_property="value"),
 )
-def get_acheteur_marches_data(url, acheteur_year: str) -> pl.LazyFrame:
+def get_acheteur_marches_data(url, acheteur_year: str) -> tuple:
     acheteur_siret = url.split("/")[-1]
-    lff = lf.filter(pl.col("acheteur_id") == acheteur_siret)
-    lff = lff.fill_null("")
-    lff = lff.select(
-        "id",
-        "uid",
-        "objet",
-        "dateNotification",
-        "titulaire_id",
-        "titulaire_typeIdentifiant",
-        "titulaire_nom",
-        "montant",
-        "codeCPV",
-        "dureeMois",
-    )
-    if acheteur_year and acheteur_year != "Toutes":
-        lff = lff.filter(
-            pl.col("dateNotification").cast(pl.String).str.starts_with(acheteur_year)
-        )
-    lff = lff.sort(["dateNotification", "id"], descending=True, nulls_last=True)
+    lff = df.lazy()
+    lff = lff.filter(pl.col("acheteur_id") == acheteur_siret)
+    if acheteur_year and acheteur_year != "Toutes les années":
+        acheteur_year = int(acheteur_year)
+        lff = lff.filter(pl.col("dateNotification").dt.year() == acheteur_year)
+    lff = lff.sort(["dateNotification", "uid"], descending=True, nulls_last=True)
+    dff: pl.DataFrame = lff.collect(engine="streaming")
+    download_disabled, download_text, download_title = get_button_properties(dff.height)
 
-    data = lff.collect(engine="streaming").to_dicts()
-    return data
+    data = dff.to_dicts()
+    return data, download_disabled, download_text, download_title
 
 
 @callback(
-    Output(component_id="acheteur_last_marches", component_property="children"),
+    Output("acheteur_datatable", "data"),
+    Output("acheteur_datatable", "columns"),
+    Output("acheteur_datatable", "tooltip_header"),
+    Output("acheteur_datatable", "data_timestamp"),
+    Output("acheteur_nb_rows", "children"),
+    Output("btn-download-filtered-data-acheteur", "disabled"),
+    Output("btn-download-filtered-data-acheteur", "children"),
+    Output("btn-download-filtered-data-acheteur", "title"),
+    Output("filter-cleanup-trigger-acheteur", "data"),
+    Input("acheteur_url", "href"),
+    Input("acheteur_data", "data"),
+    Input("acheteur_datatable", "page_current"),
+    Input("acheteur_datatable", "page_size"),
+    Input("acheteur_datatable", "filter_query"),
+    Input("acheteur_datatable", "sort_by"),
+    State("acheteur_datatable", "data_timestamp"),
+)
+def get_last_marches_data(
+    href, data, page_current, page_size, filter_query, sort_by, data_timestamp
+) -> tuple:
+    return prepare_table_data(
+        data, data_timestamp, filter_query, page_current, page_size, sort_by, "acheteur"
+    )
+
+
+@callback(
+    Output(component_id="top10_titulaires", component_property="children"),
     Input(component_id="acheteur_data", component_property="data"),
 )
-def get_last_marches_table(data) -> html.Div:
-    dff = pl.DataFrame(data)
-    dff = format_montant(dff)
-    columns, tooltip = setup_table_columns(
-        dff,
-        hideable=False,
-        exclude=["titulaire_id", "titulaire_typeIdentifiant", "uid"],
-    )
-    data = dff.to_dicts()
-    data = add_links_in_dict(data, "titulaire")
-
-    table = html.Div(
-        className="marches_table",
-        id="acheteur_datatable",
-        children=dash_table.DataTable(
-            data=data,
-            markdown_options={"html": True},
-            page_action="native",
-            filter_action="native",
-            filter_options={"case": "insensitive", "placeholder_text": "Filtrer..."},
-            columns=columns,
-            tooltip_header=tooltip,
-            tooltip_duration=8000,
-            tooltip_delay=350,
-            cell_selectable=False,
-            page_size=10,
-            style_cell_conditional=[
-                {
-                    "if": {"column_id": "objet"},
-                    "minWidth": "300px",
-                    "textAlign": "left",
-                    "overflow": "hidden",
-                    "lineHeight": "14px",
-                    "whiteSpace": "normal",
-                },
-                {
-                    "if": {"column_id": "titulaire_nom"},
-                    "minWidth": "200px",
-                    "textAlign": "left",
-                    "overflow": "hidden",
-                    "lineHeight": "18px",
-                    "whiteSpace": "normal",
-                },
-            ],
-        ),
-    )
-    return table
+def get_top_titulaires(data):
+    return get_top_org_table(data, "titulaire")
 
 
 @callback(
-    Output("download-acheteur-data", "data"),
-    Input("btn-download-acheteur-data", "n_clicks"),
+    Output("download-data-acheteur", "data"),
+    Input("btn-download-data-acheteur", "n_clicks"),
     State(component_id="acheteur_data", component_property="data"),
     State(component_id="acheteur_nom", component_property="children"),
     State(component_id="acheteur_year", component_property="value"),
@@ -268,8 +360,118 @@ def download_acheteur_data(
 
     def to_bytes(buffer):
         df_to_download.write_excel(
-            buffer, worksheet="DECP" if annee in ["Toutes", None] else annee
+            buffer, worksheet="DECP" if annee in ["Toutes les années", None] else annee
         )
 
     date = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
     return dcc.send_bytes(to_bytes, filename=f"decp_{acheteur_nom}_{date}.xlsx")
+
+
+@callback(
+    Output("acheteur-download-filtered-data", "data"),
+    State("acheteur_data", "data"),
+    Input("btn-download-filtered-data-acheteur", "n_clicks"),
+    State("acheteur_nom", "children"),
+    State("acheteur_datatable", "filter_query"),
+    State("acheteur_datatable", "sort_by"),
+    State("acheteur_datatable", "hidden_columns"),
+    prevent_initial_call=True,
+)
+def download_filtered_acheteur_data(
+    data, n_clicks, acheteur_nom, filter_query, sort_by, hidden_columns: list = None
+):
+    lff: pl.LazyFrame = pl.LazyFrame(
+        data
+    )  # start from the full acheteur data, not from paginated table data
+
+    # Les colonnes masquées sont supprimées
+    if hidden_columns:
+        lff = lff.drop(hidden_columns)
+
+    if filter_query:
+        lff = filter_table_data(lff, filter_query, "ach download")
+
+    if len(sort_by) > 0:
+        lff = sort_table_data(lff, sort_by)
+
+    def to_bytes(buffer):
+        lff.collect(engine="streaming").write_excel(buffer, worksheet="DECP")
+
+    date = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
+    return dcc.send_bytes(
+        to_bytes, filename=f"decp_filtrées_{acheteur_nom}_{date}.xlsx"
+    )
+
+
+# Pour nettoyer les icontains et i< des filtres
+# voir aussi src/assets/dash_clientside.js
+clientside_callback(
+    ClientsideFunction(
+        namespace="clientside",
+        function_name="clean_filters",
+    ),
+    Output("filter-cleanup-trigger-acheteur", "data", allow_duplicate=True),
+    Input("filter-cleanup-trigger-acheteur", "data"),
+    prevent_initial_call=True,
+)
+
+
+@callback(
+    Output("acheteur-hidden-columns", "data", allow_duplicate=True),
+    Input("acheteur_column_list", "selected_rows"),
+    prevent_initial_call=True,
+)
+def update_hidden_columns_from_checkboxes(selected_columns):
+    if selected_columns:
+        selected_columns = [columns[i] for i in selected_columns]
+        hidden_columns = [col for col in columns if col not in selected_columns]
+        return hidden_columns
+    else:
+        return []
+
+
+@callback(
+    Output("acheteur_datatable", "hidden_columns", allow_duplicate=True),
+    Input(
+        "acheteur-hidden-columns",
+        "data",
+    ),
+    prevent_initial_call=True,
+)
+def store_hidden_columns(hidden_columns):
+    return hidden_columns
+
+
+@callback(
+    Output("acheteur_column_list", "selected_rows"),
+    Input("acheteur_datatable", "hidden_columns"),
+    State("acheteur_column_list", "selected_rows"),  # pour éviter la boucle infinie
+)
+def update_checkboxes_from_hidden_columns(hidden_cols, current_checkboxes):
+    hidden_cols = hidden_cols or get_default_hidden_columns("acheteur")
+
+    # Show all columns that are NOT hidden
+    visible_cols = [columns.index(col) for col in columns if col not in hidden_cols]
+    return visible_cols
+
+
+@callback(
+    Output("acheteur_columns", "is_open"),
+    Input("acheteur_columns_open", "n_clicks"),
+    Input("acheteur_columns_close", "n_clicks"),
+    State("acheteur_columns", "is_open"),
+)
+def toggle_acheteur_columns(click_open, click_close, is_open):
+    if click_open or click_close:
+        return not is_open
+    return is_open
+
+
+@callback(
+    Output("acheteur_datatable", "filter_query", allow_duplicate=True),
+    Output("acheteur_datatable", "sort_by"),
+    Input("btn-acheteur-reset", "n_clicks"),
+    prevent_initial_call=True,
+)
+def reset_view(n_clicks):
+    return "", []

src/pages/arbre/departement.py

@@ -0,0 +1,78 @@
+import polars as pl
+from dash import Input, Output, callback, dcc, html, register_page
+
+from src.utils import departements, df_acheteurs_departement, df_titulaires_departement
+
+name = "Département"
+
+
+def get_title(code):
+    return f"Marchés publics de {departements[code]['departement']} | decp.info"
+
+
+def get_description(code):
+    return f"Marchés publics passés dans le département {departements[code]['departement']} | decp.info"
+
+
+register_page(
+    __name__,
+    path_template="/departements/<code>",
+    title=get_title,
+    description=get_description,
+    order=50,
+    name=name,
+)
+
+layout = html.Div(
+    [
+        dcc.Location(id="departement_url", refresh="callback-nav"),
+        html.Div(id="departement_marches"),
+    ]
+)
+
+
+@callback(
+    Output(component_id="departement_marches", component_property="children"),
+    Input(component_id="departement_url", component_property="pathname"),
+)
+def departement_marches(url):
+    departement = url.split("/")[-1]
+
+    def make_link_list(org_type) -> list:
+        link_list = []
+        if org_type == "acheteur":
+            df = df_acheteurs_departement
+        elif org_type == "titulaire":
+            df = df_titulaires_departement
+        else:
+            raise ValueError
+
+        df = df.filter(pl.col(f"{org_type}_departement_code") == departement)
+
+        for row in df.iter_rows(named=True):
+            li = html.Li(
+                [
+                    dcc.Link(
+                        row[f"{org_type}_nom"],
+                        href=url + f"/{org_type}/{row[f'{org_type}_id']}",
+                        title=f"Marchés publics de {row[f'{org_type}_nom']}",
+                    ),
+                    " ",
+                    dcc.Link(
+                        "(page dédiée)",
+                        href=f"/{org_type}s/{row[f'{org_type}_id']}",
+                        title=f"Page dédiée aux marchés publics de {row[f'{org_type}_nom']}",
+                    ),
+                ]
+            )
+            link_list.append(li)
+        return link_list
+
+    content = [
+        html.H3("Acheteurs publics du département"),
+        html.Ul(make_link_list("acheteur")),
+        html.H3("Titulaires du département"),
+        html.Ul(make_link_list("titulaire")),
+    ]
+
+    return content

src/pages/arbre/departements.py

@@ -0,0 +1,25 @@
+from dash import dcc, html, register_page
+
+from src.utils import departements
+
+name = "Départements"
+
+register_page(
+    __name__,
+    path="/departements",
+    title="Marchés par département | decp.info",
+    name="Départements",
+    description="Tous les marchés publics, classés par départements",
+)
+
+layout = html.Div(
+    [
+        html.H3("Départements"),
+        html.Ul(
+            [
+                html.Li(dcc.Link(d["departement"], href=f"/departements/{k}"))
+                for k, d in departements.items()
+            ]
+        ),
+    ]
+)

src/pages/arbre/liste_marches_org.py

@@ -0,0 +1,101 @@
+import polars as pl
+from dash import Input, Output, callback, dcc, html, register_page
+
+from src.utils import (
+    df_acheteurs,
+    df_acheteurs_marches,
+    df_titulaires,
+    df_titulaires_marches,
+)
+
+name = "Liste des marchés publics"
+
+
+def make_org_nom_verbe(org_type, org_id) -> tuple:
+    if org_type == "titulaire":
+        df = df_titulaires
+        verbe = "remportés"
+    elif org_type == "acheteur":
+        df = df_acheteurs
+        verbe = "attribués"
+    else:
+        raise ValueError
+
+    org_nom = (
+        df.filter(pl.col(f"{org_type}_id") == org_id)
+        .select(f"{org_type}_nom")
+        .item(0, 0)
+    )
+
+    return org_nom, verbe
+
+
+def get_title(code, org_type, org_id):
+    org_nom, verbe = make_org_nom_verbe(org_type, org_id)
+
+    return f"Marchés publics {verbe} par {org_nom} | decp.info"
+
+
+def get_description(code, org_type, org_id):
+    org_nom, verbe = make_org_nom_verbe(org_type, org_id)
+
+    return f"Liste complète des marchés publics {verbe} par {org_nom} et publiés par decp.info. Cliquez sur les liens pour consulter les détails de chaque marché."
+
+
+register_page(
+    __name__,
+    path_template="/departements/<code>/<org_type>/<org_id>",
+    title=get_title,
+    description=get_description,
+    order=40,
+    name=name,
+)
+
+layout = html.Div(
+    [
+        dcc.Location(id="liste_marches_url", refresh="callback-nav"),
+        html.Div(id="liste_marches"),
+    ]
+)
+
+
+@callback(
+    Output(component_id="liste_marches", component_property="children"),
+    Input(component_id="liste_marches_url", component_property="pathname"),
+)
+def liste_marches(url):
+    org_type = url.split("/")[-2]
+    org_id = url.split("/")[-1]
+
+    def make_link_list() -> list:
+        link_list = []
+        if org_type == "acheteur":
+            df = df_acheteurs_marches
+        elif org_type == "titulaire":
+            df = df_titulaires_marches
+        else:
+            raise ValueError
+
+        df = df.filter(pl.col(f"{org_type}_id") == org_id)
+
+        for row in df.iter_rows(named=True):
+            li = html.Li(
+                [
+                    dcc.Link(
+                        row["objet"],
+                        href=f"/marches/{row['uid']}",
+                        title=f"Marchés public attribué : {row['objet']}",
+                    )
+                ]
+            )
+            link_list.append(li)
+        return link_list
+
+    nom, verbe = make_org_nom_verbe(org_type, org_id)
+
+    content = [
+        html.H3(f"Marchés publics {verbe} par {nom}"),
+        html.Ul(make_link_list()),
+    ]
+
+    return content

src/pages/contact.py

@@ -1,170 +0,0 @@
-import os
-import re
-import smtplib
-import time
-from email.mime.multipart import MIMEMultipart
-from email.mime.text import MIMEText
-
-from dash import Input, Output, State, callback, dcc, html, register_page
-from flask import request
-
-from src.utils import meta_content
-
-name = "Contact"
-register_page(
-    __name__,
-    path="/contact",
-    title=meta_content["title"],
-    name=name,
-    description=meta_content["description"],
-    image_url=meta_content["image_url"],
-    order=6,
-)
-
-layout = html.Div(
-    className="container",
-    children=[
-        html.H2("Contact", id="contact"),
-        html.P(
-            "Votre message arrivera directement dans ma boîte mail, et je reviendrai vers vous rapidement."
-        ),
-        html.Div(
-            [
-                html.Label("Votre nom"),
-                dcc.Input(
-                    id="input-name",
-                    type="text",
-                    style={"width": "100%", "padding": "8px", "margin": "8px 0"},
-                ),
-                html.Label("Votre adresse email"),
-                dcc.Input(
-                    id="input-email",
-                    type="email",
-                    style={"width": "100%", "padding": "8px", "margin": "8px 0"},
-                ),
-                html.Label("Message"),
-                dcc.Textarea(
-                    id="input-message",
-                    style={
-                        "width": "100%",
-                        "height": 200,
-                        "padding": "8px",
-                        "margin": "8px 0",
-                    },
-                ),
-                html.Button(
-                    "Envoyer    ",
-                    id="submit-button",
-                    n_clicks=0,
-                    style={"marginTop": "10px"},
-                ),
-                html.Div(
-                    id="output-message", style={"marginTop": "10px", "color": "green"}
-                ),
-            ],
-            style={
-                "maxWidth": "600px",
-                "margin": "auto",
-                "padding": "20px",
-                "lineHeight": "20px",
-            },
-        ),
-        dcc.Markdown("""
-- Bluesky : [@col1m.bsky.social](https://bsky.app/profile/col1m.bsky.social)
-- Mastodon : [col1m@mamot.fr](https://mamot.fr/@col1m)
-- LinkedIn : [colinmaudry](https://www.linkedin.com/in/colinmaudry/)
-- venez discuter de la transparence de la commande publique [sur le forum teamopendata.org](https://teamopendata.org/c/commande-publique/101)
-"""),
-    ],
-)
-
-rate_limit_store = {}  # {ip: last_timestamp}
-RATE_LIMIT_WINDOW = 300  # 5 minutes
-
-
-def is_rate_limited():
-    ip = request.remote_addr
-    now = time.time()
-    last_time = rate_limit_store.get(ip)
-
-    if last_time and (now - last_time) < RATE_LIMIT_WINDOW:
-        return True  # rate limited !
-    rate_limit_store[ip] = now  # màj du timestamp
-    return False
-
-
-def sanitize_email(email):
-    return re.match(r"[^@]+@[^@]+\.[^@]+", email)
-
-
-@callback(
-    Output("output-message", "children"),
-    Input("submit-button", "n_clicks"),
-    State("input-name", "value"),
-    State("input-email", "value"),
-    State("input-message", "value"),
-    prevent_initial_call=True,
-)
-def send_email(n_clicks, form_name, form_email, form_message):
-    if not all([form_name, form_email, form_message]):
-        return html.Div(
-            "Veuillez s'il vous plaît remplir tous les champs.", style={"color": "red"}
-        )
-
-    client_ip = request.remote_addr
-    if is_rate_limited():
-        wait_time = int(RATE_LIMIT_WINDOW - (time.time() - rate_limit_store[client_ip]))
-        return html.Div(
-            f"⏳ J'ai mis en place une protection contre le spam, et vous m'avez écrit il y a moins de 5 minutes. "
-            f"Veuillez s'il vous plaît attendre {wait_time} secondes avant de renvoyer un message.",
-            style={"color": "black"},
-        )
-
-    try:
-        # Configuration du serveur SMTP
-        smtp_server = os.getenv("SENDER_SERVER_DOMAIN")
-        smtp_port = 587
-        login_email = os.getenv("LOGIN_EMAIL")
-        from_email = os.getenv("FROM_EMAIL")
-        to_email = os.getenv("TO_EMAIL", from_email)
-        login_password = os.getenv("LOGIN_PASSWORD")
-
-        print(
-            smtp_server,
-            smtp_port,
-            login_email,
-            from_email,
-            to_email,
-            login_password,
-            sep="\n",
-        )
-
-        # Création de l'email
-        email = MIMEMultipart()
-        email["From"] = from_email
-        email["To"] = to_email
-        email["Subject"] = f"[decp.info] Message de {form_name}"
-
-        body = f"""
-        Nom : {form_name}
-        Email : {form_email}
-
-        Message :
-        {form_message}
-        """
-        email.attach(MIMEText(body, "plain"))
-
-        # Send email
-        server = smtplib.SMTP(smtp_server, smtp_port)
-        server.starttls()
-        server.login(login_email, login_password)
-        server.sendmail(from_email, to_email, email.as_string())
-        server.quit()
-
-        return html.Div("✅ Envoi réussi", style={"color": "green"})
-
-    except Exception as e:
-        print(e)
-        return html.Div(
-            f"❌ Échec de l'envoi du message : {str(e)}", style={"color": "red"}
-        )

src/pages/home.py

@@ -1,257 +0,0 @@
-import os
-from datetime import datetime
-
-import polars as pl
-from dash import Input, Output, State, callback, dash_table, dcc, html, register_page
-
-from src.utils import (
-    add_links,
-    add_resource_link,
-    filter_table_data,
-    format_montant,
-    format_number,
-    lf,
-    meta_content,
-    setup_table_columns,
-    sort_table_data,
-)
-
-update_date = os.path.getmtime(os.getenv("DATA_FILE_PARQUET_PATH"))
-update_date = datetime.fromtimestamp(update_date).strftime("%d/%m/%Y")
-
-schema = lf.collect_schema()
-
-name = "Tableau"
-register_page(
-    __name__,
-    path="/",
-    title=meta_content["title"],
-    name=name,
-    description=meta_content["description"],
-    image_url=meta_content["image_url"],
-    order=1,
-)
-
-datatable = html.Div(
-    className="marches_table",
-    children=dash_table.DataTable(
-        cell_selectable=False,
-        id="table",
-        page_size=20,
-        page_current=0,
-        page_action="custom",
-        filter_action="custom",
-        filter_options={"case": "insensitive", "placeholder_text": "Filtrer..."},
-        sort_action="custom",
-        sort_mode="multi",
-        sort_by=[],
-        row_deletable=False,
-        style_cell_conditional=[
-            {
-                "if": {"column_id": "objet"},
-                "minWidth": "350px",
-                "textAlign": "left",
-                "overflow": "hidden",
-                "lineHeight": "14px",
-                "whiteSpace": "normal",
-            },
-            {
-                "if": {"column_id": "acheteur_nom"},
-                "minWidth": "250px",
-                "textAlign": "left",
-                "overflow": "hidden",
-                "lineHeight": "14px",
-                "whiteSpace": "normal",
-            },
-            {
-                "if": {"column_id": "titulaire_nom"},
-                "minWidth": "250px",
-                "textAlign": "left",
-                "overflow": "hidden",
-                "lineHeight": "14px",
-                "whiteSpace": "normal",
-            },
-        ],
-        data_timestamp=0,
-        markdown_options={"html": True},
-        tooltip_duration=8000,
-        tooltip_delay=350,
-    ),
-)
-
-layout = [
-    html.Div(
-        html.Details(
-            children=[
-                html.Summary(
-                    html.H3("Mode d'emploi", style={"text-decoration": "underline"}),
-                ),
-                dcc.Markdown(
-                    """
-    ##### Définition des colonnes
-
-    Pour voir la définition d'une colonne, passez votre souris sur son en-tête.
-
-    ##### Filtres
-
-    Vous pouvez appliquer un filtre pour chaque colonne en entrant du texte sous le nom de la colonne, puis en tapant sur `Entrée`.
-
-    - Champs textuels : la recherche est insensible à la casse (majuscules/minuscules) et retourne les valeurs qui contiennent
-    le texte recherché. Exemple : `rennes` retourne "RENNES METROPOLE".
-    - Champs numériques : vous pouvez soit taper un nombre pour trouver les valeurs égales, soit le précéder de **>** ou **<** pour filtrer les valeurs supérieures ou inférieures. Exemple pour les offres reçues : `> 4` retourne les marchés ayant reçu plus de 4 offres.
-    - Champs date : vous pouvez également utiliser **>** ou **<**. Exemples : `< 2024-01-31` pour "avant le 31 janvier 2024",
-    `2024` pour "en 2024", `> 2022` pour "à partir de 2022"
-
-    Vous pouvez filtrer plusieurs colonnes à la fois. Vos filtres sont remis à zéro quand vous rafraîchissez la page.
-
-    ##### Tri
-
-    Pour trier une colonne, utilisez les flèches grises à côté des noms de colonnes. Chaque clic change le tri dans cet ordre : tri ascendant, tri descendant, pas de tri.
-
-    ##### Télécharger le résultat
-
-    Vous pouvez télécharger le résultat de vos filtres et tris, pour les colonnes affichées, en cliquant sur **Télécharger au format Excel**.
-
-    ##### Liens
-
-    Les liens dans les colonnes Identifiant unique, Acheteur et Titulaire vous permettent de consulter une vue qui leur est dédiée
-    (informations, marchés attribués/remportés, etc.)
-
-    """
-                ),
-            ],
-            id="instructions",
-        ),
-        id="header",
-    ),
-    # html.Div(
-    #     [
-    #         "Recherche dans objet : ",
-    #         dcc.Input(id="search", value="", type="text"),
-    #     ]
-    # )]),
-    dcc.Loading(
-        overlay_style={"visibility": "visible", "filter": "blur(2px)"},
-        id="loading-home",
-        type="default",
-        children=[
-            html.Div(
-                [
-                    html.P("lignes", id="nb_rows"),
-                    html.Button(
-                        "Téléchargement désactivé au-delà de 65 000 lignes",
-                        id="btn-download-data",
-                        disabled=True,
-                    ),
-                    dcc.Download(id="download-data"),
-                    dcc.Store(id="filtered_data", storage_type="memory"),
-                    html.P("Données mises à jour le " + str(update_date)),
-                ],
-                className="table-menu",
-            ),
-            datatable,
-        ],
-    ),
-]
-
-
-@callback(
-    Output("table", "data"),
-    Output("table", "columns"),
-    Output("table", "tooltip_header"),
-    Output("table", "data_timestamp"),
-    Output("nb_rows", "children"),
-    Output("btn-download-data", "disabled"),
-    Output("btn-download-data", "children"),
-    Output("btn-download-data", "title"),
-    Input("table", "page_current"),
-    Input("table", "page_size"),
-    Input("table", "filter_query"),
-    Input("table", "sort_by"),
-    State("table", "data_timestamp"),
-)
-def update_table(page_current, page_size, filter_query, sort_by, data_timestamp):
-    print(" + + + + + + + + + + + + + + + + + + ")
-
-    # Application des filtres
-    lff: pl.LazyFrame = lf  # start from the original data
-    if filter_query:
-        lff = filter_table_data(lff, filter_query)
-
-    if len(sort_by) > 0:
-        lff = sort_table_data(lff, sort_by)
-
-    # Remplace les strings null par "", mais pas les numeric null
-    lff = lff.fill_null("")
-
-    # Matérialisation des filtres
-    dff: pl.DataFrame = lff.collect()
-
-    height = dff.height
-    nb_rows = f"{format_number(height)} lignes ({format_number(dff.select('uid').unique().height)} marchés)"
-
-    # Pagination des données
-    start_row = page_current * page_size
-    # end_row = (page_current + 1) * page_size
-    dff = dff.slice(start_row, page_size)
-
-    # Ajout des liens vers l'annuaire des entreprises
-    dff = add_links(dff)
-
-    # Ajout des liens vers les fichiers Open Data
-    dff = add_resource_link(dff)
-
-    # Formatage des montants
-    dff = format_montant(dff)
-
-    columns, tooltip = setup_table_columns(dff)
-
-    dicts = dff.to_dicts()
-
-    if height > 65000:
-        download_disabled = True
-        download_text = "Téléchargement désactivé au-delà de 65 000 lignes"
-        download_title = "Excel ne supporte pas d'avoir plus de 65 000 URLs dans une même feuille de calcul. Contactez-moi pour me présenter votre besoin en téléchargement afin que je puisse adapter la solution."
-    else:
-        download_disabled = False
-        download_text = "Télécharger au format Excel"
-        download_title = ""
-
-    return (
-        dicts,
-        columns,
-        tooltip,
-        data_timestamp + 1,
-        nb_rows,
-        download_disabled,
-        download_text,
-        download_title,
-    )
-
-
-@callback(
-    Output("download-data", "data"),
-    Input("btn-download-data", "n_clicks"),
-    State("table", "filter_query"),
-    State("table", "sort_by"),
-    State("table", "hidden_columns"),
-    prevent_initial_call=True,
-)
-def download_data(n_clicks, filter_query, sort_by, hidden_columns: list = None):
-    lff: pl.LazyFrame = lf  # start from the original data
-
-    # Les colonnes masquées sont supprimées
-    if hidden_columns:
-        lff = lff.drop(hidden_columns)
-
-    if filter_query:
-        lff = filter_table_data(lff, filter_query)
-
-    if len(sort_by) > 0:
-        lff = sort_table_data(lff, sort_by)
-
-    def to_bytes(buffer):
-        lff.collect(engine="streaming").write_excel(buffer, worksheet="DECP")
-
-    date = datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
-    return dcc.send_bytes(to_bytes, filename=f"decp_{date}.xlsx")

src/pages/marche.py

@@ -1,17 +1,31 @@
+import json
 from datetime import datetime
 
+import dash_bootstrap_components as dbc
 import polars as pl
 from dash import Input, Output, callback, dcc, html, register_page
 from polars import selectors as cs
 
-from src.utils import data_schema, format_montant, lf, meta_content
+from src.utils import (
+    data_schema,
+    df,
+    format_values,
+    make_org_jsonld,
+    meta_content,
+    unformat_montant,
+)
+
+
+def get_title(uid: str = None) -> str:
+    return f"Marché {uid} | decp.info"
+
 
 register_page(
     __name__,
     path_template="/marches/<uid>",
-    title=meta_content["title"],
+    title=get_title,
     name="Marché",
-    description=meta_content["description"],
+    description="Consultez les détails de ce marché public : montant, acheteur, titulaires, modifications, etc.",
     image_url=meta_content["image_url"],
     order=7,
 )
@@ -19,38 +33,47 @@ register_page(
 layout = [
     dcc.Store(id="marche_data"),
     dcc.Store(id="titulaires_data"),
-    dcc.Location(id="url", refresh="callback-nav"),
-    html.Div(
-        className="container marche_infos",
+    dcc.Location(id="marche_url", refresh="callback-nav"),
+    html.Script(type="application/ld+json", id="marche_jsonld"),
+    dbc.Container(
+        className="marche_infos",
         children=[
-            html.P("Vous consultez un résumé des données de ce marché public"),
-            html.Ul(
+            dbc.Row(
+                dbc.Col(
+                    [
+                        html.H1(id="marche_objet", style={"fontSize": "1.5em"}),
+                        html.P(
+                            "Vous consultez un résumé des données de ce marché public"
+                        ),
+                        html.Ul(
+                            [
+                                html.Li(
+                                    "après son attribution aux titulaires qui l'ont remporté à la suite d'un appel d'offres (ou sans appel d'offres via une attribution directe)"
+                                ),
+                                html.Li(
+                                    "après avoir appliqué les éventuelles modifications de montant, durée ou titulaires renseignées par l'acheteur"
+                                ),
+                            ]
+                        ),
+                        html.P(
+                            "Le montant total payé aux titulaires, la durée du marché et la liste des titulaires peuvent cependant encore évoluer jusqu'à la fin de l'exécution du marché."
+                        ),
+                    ]
+                )
+            ),
+            dbc.Row(
                 [
-                    html.Li(
-                        "après son attribution aux titulaires qui l'ont remporté à la suite d'un appel d'offres (ou sans appel d'offres via une attribution directe)"
-                    ),
-                    html.Li(
-                        "après avoir appliqué les éventuelles modifications de montant, durée ou titulaires renseignées par l'acheteur"
-                    ),
-                ]
-            ),
-            html.P(
-                "Le montant total payé aux titulaires, la durée du marché et la liste des titulaires peuvent cependant encore évoluer jusqu'à la fin de l'exécution du marché."
-            ),
-            html.Div(
-                className="wrapper",
-                children=[
-                    html.Div(
-                        className="marche_map",
-                        id="marche_map",
+                    dbc.Col(id="marche_infos_1", width=12, md=4),
+                    dbc.Col(id="marche_infos_2", width=12, md=4),
+                    dbc.Col(
+                        width=12,
+                        md=4,
                         children=[
                             html.H4("Titulaires"),
                             html.Ul(id="marche_infos_titulaires"),
                         ],
                     ),
-                    html.Div(className="marche_infos_1", id="marche_infos_1"),
-                    html.Div(className="marche_infos_2", id="marche_infos_2"),
-                ],
+                ]
             ),
         ],
     ),
@@ -60,29 +83,28 @@ layout = [
 @callback(
     Output("marche_data", "data"),
     Output("titulaires_data", "data"),
-    Input(component_id="url", component_property="pathname"),
+    Input(component_id="marche_url", component_property="pathname"),
 )
-def get_marche_data(url):
+def get_marche_data(url) -> tuple[dict, list]:
     marche_uid = url.split("/")[-1]
 
-    # Récupération des données du marché à partir du lf global
-    lff = lf.filter(pl.col("uid") == pl.lit(marche_uid))
+    # Récupération des données du marché à partir du df global
+
+    lff = df.lazy()
+    lff = lff.filter(pl.col("uid") == pl.lit(marche_uid))
 
     # Données des titulaires du marché
     dff_titulaires = lff.select(cs.starts_with("titulaire")).collect(engine="streaming")
 
     # Données du marché
-    dff_marche = (
-        lff.select(~cs.starts_with("titulaires")).unique().collect(engine="streaming")
-    )
-    dff_marche = format_montant(dff_marche)
-
-    assert dff_marche.height == 1
+    dff_marche = lff.unique("uid").collect(engine="streaming")
+    dff_marche = format_values(dff_marche)
 
     return dff_marche.to_dicts()[0], dff_titulaires.to_dicts()
 
 
 @callback(
+    Output("marche_objet", "children"),
     Output("marche_infos_1", "children"),
     Output("marche_infos_2", "children"),
     Output("marche_infos_titulaires", "children"),
@@ -90,9 +112,9 @@ def get_marche_data(url):
     Input("titulaires_data", "data"),
 )
 def update_marche_info(marche, titulaires):
-    def make_parameter(col):
+    def make_parameter(col, bold=True):
         column_object = data_schema.get(col)
-        column_name = column_object.get("friendly_name") if column_object else col
+        column_name = column_object.get("title") if column_object else col
 
         if marche[col]:
             if col == "acheteur_nom":
@@ -108,8 +130,6 @@ def update_marche_info(marche, titulaires):
 
             # Dates
             elif col in ["dateNotification", "datePublicationDonnees"]:
-                print(marche[col])
-
                 value = datetime.fromisoformat(marche[col]).strftime("%d/%m/%Y")
 
             # Listes
@@ -136,12 +156,14 @@ def update_marche_info(marche, titulaires):
         else:
             value = ""
 
-        param_content = html.P([column_name, "  : ", html.Strong(value)])
+        value = html.Strong(value) if bold else value
+        param_content = html.P([column_name, "  : ", value])
         return param_content
 
+    marche_objet = make_parameter("objet", bold=False)
+
     marche_infos = [
         make_parameter("id"),
-        make_parameter("objet"),
         make_parameter("dateNotification"),  # date
         make_parameter("nature"),
         make_parameter("acheteur_nom"),  # lien
@@ -150,6 +172,7 @@ def update_marche_info(marche, titulaires):
         make_parameter("procedure"),
         make_parameter("techniques"),  # list
         make_parameter("dureeMois"),
+        make_parameter("dureeRestanteMois"),
         make_parameter("offresRecues"),
         make_parameter("datePublicationDonnees"),  # date
         make_parameter("formePrix"),
@@ -175,14 +198,71 @@ def update_marche_info(marche, titulaires):
     titulaires_lines = []
     for titulaire in titulaires:
         if titulaire["titulaire_typeIdentifiant"] == "SIRET":
+            categorie = titulaire.get("titulaire_categorie", "")
+            if titulaire.get("titulaire_distance"):
+                distance = str(titulaire.get("titulaire_distance")) + " km"
+            else:
+                distance = ""
+
             content = html.Li(
-                html.A(
-                    href=f"/titulaires/{titulaire['titulaire_id']}",
-                    children=titulaire["titulaire_nom"],
-                )
+                [
+                    html.A(
+                        href=f"/titulaires/{titulaire['titulaire_id']}",
+                        children=titulaire["titulaire_nom"],
+                    ),
+                    f" ({categorie}, {distance})",
+                ]
             )
         else:
             content = html.Li(titulaire["titulaire_nom"])
         titulaires_lines.append(content)
 
-    return marche_infos[:half], marche_infos[half:], titulaires_lines
+    return marche_objet, marche_infos[:half], marche_infos[half:], titulaires_lines
+
+
+@callback(
+    Output(component_id="marche_jsonld", component_property="children"),
+    Input("marche_data", "data"),
+    Input("titulaires_data", "data"),
+)
+def get_marche_jsonld(marche, titulaires) -> str:
+    acheteur_id = marche.get("acheteur_id")
+    type_order = (
+        "Service" if marche.get("categorie") in ["Services", "Travaux"] else "Product"
+    )
+    result = []
+
+    for titulaire in titulaires:
+        jsonld = {
+            "@context": "https://schema.org",
+            "@type": "Order",
+            "@id": f"https://decp.info/marches/{marche.get('uid')}",
+            "name": f"{marche.get('nature')} conclu par {marche.get('acheteur_nom')} le {marche.get('dateNotification')}",
+            "description": marche.get("objet"),
+            "orderNumber": marche.get("uid"),
+            "orderDate": marche.get("dateNotification"),
+            "price": unformat_montant(marche.get("montant")),
+            "priceCurrency": "EUR",
+            "customer": make_org_jsonld(
+                acheteur_id, org_name=marche.get("acheteur_nom"), org_type="acheteur"
+            ),
+            "seller": make_org_jsonld(
+                titulaire.get("titulaire_id"),
+                org_name=titulaire.get("titulaire_nom"),
+                org_type="titulaire",
+                type_org_id=titulaire.get("titulaire_typeIdentifiant"),
+            ),
+            "orderedItem": {
+                "@type": type_order,
+                "name": marche.get("objet"),
+                "category": {
+                    "@type": "CategoryCode",
+                    "propertyID": "cpv",
+                    "codeValue": marche.get("codeCPV"),
+                    # "description": "Description du code CPV"
+                },
+                # "serviceType": "Description du code CPV"
+            },
+        }
+        result.append(jsonld)
+    return json.dumps(result, indent=2)

src/pages/recherche.py

@@ -0,0 +1,134 @@
+from dash import Input, Output, State, callback, dcc, html, register_page
+
+from src.figures import DataTable
+from src.utils import (
+    df_acheteurs,
+    df_titulaires,
+    meta_content,
+    search_org,
+    setup_table_columns,
+)
+
+name = "Recherche"
+
+register_page(
+    __name__,
+    path="/",
+    title="Recherche de marchés publics | decp.info",
+    name=name,
+    description="Explorez et analysez les données des marchés publics français avec cet outil libre et gratuit. Pour une commande publique accessible à toutes et tous.",
+    image_url=meta_content["image_url"],
+    order=0,
+)
+
+layout = html.Div(
+    className="container",
+    children=[
+        html.Div(
+            className="tagline",
+            children=html.P("Recherchez un acheteur ou un titulaire de marché public"),
+        ),
+        html.Div(
+            style={
+                "display": "flex",
+                "justifyContent": "center",
+                "marginTop": "30px",
+                "marginBottom": "30px",
+            },
+            children=[
+                dcc.Input(
+                    id="search",
+                    type="text",
+                    placeholder="Nom d'acheteur/entreprise, SIREN/SIRET, code département",
+                    autoFocus=True,
+                    style={
+                        "margin": "0",
+                        "width": "500px",
+                        "border": "1px solid #ccc",
+                        "borderRight": "none",
+                        "borderRadius": "3px 0 0 3px",
+                        "padding": "5px 10px",
+                        "outline": "none",
+                        "height": "34px",
+                    },
+                ),
+                html.Button(
+                    "=>",
+                    id="search-button",
+                    className="btn btn-primary",
+                    style={
+                        "border": "1px solid #ccc",
+                        "borderRadius": "0 3px 3px 0",
+                        "marginLeft": "0",
+                        "height": "auto",  # Ensure it matches input height if necessary, often relying on padding/line-height
+                    },
+                ),
+            ],
+        ),
+        html.P(
+            [
+                "...ou bien filtrez les marchés publics dans la vue ",
+                dcc.Link("Tableau", href="/tableau"),
+            ],
+            style={"textAlign": "center"},
+            id="mention_tableau",
+        ),
+        # html.Div(
+        #     className="search_options",
+        #     children=[dcc.RadioItems(options=["Acheteur(s)"])],
+        # ),
+        html.Div(id="search_results", className="wrapper"),
+    ],
+)
+
+
+@callback(
+    Output("search_results", "children"),
+    Output("mention_tableau", "style"),
+    Input("search", "n_submit"),
+    Input("search-button", "n_clicks"),
+    State("search", "value"),
+    prevent_initial_call=True,
+)
+def update_search_results(n_submit, n_clicks, query):
+    if query and len(query) >= 1:
+        content = []
+
+        for org_type in ["acheteur", "titulaire"]:
+            if org_type == "acheteur":
+                dff = df_acheteurs
+            elif org_type == "titulaire":
+                dff = df_titulaires
+            else:
+                raise ValueError(f"{org_type} is not supported")
+
+            # Search acheteurs and titulaires using the same function
+            results = search_org(dff, query, org_type=org_type)
+            count = results.height
+
+            # Format output
+            columns, tooltip = setup_table_columns(results, hideable=False)
+
+            org_content = [
+                html.Div(
+                    className=f"results_{org_type}",
+                    children=[
+                        html.H3(f"{org_type.title()}s : {count}"),
+                        DataTable(
+                            dtid=f"results_{org_type}_datatable",
+                            columns=columns,
+                            data=results.to_dicts(),
+                            page_size=10,
+                            sort_action="none",
+                            filter_action="none",
+                        ),
+                    ],
+                )
+                if count > 0
+                else html.P(f"Aucun {org_type} trouvé."),
+            ]
+            content.extend(org_content)
+            style = {"textAlign": "center", "display": "none"}
+
+        return content, style
+    return html.P(""), {"textAlign": "center"}

src/pages/statistiques.py

@@ -1,20 +1,29 @@
+from datetime import datetime
+
 from dash import dcc, html, register_page
 
-from src.figures import get_barchart_sources, get_map_count_marches
-from src.utils import lf, meta_content
+from src.figures import (
+    get_barchart_sources,
+    get_duplicate_matrix,
+    get_map_count_marches,
+    get_yearly_statistics,
+)
+from src.utils import df, format_number, get_statistics, meta_content
 
 name = "Statistiques"
 
 register_page(
     __name__,
     path="/statistiques",
-    title=meta_content["title"],
+    title="Statistiques | decp.info",
     name=name,
-    description=meta_content["description"],
+    description="Visualisez l'état de la publication des données essentielles des marchés publics en France.",
     image_url=meta_content["image_url"],
     order=3,
 )
 
+statistics: dict = get_statistics()
+today_str = datetime.fromisoformat(statistics["datetime"]).strftime("%d/%m/%Y")
 
 layout = [
     html.Div(
@@ -28,22 +37,43 @@ layout = [
                 children=[
                     html.Div(
                         children=[
-                            dcc.Markdown("""
+                            dcc.Markdown(f"""
                             La publication de données essentielles de marchés publics (DECP) est souvent effectuée par
                             les plateformes de marchés publics (profils d'acheteurs). Cependant, certaines plateformes ne publient pas,
                             ou publient d'une manière qui rend la récupération des données compliquée. Les données présentées sur ce site
                             ne représentent donc pas tous les marchés attribués en France, seulement une partie significative.
 
-                            L'ajout de nouvelles plateformes [est en cours](https://github.com/ColinMaudry/decp-processing/issues?q=is%3Aissue%20state%3Aopen%20label%3A%22source%20de%20donn%C3%A9es%22),
+                            L'ajout de nouvelles plateformes [est en cours](https://github.com/ColinMaudry/decp-processing/issues?q=is%3Aissue%20label%3A%22source%20de%20donn%C3%A9es%22),
                             toutes les [contributions](/a-propos#contribuer) sont les bienvenues pour atteindre l'exhaustivité.
+
+                            Les statistiques publiées sur cette page ont été produites automatiquement à partir des données les plus récentes ({today_str}).
                             """),
-                            dcc.Graph(figure=get_map_count_marches(lf)),
+                            html.H3(
+                                "Statistiques générales sur les marchés",
+                                id="marches",
+                            ),
+                            html.P(
+                                "À noter qu'une fois un marché attribué ses données essentielles peuvent malheureusement mettre plusieurs mois à être publiées par l'acheteur."
+                            ),
+                            html.H4("Statistiques cumulées"),
+                            dcc.Markdown(f"""
+                            - Nombre de marchés publics et accord-cadres : {format_number(statistics["nb_marches"])}
+                            - Nombre d'acheteurs publics (SIRET) : {format_number(statistics["nb_acheteurs_uniques"])}
+                            - Nombre de titulaires (SIRET) : {format_number(statistics["nb_titulaires_uniques"])}
+
+                            Je ne publie pas encore de statistiques sur les montants de marchés car je n'ai pas encore trouvé la bonne formule pour traiter les trop nombreux montants fantaisistes qui polluent les calculs.
+                                                        """),
+                            html.H4("Statistiques par année"),
+                            get_yearly_statistics(statistics, today_str),
+                            dcc.Graph(figure=get_map_count_marches()),
+                            get_duplicate_matrix(),
+                            html.H3("Nombre de marchés par source dans le temps"),
                             dcc.Graph(
-                                figure=get_barchart_sources(lf, "dateNotification")
+                                figure=get_barchart_sources(df, "dateNotification")
                             ),
                             dcc.Graph(
                                 figure=get_barchart_sources(
-                                    lf, "datePublicationDonnees"
+                                    df, "datePublicationDonnees"
                                 )
                             ),
                         ],

src/pages/tableau.py

@@ -0,0 +1,535 @@
+import json
+import os
+import urllib.parse
+import uuid
+from datetime import datetime
+
+import dash_bootstrap_components as dbc
+import polars as pl
+from dash import (
+    ClientsideFunction,
+    Input,
+    Output,
+    State,
+    callback,
+    clientside_callback,
+    dcc,
+    html,
+    no_update,
+    register_page,
+)
+
+from figures import make_column_picker
+from src.figures import DataTable
+from src.utils import (
+    columns,
+    df,
+    filter_table_data,
+    get_default_hidden_columns,
+    invert_columns,
+    logger,
+    meta_content,
+    schema,
+    sort_table_data,
+)
+from utils import prepare_table_data
+
+update_date_timestamp = os.path.getmtime(os.getenv("DATA_FILE_PARQUET_PATH"))
+update_date = datetime.fromtimestamp(update_date_timestamp).strftime("%d/%m/%Y")
+update_date_iso = datetime.fromtimestamp(update_date_timestamp).isoformat()
+
+
+name = "Tableau"
+register_page(
+    __name__,
+    path="/tableau",
+    title="Tableau des marchés publics | decp.info",
+    name=name,
+    description="Consultez, filtrez et exportez les données essentielles de la commande publique sous forme de tableau.",
+    image_url=meta_content["image_url"],
+    order=1,
+)
+
+datatable = html.Div(
+    className="marches_table",
+    children=DataTable(
+        dtid="tableau_datatable",
+        persisted_props=["filter_query", "sort_by"],
+        persistence_type="local",
+        persistence=True,
+        page_size=20,
+        page_action="custom",
+        filter_action="custom",
+        sort_action="custom",
+        hidden_columns=[],
+        columns=[{"id": col, "name": col} for col in df.columns],
+    ),
+)
+
+layout = [
+    dcc.Location(id="tableau_url", refresh=False),
+    dcc.Store(id="filter-cleanup-trigger-tableau"),
+    dcc.Store(id="tableau-hidden-columns", storage_type="local"),
+    dcc.Store(id="tableau-table"),
+    html.Script(
+        type="application/ld+json",
+        id="dataset_jsonld",
+        children=[
+            json.dumps(
+                {
+                    "@context": "https://schema.org/",
+                    "@type": "Dataset",
+                    "name": "Données essentielles des marchés publics français (DECP)",
+                    "description": "Données de marchés publics exhaustives décrivant les marchés publics attribués en France depuis 2018.",
+                    "url": "https://decp.info",
+                    "sameAs": "https://www.data.gouv.fr/datasets/608c055b35eb4e6ee20eb325",
+                    "keywords": [
+                        "marchés publics",
+                        "commande publique",
+                        "decp",
+                        "public procurement",
+                    ],
+                    "license": "https://www.etalab.gouv.fr/licence-ouverte-open-licence",
+                    "isAccessibleForFree": True,
+                    "creator": {
+                        "@type": "Organization",
+                        "url": "https://colmo.tech",
+                        "name": "Colmo",
+                        "sameAs": "https://annuaire-entreprises.data.gouv.fr/entreprise/colmo-989393350",
+                        "contactPoint": {
+                            "@type": "ContactPoint",
+                            "contactType": "Support et contact commercial",
+                            "email": "colin@colmo.tech",
+                        },
+                    },
+                    "includedInDataCatalog": {
+                        "@type": "DataCatalog",
+                        "name": "data.gouv.fr",
+                    },
+                    "distribution": [
+                        {
+                            "@type": "DataDownload",
+                            "encodingFormat": "CSV",
+                            "contentUrl": "https://www.data.gouv.fr/api/1/datasets/r/22847056-61df-452d-837d-8b8ceadbfc52",
+                        },
+                        {
+                            "@type": "DataDownload",
+                            "encodingFormat": "Parquet",
+                            "contentUrl": "https://www.data.gouv.fr/api/1/datasets/r/11cea8e8-df3e-4ed1-932b-781e2635e432",
+                        },
+                    ],
+                    "temporalCoverage": f"2018-01-01/{update_date_iso[:10]}",
+                    "spatialCoverage": {
+                        "@type": "Place",
+                        "address": {"countryCode": "FR"},
+                    },
+                },
+                indent=2,
+            )
+        ],
+    ),
+    dcc.Markdown(
+        f"Ce tableau contient tous les marchés attribués en France. Il vous permet d'appliquer un filtre sur une ou plusieurs colonnes, et ainsi produire la liste de marchés dont vous avez besoin (exemples : [marchés de voirie < 40 k€ en 2025](/tableau?filtres=%7Bacheteur_id%7D+icontains+24350013900189+%26%26+%7BdateNotification%7D+icontains+2025%2A+%26%26+%7Bmontant%7D+i%3C+40000+%26%26+%7Bobjet%7D+icontains+voirie&colonnes=uid%2Cacheteur_id%2Cacheteur_nom%2Ctitulaire_id%2Ctitulaire_nom%2Cobjet%2Cmontant%2CdureeMois%2CdateNotification%2Cacheteur_departement_code%2CsourceDataset), [marchés > 500 k€ avec clause sociale attribués à des PME à plus de 100 km dans le Var](/tableau?filtres=%7Btitulaire_categorie%7D+icontains+PME+%26%26+%7Btitulaire_distance%7D+i%3E+100+%26%26+%7Bmontant%7D+i%3E+500000+%26%26+%7Bacheteur_departement_code%7D+icontains+83+%26%26+%7BconsiderationsSociales%7D+icontains+clause&colonnes=uid%2Cacheteur_id%2Cacheteur_nom%2Ctitulaire_id%2Ctitulaire_nom%2Cobjet%2Cmontant%2CdureeMois%2CdateNotification%2CconsiderationsSociales%2Ctitulaire_distance%2Cacheteur_departement_code%2Ctitulaire_categorie%2CsourceDataset)). Par défaut seules quelques colonnes sont affichées, mais vous pouvez en afficher jusqu'à {str(df.width)} en cliquant sur le bouton **Choisir les colonnes**. Cet outil est assez puissant, je vous recommande de lire le mode d'emploi pour en tirer pleinement partie.",
+        style={"maxWidth": "1000px"},
+    ),
+    html.Div(
+        [],
+        id="header",
+    ),
+    dcc.Loading(
+        overlay_style={"visibility": "visible", "filter": "blur(2px)"},
+        id="loading-home",
+        type="default",
+        children=[
+            html.Div(
+                [
+                    # Modal du mode d'emploi
+                    dbc.Button("Mode d'emploi", id="tableau_help_open"),
+                    dbc.Modal(
+                        [
+                            dbc.ModalHeader(dbc.ModalTitle("Mode d'emploi")),
+                            dbc.ModalBody(
+                                dcc.Markdown(
+                                    dangerously_allow_html=True,
+                                    children=f"""
+            ##### Définition des colonnes
+
+            Pour voir la définition d'une colonne, passez votre souris sur son en-tête.
+
+            ##### Vos réglages sont persistents
+
+            Les filtres, les tris et le choix de colonnes sont automatiquement enregistrés dans votre navigateur et persistent même si vous changez de page ou si vous fermez votre navigateur. À votre retour, vous retrouverez cette page comme vous l'avez laissée.
+
+            ##### Appliquer des filtres
+
+            Vous pouvez appliquer un filtre pour chaque colonne en entrant du texte sous le nom de la colonne, puis en tapant sur `Entrée`.
+
+            - Champs textuels : la recherche retourne les valeurs qui contiennent le texte recherché et n'est pas sensible à la casse (majuscules/minuscules).
+                - Exemple : `rennes` retourne "RENNES METROPOLE".
+                - Les guillemets simples (apostrophe du 4) doivent être prédédées d'une barre oblique (AltGr + 8). Exemple : `services d\\\'assurances`
+            - Champs numériques (Durée en mois, Montant, ...) : vous pouvez...
+                - soit taper un nombre pour trouver les valeurs strictement égales. Exemple : `12` ne retourne que des 12
+                - soit le précéder de **>** ou **<** pour filtrer les valeurs supérieures ou inférieures. Exemple pour les offres reçues : `> 4` retourne les marchés ayant reçu plus de 4 offres.
+            - Champs date (Date de notification, ...) : vous pouvez également utiliser **>** ou **<**. Exemples :
+                - `< 2024-01-31` pour "avant le 31 janvier 2024"
+                - `2024` pour "en 2024", `> 2022` pour "à partir de 2022".
+            - Pour les champs textuels et les champs dates :
+                - pour chercher du texte qui **commence par** votre texte, entrez `texte*`. C'est par exemple utile pour filtrer des acheteurs ou titulaires par numéro SIREN (`123456789*`) ou les marchés sur une année en particulier (`2024*`)
+                - pour chercher du texte qui **finit par** votre texte, entrez `*texte`
+
+            Vous pouvez filtrer plusieurs colonnes à la fois.
+
+            ##### Trier les données
+
+            Pour trier une colonne, utilisez les flèches grises à côté des noms de colonnes. Chaque clic change le tri dans cet ordre :
+
+            1. tri croissant
+            2. tri décroissant
+            3. pas de tri
+
+            ##### Afficher plus de colonnes
+
+            Par défaut, un nombre réduit de colonnes est affiché pour ne pas surcharger la page. Mais vous avez le choix parmi {str(df.width)} colonnes, ce serait dommage de vous limiter !
+
+            Pour afficher plus de colonnes, cliquez sur le bouton **Choisir les colonnes** et cochez les colonnes pour les afficher.
+
+            ##### Partager une vue
+
+            Une vue est un ensemble de filtres, de tris et de choix de colonnes que vous avez appliqués. Cliquez sur **Partager** pour copier une adresse Web qui reproduit la vue courante à l'identique : en la collant dans la barre d'adresse d'un navigateur, vous ouvrez la vue Tableau avec les mêmes paramètres.
+
+            Pratique pour partager une vue avec un·e collègue, sur les réseaux sociaux, ou la sauvegarder pour plus tard.
+
+            ##### Télécharger le résultat
+
+            Vous pouvez télécharger le résultat de vos filtres et tris, pour les colonnes affichées, en cliquant sur **Télécharger au format Excel**.
+
+            ##### Liens
+
+            Les liens dans les colonnes Identifiant unique, Acheteur et Titulaire vous permettent de consulter une vue qui leur est dédiée
+            (informations, marchés attribués/remportés, etc.)
+
+            """,
+                                ),
+                            ),
+                            dbc.ModalFooter(
+                                dbc.Button(
+                                    "Fermer",
+                                    id="tableau_help_close",
+                                    className="ms-auto",
+                                    n_clicks=0,
+                                )
+                            ),
+                        ],
+                        id="tableau_help",
+                        is_open=False,
+                        fullscreen="md-down",
+                        scrollable=True,
+                        size="lg",
+                    ),
+                    # Bouton modal des colonnes affichées
+                    dbc.Button(
+                        "Choisir les colonnes",
+                        id="tableau_columns_open",
+                        className="column_list",
+                        title="Choisir les colonnes à afficher et masquer",
+                    ),
+                    html.P("lignes", id="nb_rows"),
+                    html.Div(id="copy-container"),
+                    dcc.Input(id="share-url", readOnly=True, style={"display": "none"}),
+                    dbc.Button(
+                        "Téléchargement désactivé au-delà de 65 000 lignes",
+                        id="btn-download-data",
+                        disabled=True,
+                    ),
+                    dcc.Download(id="download-data"),
+                    dcc.Store(id="filtered_data", storage_type="memory"),
+                    html.P("Données mises à jour le " + str(update_date)),
+                    dbc.Button(
+                        "Remettre à zéro",
+                        title="Supprime tous les filtres et les tris. Autrement ils sont conservés même si vous fermez la page.",
+                        id="btn-tableau-reset",
+                    ),
+                ],
+                className="table-menu",
+            ),
+            dbc.Modal(
+                [
+                    dbc.ModalHeader(dbc.ModalTitle("Choix des colonnes à afficher")),
+                    dbc.ModalBody(
+                        id="tableau_columns_body",
+                        children=make_column_picker("tableau"),
+                    ),
+                    dbc.ModalFooter(
+                        dbc.Button(
+                            "Fermer",
+                            id="tableau_columns_close",
+                            className="ms-auto",
+                            n_clicks=0,
+                        )
+                    ),
+                ],
+                id="tableau_columns",
+                is_open=False,
+                fullscreen="md-down",
+                scrollable=True,
+                size="xl",
+            ),
+            datatable,
+        ],
+    ),
+]
+
+
+@callback(
+    Output("tableau_datatable", "data"),
+    Output("tableau_datatable", "columns"),
+    Output("tableau_datatable", "tooltip_header"),
+    Output("tableau_datatable", "data_timestamp"),
+    Output("nb_rows", "children"),
+    Output("btn-download-data", "disabled"),
+    Output("btn-download-data", "children"),
+    Output("btn-download-data", "title"),
+    Output("filter-cleanup-trigger-tableau", "data", allow_duplicate=True),
+    Input("tableau_url", "href"),
+    Input("tableau_datatable", "page_current"),
+    Input("tableau_datatable", "page_size"),
+    Input("tableau_datatable", "filter_query"),
+    Input("tableau_datatable", "sort_by"),
+    State("tableau_datatable", "data_timestamp"),
+    prevent_initial_call=True,
+)
+def update_table(href, page_current, page_size, filter_query, sort_by, data_timestamp):
+    # if ctx.triggered_id != "url":
+    #     search_params = None
+    # else:
+    #     search_params = urllib.parse.parse_qs(search_params.lstrip("?"))
+    return prepare_table_data(
+        None, data_timestamp, filter_query, page_current, page_size, sort_by, "tableau"
+    )
+
+
+@callback(
+    Output("download-data", "data"),
+    Input("btn-download-data", "n_clicks"),
+    State("tableau_datatable", "filter_query"),
+    State("tableau_datatable", "sort_by"),
+    State("tableau_datatable", "hidden_columns"),
+    prevent_initial_call=True,
+)
+def download_data(n_clicks, filter_query, sort_by, hidden_columns: list = None):
+    lff: pl.LazyFrame = df.lazy()  # start from the original data
+
+    # Les colonnes masquées sont supprimées
+    if hidden_columns:
+        lff = lff.drop(hidden_columns)
+
+    if filter_query:
+        lff = filter_table_data(lff, filter_query, "tab download")
+
+    if len(sort_by) > 0:
+        lff = sort_table_data(lff, sort_by)
+
+    def to_bytes(buffer):
+        lff.collect(engine="streaming").write_excel(buffer, worksheet="DECP")
+
+    date = datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
+    return dcc.send_bytes(to_bytes, filename=f"decp_{date}.xlsx")
+
+
+@callback(
+    Output("tableau_datatable", "filter_query"),
+    Output("tableau_datatable", "sort_by"),
+    Output("tableau-hidden-columns", "data"),
+    Output("tableau_url", "search"),
+    Output("filter-cleanup-trigger-tableau", "data"),
+    Input("tableau_url", "search"),
+    State("tableau_datatable", "filter_query"),
+    State("tableau_datatable", "sort_by"),
+)
+def restore_view_from_url(search, stored_filters, stored_sort):
+    if not search and not stored_filters:
+        return no_update, no_update, no_update, no_update, no_update
+
+    params = urllib.parse.parse_qs(search.lstrip("?")) if search else {}
+    logger.debug("params " + json.dumps(params, indent=2))
+
+    filter_query = no_update
+    sort_by = no_update
+    hidden_columns = no_update
+    trigger_cleanup = no_update
+
+    if "filtres" in params:
+        filter_query = params["filtres"][0]
+        trigger_cleanup = str(uuid.uuid4())
+    elif stored_filters:
+        filter_query = stored_filters
+        trigger_cleanup = str(uuid.uuid4())
+
+    if "tris" in params:
+        try:
+            sort_by = json.loads(params["tris"][0])
+        except json.JSONDecodeError:
+            pass
+    elif stored_sort:
+        sort_by = stored_sort
+
+    if "colonnes" in params:
+        table_columns = params["colonnes"][0].split(",")
+        verified_columns = [
+            column for column in table_columns if column in schema.names()
+        ]
+        hidden_columns = invert_columns(verified_columns)
+
+    return filter_query, sort_by, hidden_columns, "", trigger_cleanup
+
+
+# Pour nettoyer les icontains et i< des filtres
+# voir aussi src/assets/dash_clientside.js
+clientside_callback(
+    ClientsideFunction(
+        namespace="clientside",
+        function_name="clean_filters",
+    ),
+    Output("filter-cleanup-trigger-tableau", "data", allow_duplicate=True),
+    Input("filter-cleanup-trigger-tableau", "data"),
+    prevent_initial_call=True,
+)
+
+
+@callback(
+    Output("share-url", "value"),
+    Output("copy-container", "children"),
+    Input("tableau_datatable", "filter_query"),
+    Input("tableau_datatable", "sort_by"),
+    Input("tableau_datatable", "hidden_columns"),
+    State("tableau_url", "href"),
+    prevent_initial_call=True,
+)
+def sync_url_and_reset_button(filter_query, sort_by, hidden_columns, href):
+    if not href:
+        return no_update, no_update
+
+    # Extract base URL (remove existing query params)
+    base_url = href.split("?")[0]
+
+    params = {}
+    if filter_query:
+        params["filtres"] = filter_query
+
+    if sort_by:
+        params["tris"] = json.dumps(sort_by)
+
+    if hidden_columns:
+        table_columns = invert_columns(hidden_columns)
+        table_columns = ",".join(table_columns)
+        params["colonnes"] = table_columns
+
+    query_string = urllib.parse.urlencode(params)
+    full_url = f"{base_url}?{query_string}" if query_string else base_url
+
+    copy_button = dcc.Clipboard(
+        id="btn-copy-url",
+        target_id="share-url",
+        title="Copier l'URL de cette vue",
+        style={
+            "display": "inline-block",
+            "fontSize": 20,
+            "verticalAlign": "top",
+            "cursor": "pointer",
+        },
+        className="fa fa-link",
+        children=[
+            dbc.Button(
+                "Partager",
+                className="btn btn-primary",
+                title="Copier l'adresse de cette vue (filtres, tris, choix de colonnes) pour la partager.",
+            )
+        ],
+    )
+
+    return full_url, copy_button
+
+
+@callback(
+    Output("copy-container", "children", allow_duplicate=True),
+    Input("btn-copy-url", "n_clicks", allow_optional=True),
+    prevent_initial_call=True,
+)
+def show_confirmation(n_clicks):
+    if n_clicks:
+        return html.Span(
+            "Adresse de la vue copiée",
+            style={"color": "green", "fontWeight": "bold", "marginLeft": "10px"},
+        )
+    return no_update
+
+
+@callback(
+    Output("tableau_help", "is_open"),
+    [Input("tableau_help_open", "n_clicks"), Input("tableau_help_close", "n_clicks")],
+    [State("tableau_help", "is_open")],
+)
+def toggle_tableau_help(click_open, click_close, is_open):
+    if click_open or click_close:
+        return not is_open
+    return is_open
+
+
+@callback(
+    Output("tableau-hidden-columns", "data", allow_duplicate=True),
+    Input("tableau_column_list", "selected_rows"),
+    prevent_initial_call=True,
+)
+def update_hidden_columns_from_checkboxes(selected_columns):
+    if selected_columns:
+        selected_columns = [columns[i] for i in selected_columns]
+        hidden_columns = [col for col in columns if col not in selected_columns]
+        return hidden_columns
+    else:
+        return []
+
+
+@callback(
+    Output("tableau_datatable", "hidden_columns"),
+    Input(
+        "tableau-hidden-columns",
+        "data",
+    ),
+)
+def store_hidden_columns(hidden_columns):
+    return hidden_columns
+
+
+@callback(
+    Output("tableau_column_list", "selected_rows"),
+    Input("tableau_datatable", "hidden_columns"),
+    State("tableau_column_list", "selected_rows"),  # pour éviter la boucle infinie
+)
+def update_checkboxes_from_hidden_columns(hidden_cols, current_checkboxes):
+    hidden_cols = hidden_cols or get_default_hidden_columns("tableau")
+
+    # Show all columns that are NOT hidden
+    visible_cols = [columns.index(col) for col in columns if col not in hidden_cols]
+    return visible_cols
+
+
+@callback(
+    Output("tableau_columns", "is_open"),
+    Input("tableau_columns_open", "n_clicks"),
+    Input("tableau_columns_close", "n_clicks"),
+    State("tableau_columns", "is_open"),
+)
+def toggle_tableau_columns(click_open, click_close, is_open):
+    if click_open or click_close:
+        return not is_open
+    return is_open
+
+
+@callback(
+    Output("tableau_datatable", "filter_query", allow_duplicate=True),
+    Output("tableau_datatable", "sort_by", allow_duplicate=True),
+    Input("btn-tableau-reset", "n_clicks"),
+    prevent_initial_call=True,
+)
+def reset_view(n_clicks):
+    return "", []

src/pages/titulaire.py

@@ -1,37 +1,78 @@
 import datetime
 
+import dash_bootstrap_components as dbc
 import polars as pl
-from dash import Input, Output, State, callback, dash_table, dcc, html, register_page
+from dash import (
+    ClientsideFunction,
+    Input,
+    Output,
+    State,
+    callback,
+    clientside_callback,
+    dcc,
+    html,
+    register_page,
+)
 
-from src.figures import point_on_map
+from src.callbacks import get_top_org_table
+from src.figures import DataTable, make_column_picker, point_on_map
 from src.utils import (
-    add_links_in_dict,
-    format_montant,
+    columns,
+    df,
+    df_titulaires,
+    filter_table_data,
     format_number,
     get_annuaire_data,
+    get_button_properties,
+    get_default_hidden_columns,
     get_departement_region,
-    lf,
     meta_content,
-    setup_table_columns,
+    prepare_table_data,
+    sort_table_data,
 )
 
+
+def get_title(titulaire_id: str = None) -> str:
+    titulaire_nom = df_titulaires.filter(pl.col("titulaire_id") == titulaire_id).select(
+        "titulaire_nom"
+    )
+    if titulaire_nom.height > 0:
+        return f"Marchés publics remportés par {titulaire_nom.item(0, 0)} | decp.info"
+    return "Marchés publics remportés | decp.info"
+
+
 register_page(
     __name__,
     path_template="/titulaires/<titulaire_id>",
-    title=meta_content["title"],
+    title=get_title,
     name="Titulaire",
-    description=meta_content["description"],
+    description="Consultez les marchés publics remportés par ce titulaire.",
     image_url=meta_content["image_url"],
     order=5,
 )
 
-# 21690123100011
+datatable = html.Div(
+    className="marches_table",
+    children=DataTable(
+        dtid="titulaire_datatable",
+        persistence=True,
+        persistence_type="local",
+        persisted_props=["filter_query", "sort_by"],
+        page_action="custom",
+        filter_action="custom",
+        sort_action="custom",
+        page_size=10,
+        hidden_columns=[],
+        columns=[{"id": col, "name": col} for col in df.columns],
+    ),
+)
 
 layout = [
     dcc.Store(id="titulaire_data", storage_type="memory"),
-    dcc.Location(id="url", refresh="callback-nav"),
+    dcc.Store(id="titulaire-hidden-columns", storage_type="local"),
+    dcc.Store(id="filter-cleanup-trigger-titulaire"),
+    dcc.Location(id="titulaire_url", refresh="callback-nav"),
     html.Div(
-        className="container",
         children=[
             html.Div(
                 className="wrapper",
@@ -48,7 +89,7 @@ layout = [
                         className="org_year",
                         children=dcc.Dropdown(
                             id="titulaire_year",
-                            options=["Toutes"]
+                            options=["Toutes les années"]
                             + [
                                 str(year)
                                 for year in range(
@@ -73,7 +114,6 @@ layout = [
                             html.A(
                                 id="titulaire_lien_annuaire",
                                 children="Plus de détails sur l'Annuaire des entreprises",
-                                target="_blank",
                             ),
                         ],
                     ),
@@ -85,17 +125,81 @@ layout = [
                             html.P(id="titulaire_acheteurs_differents"),
                             html.Button(
                                 "Téléchargement au format Excel",
-                                id="btn-download-titulaire-data",
+                                id="btn-download-data-titulaire",
+                                className="btn btn-primary",
                             ),
-                            dcc.Download(id="download-titulaire-data"),
+                            dcc.Download(id="download-data-titulaire"),
                         ],
                     ),
                     html.Div(className="org_map", id="titulaire_map"),
+                    html.Div(
+                        className="org_top",
+                        children=[
+                            html.H3("Top acheteurs"),
+                            html.Div(className="marches_table", id="top10_acheteurs"),
+                        ],
+                    ),
                 ],
             ),
             # récupérer les données de l'acheteur sur l'api annuaire
             html.H3("Derniers marchés publics remportés"),
-            html.Div(id="titulaire_last_marches", children=""),
+            dcc.Loading(
+                overlay_style={"visibility": "visible", "filter": "blur(2px)"},
+                id="loading-home",
+                type="default",
+                children=[
+                    html.Div(
+                        [
+                            # Bouton modal des colonnes affichées
+                            dbc.Button(
+                                "Colonnes affichées",
+                                id="titulaire_columns_open",
+                                className="column_list",
+                            ),
+                            html.P("lignes", id="titulaire_nb_rows"),
+                            html.Button(
+                                "Téléchargement désactivé au-delà de 65 000 lignes",
+                                id="btn-download-filtered-data-titulaire",
+                                disabled=True,
+                                className="btn btn-primary",
+                            ),
+                            dcc.Download(id="titulaire-download-filtered-data"),
+                            dbc.Button(
+                                "Remise à zéro",
+                                title="Supprime tous les filtres et les tris. Autrement ils sont conservés même si vous fermez la page.",
+                                id="btn-titulaire-reset",
+                                className="btn btn-primary",
+                            ),
+                        ],
+                        className="table-menu",
+                    ),
+                    dbc.Modal(
+                        [
+                            dbc.ModalHeader(
+                                dbc.ModalTitle("Choix des colonnes à afficher")
+                            ),
+                            dbc.ModalBody(
+                                id="titulaire_columns_body",
+                                children=make_column_picker("titulaire"),
+                            ),
+                            dbc.ModalFooter(
+                                dbc.Button(
+                                    "Fermer",
+                                    id="titulaire_columns_close",
+                                    className="ms-auto",
+                                    n_clicks=0,
+                                )
+                            ),
+                        ],
+                        id="titulaire_columns",
+                        is_open=False,
+                        fullscreen="md-down",
+                        scrollable=True,
+                        size="xl",
+                    ),
+                    datatable,
+                ],
+            ),
         ],
     ),
 ]
@@ -109,30 +213,42 @@ layout = [
     Output(component_id="titulaire_departement", component_property="children"),
     Output(component_id="titulaire_region", component_property="children"),
     Output(component_id="titulaire_lien_annuaire", component_property="href"),
-    Input(component_id="url", component_property="pathname"),
+    Input(component_id="titulaire_url", component_property="pathname"),
 )
 def update_titulaire_infos(url):
     titulaire_siret = url.split("/")[-1]
-    if len(titulaire_siret) != 14:
-        titulaire_siret = (
-            f"Le SIRET renseigné doit faire 14 caractères ({titulaire_siret})"
-        )
     data = get_annuaire_data(titulaire_siret)
-    data_etablissement = data["matching_etablissements"][0]
-    titulaire_map = point_on_map(
-        data_etablissement["latitude"], data_etablissement["longitude"]
-    )
-    code_departement, nom_departement, nom_region = get_departement_region(
-        data_etablissement["code_postal"]
-    )
-    departement = f"{nom_departement} ({code_departement})"
-    lien_annuaire = (
-        f"https://annuaire-entreprises.data.gouv.fr/etablissement/{titulaire_siret}"
-    )
+    data_etablissement = data.get("matching_etablissements") if data else None
+    if data_etablissement:
+        data_etablissement = data_etablissement[0]
+
+        titulaire_map = point_on_map(
+            data_etablissement["latitude"], data_etablissement["longitude"]
+        )
+        code_departement, nom_departement, nom_region = get_departement_region(
+            data_etablissement["code_postal"]
+        )
+        departement = f"{nom_departement} ({code_departement})"
+        lien_annuaire = (
+            f"https://annuaire-entreprises.data.gouv.fr/etablissement/{titulaire_siret}"
+        )
+        raison_sociale = data["nom_raison_sociale"]
+        libelle_commune = data_etablissement["libelle_commune"]
+
+    else:
+        titulaire_map = html.Div()
+        code_departement, nom_departement, nom_region = "", "", ""
+        departement = ""
+        lien_annuaire = ""
+        raison_sociale = html.Span(
+            f"N° SIREN inconnu de l'INSEE ({titulaire_siret[:9]})"
+        )
+        libelle_commune = ""
+
     return (
         titulaire_siret,
-        data["nom_raison_sociale"],
-        data_etablissement["libelle_commune"],
+        raison_sociale,
+        libelle_commune,
         titulaire_map,
         departement,
         nom_region,
@@ -148,125 +264,101 @@ def update_titulaire_infos(url):
     Input(component_id="titulaire_data", component_property="data"),
 )
 def update_titulaire_stats(data):
-    df = pl.DataFrame(data)
-    if df.height == 0:
-        df = pl.DataFrame(schema=lf.collect_schema())
-    df_marches = df.unique("uid")
-    nb_marches = format_number(df_marches.height)
-    # somme_marches = format_number(int(df_marches.select(pl.sum("montant")).item()))
-    marches_remportes = [html.Strong(nb_marches), " marchés et accord-cadres remportés"]
-    # + ", pour un total de ", html.Strong(somme_marches + " €")]
-    del df_marches
+    dff = pl.DataFrame(data, strict=False, infer_schema_length=5000)
+    if dff.height == 0:
+        nb_marches = 0
+        nb_acheteurs = 0
+    else:
+        df_marches = dff.unique("uid")
+        nb_marches = format_number(df_marches.height)
+        nb_acheteurs = dff.unique("acheteur_id").height
 
-    nb_acheteurs = df.unique("acheteur_id").height
-    nb_acheteurs = [
-        html.Strong(format_number(nb_acheteurs)),
-        " titulaires (SIRET) différents",
+    texte_marches_remportes = [
+        html.Strong(nb_marches),
+        " marchés et accord-cadres remportés",
     ]
-    del df
+    # + ", pour un total de ", html.Strong(somme_marches + " €")]
 
-    return marches_remportes, nb_acheteurs
+    texte_nb_acheteurs = [
+        html.Strong(format_number(nb_acheteurs)),
+        " acheteurs (SIRET) différents",
+    ]
+
+    return texte_marches_remportes, texte_nb_acheteurs
 
 
 @callback(
     Output(component_id="titulaire_data", component_property="data"),
-    Input(component_id="url", component_property="pathname"),
+    Output("btn-download-data-titulaire", "disabled"),
+    Output("btn-download-data-titulaire", "children"),
+    Output("btn-download-data-titulaire", "title"),
+    Input(component_id="titulaire_url", component_property="pathname"),
     Input(component_id="titulaire_year", component_property="value"),
 )
-def get_titulaire_marches_data(url, titulaire_year: str) -> pl.LazyFrame:
+def get_titulaire_marches_data(url, titulaire_year: str) -> tuple:
     titulaire_siret = url.split("/")[-1]
-    lff = lf.filter(
+    lff = df.lazy()
+    lff = lff.filter(
         (pl.col("titulaire_id") == titulaire_siret)
         & (pl.col("titulaire_typeIdentifiant") == "SIRET")
     )
-    lff = lff.fill_null("")
-    lff = lff.select(
-        "id",
-        "uid",
-        "objet",
-        "dateNotification",
-        "acheteur_id",
-        "acheteur_nom",
-        "montant",
-        "codeCPV",
-        "dureeMois",
-    )
-    if titulaire_year and titulaire_year != "Toutes":
+    if titulaire_year and titulaire_year != "Toutes les années":
         lff = lff.filter(
             pl.col("dateNotification").cast(pl.String).str.starts_with(titulaire_year)
         )
     lff = lff.sort(["dateNotification", "uid"], descending=True, nulls_last=True)
+    lff = lff.fill_null("")
 
-    data = lff.collect(engine="streaming").to_dicts()
-    return data
+    dff: pl.DataFrame = lff.collect(engine="streaming")
+    download_disabled, download_text, download_title = get_button_properties(dff.height)
+
+    data = dff.to_dicts()
+    return data, download_disabled, download_text, download_title
 
 
 @callback(
-    Output(component_id="titulaire_last_marches", component_property="children"),
+    Output("titulaire_datatable", "data"),
+    Output("titulaire_datatable", "columns"),
+    Output("titulaire_datatable", "tooltip_header"),
+    Output("titulaire_datatable", "data_timestamp"),
+    Output("titulaire_nb_rows", "children"),
+    Output("btn-download-filtered-data-titulaire", "disabled"),
+    Output("btn-download-filtered-data-titulaire", "children"),
+    Output("btn-download-filtered-data-titulaire", "title"),
+    Output("filter-cleanup-trigger-titulaire", "data"),
+    Input(component_id="titulaire_url", component_property="href"),
+    Input("titulaire_data", "data"),
+    Input("titulaire_datatable", "page_current"),
+    Input("titulaire_datatable", "page_size"),
+    Input("titulaire_datatable", "filter_query"),
+    Input("titulaire_datatable", "sort_by"),
+    State("titulaire_datatable", "data_timestamp"),
+)
+def get_last_marches_data(
+    href, data, page_current, page_size, filter_query, sort_by, data_timestamp
+) -> list[dict]:
+    return prepare_table_data(
+        data,
+        data_timestamp,
+        filter_query,
+        page_current,
+        page_size,
+        sort_by,
+        "titulaire",
+    )
+
+
+@callback(
+    Output(component_id="top10_acheteurs", component_property="children"),
     Input(component_id="titulaire_data", component_property="data"),
 )
-def get_last_marches_table(data) -> html.Div:
-    columns = [
-        "uid",
-        "objet",
-        "dateNotification",
-        "acheteur_nom",
-        "montant",
-        "codeCPV",
-        "dureeMois",
-    ]
-
-    dff = pl.DataFrame(data)
-    dff = format_montant(dff)
-    columns, tooltip = setup_table_columns(
-        dff, hideable=False, exclude=["acheteur_id", "id"]
-    )
-    data = dff.to_dicts()
-    # Idéalement on utiliserait add_org_links(), mais le résultat attendu
-    # est différent de home.py (Tableau)
-    data = add_links_in_dict(data, "acheteur")
-
-    table = html.Div(
-        className="marches_table",
-        id="titulaire_datatable",
-        children=dash_table.DataTable(
-            data=data,
-            markdown_options={"html": True},
-            page_action="native",
-            filter_action="native",
-            filter_options={"case": "insensitive", "placeholder_text": "Filtrer..."},
-            columns=columns,
-            tooltip_header=tooltip,
-            tooltip_duration=8000,
-            tooltip_delay=350,
-            cell_selectable=False,
-            page_size=10,
-            style_cell_conditional=[
-                {
-                    "if": {"column_id": "objet"},
-                    "minWidth": "300px",
-                    "textAlign": "left",
-                    "overflow": "hidden",
-                    "lineHeight": "14px",
-                    "whiteSpace": "normal",
-                },
-                {
-                    "if": {"column_id": "acheteur_nom"},
-                    "maxWidth": "400px",
-                    "textAlign": "left",
-                    "overflow": "hidden",
-                    "lineHeight": "18px",
-                    "whiteSpace": "normal",
-                },
-            ],
-        ),
-    )
-    return table
+def get_top_acheteurs(data):
+    return get_top_org_table(data, "acheteur")
 
 
 @callback(
-    Output("download-titulaire-data", "data"),
-    Input("btn-download-titulaire-data", "n_clicks"),
+    Output("download-data-titulaire", "data"),
+    Input("btn-download-data-titulaire", "n_clicks"),
     State(component_id="titulaire_data", component_property="data"),
     State(component_id="titulaire_nom", component_property="children"),
     State(component_id="titulaire_year", component_property="value"),
@@ -282,8 +374,118 @@ def download_titulaire_data(
 
     def to_bytes(buffer):
         df_to_download.write_excel(
-            buffer, worksheet="DECP" if annee in ["Toutes", None] else annee
+            buffer, worksheet="DECP" if annee in ["Toutes les années", None] else annee
         )
 
     date = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
     return dcc.send_bytes(to_bytes, filename=f"decp_{titulaire_nom}_{date}.xlsx")
+
+
+@callback(
+    Output("titulaire-download-filtered-data", "data"),
+    State("titulaire_data", "data"),
+    Input("btn-download-filtered-data-titulaire", "n_clicks"),
+    State("titulaire_nom", "children"),
+    State("titulaire_datatable", "filter_query"),
+    State("titulaire_datatable", "sort_by"),
+    State("titulaire_datatable", "hidden_columns"),
+    prevent_initial_call=True,
+)
+def download_filtered_titulaire_data(
+    data, n_clicks, titulaire_nom, filter_query, sort_by, hidden_columns: list = None
+):
+    lff: pl.LazyFrame = pl.LazyFrame(
+        data
+    )  # start from the full titulaire data, not from paginated table data
+
+    # Les colonnes masquées sont supprimées
+    if hidden_columns:
+        lff = lff.drop(hidden_columns)
+
+    if filter_query:
+        lff = filter_table_data(lff, filter_query, "titu download")
+
+    if len(sort_by) > 0:
+        lff = sort_table_data(lff, sort_by)
+
+    def to_bytes(buffer):
+        lff.collect(engine="streaming").write_excel(buffer, worksheet="DECP")
+
+    date = datetime.datetime.now().strftime("%Y-%m-%d_%H:%M:%S")
+    return dcc.send_bytes(
+        to_bytes, filename=f"decp_filtrées_{titulaire_nom}_{date}.xlsx"
+    )
+
+
+# Pour nettoyer les icontains et i< des filtres
+# voir aussi src/assets/dash_clientside.js
+clientside_callback(
+    ClientsideFunction(
+        namespace="clientside",
+        function_name="clean_filters",
+    ),
+    Output("filter-cleanup-trigger-titulaire", "data", allow_duplicate=True),
+    Input("filter-cleanup-trigger-titulaire", "data"),
+    prevent_initial_call=True,
+)
+
+
+@callback(
+    Output("titulaire-hidden-columns", "data", allow_duplicate=True),
+    Input("titulaire_column_list", "selected_rows"),
+    prevent_initial_call=True,
+)
+def update_hidden_columns_from_checkboxes(selected_columns):
+    if selected_columns:
+        selected_columns = [columns[i] for i in selected_columns]
+        hidden_columns = [col for col in columns if col not in selected_columns]
+        return hidden_columns
+    else:
+        return []
+
+
+@callback(
+    Output("titulaire_datatable", "hidden_columns", allow_duplicate=True),
+    Input(
+        "titulaire-hidden-columns",
+        "data",
+    ),
+    prevent_initial_call=True,
+)
+def store_hidden_columns(hidden_columns):
+    return hidden_columns
+
+
+@callback(
+    Output("titulaire_column_list", "selected_rows"),
+    Input("titulaire_datatable", "hidden_columns"),
+    State("titulaire_column_list", "selected_rows"),  # pour éviter la boucle infinie
+)
+def update_checkboxes_from_hidden_columns(hidden_cols, current_checkboxes):
+    hidden_cols = hidden_cols or get_default_hidden_columns("titulaire")
+
+    # Show all columns that are NOT hidden
+    visible_cols = [columns.index(col) for col in columns if col not in hidden_cols]
+    return visible_cols
+
+
+@callback(
+    Output("titulaire_columns", "is_open"),
+    Input("titulaire_columns_open", "n_clicks"),
+    Input("titulaire_columns_close", "n_clicks"),
+    State("titulaire_columns", "is_open"),
+)
+def toggle_titulaire_columns(click_open, click_close, is_open):
+    if click_open or click_close:
+        return not is_open
+    return is_open
+
+
+@callback(
+    Output("titulaire_datatable", "filter_query", allow_duplicate=True),
+    Output("titulaire_datatable", "sort_by"),
+    Input("btn-titulaire-reset", "n_clicks"),
+    prevent_initial_call=True,
+)
+def reset_view(n_clicks):
+    return "", []

src/utils.py

@@ -1,38 +1,47 @@
 import json
 import logging
 import os
-from time import sleep
+import uuid
+from collections import OrderedDict
+from time import localtime, sleep
 
 import polars as pl
 import polars.selectors as cs
-from httpx import get
+from dash import no_update
+from httpx import HTTPError, get, post
 from polars.exceptions import ComputeError
+from unidecode import unidecode
 
-operators = [
-    ["s<", "<"],
-    ["s>", ">"],
-    ["i<", "<"],
-    ["i>", ">"],
-    ["icontains", "contains"],
-]
-
-logger = logging.getLogger("decp.info")
 logging.basicConfig(
     format="%(asctime)s %(levelname)-8s %(message)s",
     level=logging.INFO,
     datefmt="%Y-%m-%d %H:%M:%S",
 )
+logger = logging.getLogger("decp.info")
+development = os.getenv("DEVELOPMENT", "False").lower() == "true"
+if development:
+    logger.setLevel(logging.DEBUG)
+
+logging.getLogger("httpx").setLevel("WARNING")
 
 
 def split_filter_part(filter_part):
-    print("filter part", filter_part)
+    operators = [
+        ["s<", "<"],
+        ["s>", ">"],
+        ["i<", "<"],
+        ["i>", ">"],
+        ["icontains", "contains"],
+        # [" ", "contains"]
+    ]
+    logger.debug("filter part " + filter_part)
     for operator_group in operators:
         if operator_group[0] in filter_part:
             name_part, value_part = filter_part.split(operator_group[0], 1)
             name_part = name_part.strip()
             value = value_part.strip()
             name = name_part[name_part.find("{") + 1 : name_part.rfind("}")]
-            print("=>", name, operator_group[1], value)
+            logger.debug("=> " + " ".join([name, operator_group[1], value]))
 
             return name, operator_group[1], value
 
@@ -43,48 +52,66 @@ def add_resource_link(dff: pl.DataFrame) -> pl.DataFrame:
     dff = dff.with_columns(
         (
             '<a href="' + pl.col("sourceFile") + '">' + pl.col("sourceDataset") + "</a>"
-        ).alias("source")
+        ).alias("sourceDataset")
     )
-    dff = dff.drop(["sourceFile", "sourceDataset"])
+    dff = dff.drop(["sourceFile"])
     return dff
 
 
 def add_links(dff: pl.DataFrame):
-    dff = dff.with_columns(
-        pl.when(pl.col("titulaire_typeIdentifiant") == "SIRET")
-        .then(
-            '<a href = "/titulaires/'
-            + pl.col("titulaire_id")
-            + '">'
-            + pl.col("titulaire_id")
-            + "</a>"
-        )
-        .otherwise(pl.col("titulaire_id"))
-        .alias("titulaire_id")
-    )
-
-    for column, path in [("acheteur_id", "acheteurs"), ("uid", "marches")]:
-        dff = dff.with_columns(
-            (
-                f'<a href = "/{path}/'
-                + pl.col(column)
-                + '" target="_blank">'
-                + pl.col(column)
-                + "</a>"
-            ).alias(column)
-        )
+    for col in ["uid", "acheteur_nom", "titulaire_nom", "acheteur_id", "titulaire_id"]:
+        if col in dff.columns:
+            if col.startswith("titulaire_"):
+                dff = dff.with_columns(
+                    pl.when(
+                        pl.Expr.or_(
+                            pl.col("titulaire_typeIdentifiant").is_null(),
+                            pl.col("titulaire_typeIdentifiant") == "SIRET",
+                        )
+                    )
+                    .then(
+                        '<a href = "/titulaires/'
+                        + pl.col("titulaire_id")
+                        + '">'
+                        + pl.col(col)
+                        + "</a>"
+                    )
+                    .otherwise(pl.col(col))
+                    .alias(col)
+                )
+            if col.startswith("acheteur_"):
+                dff = dff.with_columns(
+                    (
+                        '<a href = "/acheteurs/'
+                        + pl.col("acheteur_id")
+                        + '">'
+                        + pl.col(col)
+                        + "</a>"
+                    ).alias(col)
+                )
+            if col == "uid":
+                dff = dff.with_columns(
+                    (
+                        '<a href = "/marches/'
+                        + pl.col("uid")
+                        + '">'
+                        + pl.col("uid")
+                        + "</a>"
+                    ).alias("uid")
+                )
     return dff
 
 
-def add_links_in_dict(data: list, org_type: str) -> list:
+def add_links_in_dict(data: list[dict], org_type: str) -> list:
     new_data = []
     for marche in data:
         org_id = marche[org_type + "_id"]
         marche[org_type + "_nom"] = (
             f'<a href="/{org_type}s/{org_id}">{marche[org_type + "_nom"]}</a>'
         )
-        marche["id"] = f'<a href="/marches/{marche["uid"]}">{marche["id"]}</a>'
-        marche["uid"] = f'<a href="/marches/{marche["uid"]}">{marche["uid"]}</a>'
+        if marche.get("uid"):
+            marche["id"] = f'<a href="/marches/{marche["uid"]}">{marche["id"]}</a>'
+            marche["uid"] = f'<a href="/marches/{marche["uid"]}">{marche["uid"]}</a>'
         new_data.append(marche)
     return new_data
 
@@ -123,10 +150,19 @@ def format_number(number) -> str:
     return number
 
 
-def format_montant(dff: pl.DataFrame) -> pl.DataFrame:
-    def format_function(expr, scale=None):
+def unformat_montant(number: str) -> float:
+    number = number.replace(" €", "")
+    number = number.replace(" €", "").replace(" ", "")
+    number = number.replace(",", ".")
+    number = number.strip()
+    return float(number)
+
+
+def format_values(dff: pl.DataFrame) -> pl.DataFrame:
+    def format_montant(expr, scale=None):
         # https://stackoverflow.com/a/78636786
-        expr = expr.cast(pl.String).str.splitn(".", 2)
+        expr = expr.cast(pl.String)
+        expr = expr.str.splitn(".", 2)
 
         num = expr.struct[0]
         frac = expr.struct[1]
@@ -141,23 +177,46 @@ def format_montant(dff: pl.DataFrame) -> pl.DataFrame:
 
         frac: pl.Expr = (
             pl.when(frac.is_not_null() & ~frac.is_in(["0"]))
-            .then("," + frac)
+            .then("," + frac.str.head(2))
             .otherwise(pl.lit(""))
         )
 
-        return num + frac + pl.lit(" €")
+        montant: pl.Expr = (
+            pl.when((num + frac) == pl.lit(""))
+            .then(pl.lit(""))
+            .otherwise(num + frac + pl.lit(" €"))
+        )
+
+        return montant
+
+    def format_distance(expr):
+        expr = expr.cast(pl.String)
+        return pl.concat_str(expr, pl.lit(" km"))
+
+    if "montant" in dff.columns:
+        dff = dff.with_columns(pl.col("montant").pipe(format_montant).alias("montant"))
+    if "titulaire_distance" in dff.columns:
+        dff = dff.with_columns(
+            pl.col("titulaire_distance")
+            .pipe(format_distance)
+            .alias("titulaire_distance")
+        )
 
-    dff = dff.with_columns(pl.col("montant").pipe(format_function).alias("montant"))
     return dff
 
 
 def get_annuaire_data(siret: str) -> dict:
     url = f"https://recherche-entreprises.api.gouv.fr/search?q={siret}"
-    response = get(url)
-    return response.json()["results"][0]
+    try:
+        response = get(url).raise_for_status()
+        response = response.json()["results"][0]
+    except (HTTPError, IndexError):
+        response = None
+        logger.warning("Could not fetch data from recherche-entreprises.api.")
+    return response
 
 
-def get_decp_data() -> pl.LazyFrame:
+def get_decp_data() -> pl.DataFrame:
     # Chargement du fichier parquet
     # Le fichier est chargé en mémoire, ce qui est plus rapide qu'une base de données pour le moment.
     # On utilise polars pour la rapidité et la facilité de manipulation des données.
@@ -182,11 +241,43 @@ def get_decp_data() -> pl.LazyFrame:
     # Convertir les colonnes booléennes en chaînes de caractères
     lff = booleans_to_strings(lff)
 
+    # Mention pour les org dont on a pas le nom
+    for col in ["acheteur_nom", "titulaire_nom"]:
+        lff = lff.with_columns(
+            pl.when(pl.col(col).is_null())
+            .then(pl.lit("[Identifiant non reconnu dans la base INSEE]"))
+            .otherwise(pl.col(col))
+            .name.keep()
+        )
+
     # Bizarrement je ne peux pas faire lff = lff.fill_null("") ici
     # ça génère une erreur dans la page acheteur (acheteur_data.table) :
     # AttributeError: partially initialized module 'pandas' has no attribute 'NaT' (most likely due to a circular import)
 
-    return lff
+    return lff.collect()
+
+
+def get_org_data(dff: pl.DataFrame, org_type: str) -> pl.DataFrame:
+    lff = dff.lazy()
+    lff = lff.select(
+        "uid",
+        cs.starts_with(org_type).exclude(
+            f"{org_type}_latitude", f"{org_type}_longitude"
+        ),
+    )
+    lff = lff.group_by(cs.starts_with(org_type)).len("Marchés")
+    return lff.collect()
+
+
+def get_statistics() -> dict:
+    return (
+        get(
+            "https://www.data.gouv.fr/api/1/datasets/r/0ccf4a75-f3aa-4b46-8b6a-18aeb63e36df",
+            follow_redirects=True,
+        )
+        .raise_for_status()
+        .json()
+    )
 
 
 def get_departements() -> dict:
@@ -205,24 +296,37 @@ def get_departement_region(code_postal):
     return code_departement, nom_departement, nom_region
 
 
-def filter_table_data(lff: pl.LazyFrame, filter_query: str) -> pl.LazyFrame:
-    schema = lff.collect_schema()
+def filter_table_data(
+    lff: pl.LazyFrame, filter_query: str, filter_source: str
+) -> pl.LazyFrame:
+    _schema = lff.collect_schema()
+    track_search(filter_query, filter_source)
     filtering_expressions = filter_query.split(" && ")
     for filter_part in filtering_expressions:
         col_name, operator, filter_value = split_filter_part(filter_part)
-        col_type = str(schema[col_name])
-        print("filter_value:", filter_value)
-        print("filter_value_type:", type(filter_value))
-        print("col_type:", col_type)
+        col_type = str(_schema[col_name])
+        # logger.debug("filter_value:", filter_value)
+        # logger.debug("filter_value_type:", type(filter_value))
+        # logger.debug("operator:", operator)
+        # logger.debug("col_type:", col_type)
+
+        lff = lff.filter(pl.col(col_name).is_not_null())
 
         if col_type == "Date":
-            # Convertir la colonne en chaînes de caractères
+            # Convertir la colonne date en chaînes de caractères
             lff = dates_to_strings(lff, col_name)
+            col_type = "String"
+        if col_type == "String":
+            lff = lff.filter(pl.col(col_name) != pl.lit(""))
 
-        if operator in ("<", "<=", ">", ">="):
-            lff = lff.filter(
-                pl.col(col_name).is_not_null() & (pl.col(col_name) != pl.lit(""))
-            )
+        elif col_type.startswith("Int") or col_type.startswith("Float"):
+            try:
+                filter_value = int(filter_value)
+            except ValueError:
+                logger.error(f"Invalid numeric filter value: {filter_value}")
+                continue
+
+        if operator in ("contains", "<", "<=", ">", ">="):
             if operator == "<":
                 lff = lff.filter(pl.col(col_name) < filter_value)
             elif operator == ">":
@@ -231,17 +335,27 @@ def filter_table_data(lff: pl.LazyFrame, filter_query: str) -> pl.LazyFrame:
                 lff = lff.filter(pl.col(col_name) >= filter_value)
             elif operator == "<=":
                 lff = lff.filter(pl.col(col_name) <= filter_value)
-
-        elif col_type.startswith("Int") or col_type.startswith("Float"):
-            try:
-                filter_value = int(filter_value)
-            except ValueError:
-                logger.error(f"Invalid numeric filter value: {filter_value}")
-                continue
-            lff = lff.filter(pl.col(col_name) == filter_value)
-
-        elif operator == "contains" and col_type in ["String", "Date"]:
-            lff = lff.filter(pl.col(col_name).str.contains("(?i)" + filter_value))
+            elif operator == "contains":
+                if col_type in ["String", "Date"]:
+                    filter_value = filter_value.strip('"')
+                    if filter_value.endswith("*"):
+                        lff = lff.filter(
+                            pl.col(col_name).str.starts_with(filter_value[:-1])
+                        )
+                    elif filter_value.startswith("*"):
+                        lff = lff.filter(
+                            pl.col(col_name).str.ends_with(filter_value[1:])
+                        )
+                    else:
+                        lff = lff.filter(
+                            pl.col(col_name).str.contains("(?i)" + filter_value)
+                        )
+                elif col_type.startswith("Int") or col_type.startswith("Float"):
+                    lff = lff.filter(pl.col(col_name) == filter_value)
+                else:
+                    logger.error(f"Invalid column type: {col_type}")
+        else:
+            logger.error(f"Invalid operator: {operator}")
 
         # elif operator == 'datestartswith':
         # lff = lff.filter(pl.col(col_name).str.startswith(filter_value)")
@@ -255,12 +369,15 @@ def sort_table_data(lff: pl.LazyFrame, sort_by: list) -> pl.LazyFrame:
         descending=[col["direction"] == "desc" for col in sort_by],
         nulls_last=True,
     )
-    print(sort_by)
+    logger.debug(sort_by)
     return lff
 
 
-def setup_table_columns(dff, hideable: bool = True, exclude: list = None) -> tuple:
+def setup_table_columns(
+    dff, hideable: bool = True, exclude: list = None, new_columns: list = None
+) -> tuple:
     # Liste finale de colonnes
+    markdown_exceptions = ["montant", "titulaire_distance", "distance", "dureeMois"]
     columns = []
     tooltip = {}
     for column_id in dff.columns:
@@ -268,32 +385,384 @@ def setup_table_columns(dff, hideable: bool = True, exclude: list = None) -> tup
             continue
         column_object = data_schema.get(column_id)
         if column_object:
-            column_name = column_object.get("friendly_name", column_id)
+            column_name = column_object.get("title")
         else:
+            # Si le champ est un champ créé par erreur lors d'une jointure, on le skip
+            if column_id.endswith("_left") or column_id.endswith("_right"):
+                logger.warning(f"Champ innatendu : {column_id}")
+                continue
             column_name = column_id
+            column_object = {"title": column_name, "description": ""}
+
+        presentation = "input" if column_id in markdown_exceptions else "markdown"
 
         column = {
             "name": column_name,
             "id": column_id,
-            "presentation": "markdown",
+            "presentation": presentation,
             "type": "text",
             "format": {"nully": "N/A"},
             "hideable": hideable,
         }
         columns.append(column)
-
         if column_object:
             tooltip[column_id] = {
-                "value": f"""**{column_object.get("friendly_name")}** ({column_id})
+                "value": f"""**{column_object.get("title")}** ({column_id})
 
     """
-                + column_object["description"],
+                + column_object.get("description", ""),
                 "type": "markdown",
             }
     return columns, tooltip
 
 
-lf = get_decp_data()
+def get_default_hidden_columns(page):
+    if page == "acheteur":
+        displayed_columns = [
+            "uid",
+            "objet",
+            "dateNotification",
+            "titulaire_id",
+            "titulaire_typeIdentifiant",
+            "titulaire_nom",
+            "titulaire_distance",
+            "montant",
+            "codeCPV",
+            "dureeRestanteMois",
+        ]
+    elif page == "titulaire":
+        displayed_columns = [
+            "uid",
+            "objet",
+            "dateNotification",
+            "acheteur_id",
+            "acheteur_nom",
+            "titulaire_distance",
+            "montant",
+            "codeCPV",
+            "dureeRestanteMois",
+        ]
+    elif page == "tableau":
+        displayed_columns = os.getenv("DISPLAYED_COLUMNS")
+    else:
+        displayed_columns = os.getenv("DISPLAYED_COLUMNS")
+        logger.warning(f"Invalid page: {page}")
+
+    hidden_columns = []
+
+    for col in schema.names():
+        if col in displayed_columns:
+            continue
+        else:
+            hidden_columns.append(col)
+    return hidden_columns
+
+
+def get_data_schema() -> dict:
+    # Récupération du schéma des données tabulaires
+    path = os.getenv("DATA_SCHEMA_PATH")
+    if path.startswith("http"):
+        original_schema: dict = get(
+            os.getenv("DATA_SCHEMA_PATH"), follow_redirects=True
+        ).json()
+    elif os.path.exists(path):
+        with open(path) as f:
+            original_schema: dict = json.load(f)
+    else:
+        raise Exception(f"Chemin vers le schéma invalide: {path}")
+
+    new_schema = OrderedDict()
+
+    for col in original_schema["fields"]:
+        new_schema[col["name"]] = col
+
+    return new_schema
+
+
+def track_search(query, category):
+    if len(query) >= 4 and not development and os.getenv("MATOMO_DOMAIN"):
+        url = "https://decp.info"
+        params = {
+            "idsite": os.getenv("MATOMO_ID_SITE"),
+            "url": url,
+            "rec": "1",
+            "action_name": "search" if category == "home_page_search" else "filter",
+            "search_cat": category,
+            "rand": uuid.uuid4().hex,
+            "apiv": "1",
+            "h": localtime().tm_hour,
+            "m": localtime().tm_min,
+            "s": localtime().tm_sec,
+            "search": query,
+            "token_auth": os.getenv("MATOMO_TOKEN"),
+        }
+        post(
+            url=f"https://{os.getenv('MATOMO_DOMAIN')}/matomo.php",
+            params=params,
+        ).raise_for_status()
+
+
+def search_org(dff: pl.DataFrame, query: str, org_type: str) -> pl.DataFrame:
+    """
+    Search in either 'acheteur' or 'titulaire' DataFrame.
+
+    :param dff: Polars DataFrame with acheteur or titulaire columns
+    :param query: User search string
+    :param org_type: 'acheteur' or 'titulaire'
+    :return: Filtered DataFrame with 'matches' column
+    """
+    if not query.strip():
+        return dff.select(pl.lit(False).alias("matches"))
+
+    # Enregistrement des recherche dans Matomo
+    track_search(query, "home_page_search")
+
+    # Normalize query
+    normalized_query = unidecode(query.strip()).upper()
+    tokens = [" " + t.strip() for t in normalized_query.split() if t.strip()]
+
+    # Define columns based on entity type
+    cols = [
+        f"{org_type}_id",
+        f"{org_type}_nom",
+        f"{org_type}_departement_nom",
+        f"{org_type}_departement_code",
+        f"{org_type}_commune_nom",
+    ]
+
+    # Concatenate all fields into one string per row
+    org_str = pl.concat_str(pl.lit(" "), pl.col(cols), separator=" ").str.replace(
+        "-", " "
+    )
+
+    # For each token, create a boolean column: True if token is found
+    token_matches = []
+    for token in tokens:
+        token_match = org_str.str.contains(token).alias(f"token_{token}")
+        token_matches.append(token_match)
+
+    # Count how many tokens match per row
+    match_score = pl.sum_horizontal(token_matches).alias("match_score")
+
+    # For each token, create a boolean column: True if token is found
+    token_matches = []
+    for token in tokens:
+        token_match = org_str.str.contains(token).alias(f"token_{token}")
+        token_matches.append(token_match)
+
+    # Sélection des colonnes
+    if org_type == "acheteur":
+        dff = dff.select(cols + ["Marchés"])
+    if org_type == "titulaire":
+        dff = dff.select(cols + ["Marchés", "titulaire_typeIdentifiant"])
+
+    # Apply and filter
+    dff = (
+        dff.with_columns(token_matches + [match_score])
+        .filter(pl.col("match_score") == len(tokens))
+        .drop([f"token_{token}" for token in tokens])
+    )
+
+    # Format result
+    dff = add_links(dff)
+    dff = dff.with_columns(
+        pl.concat_str(
+            pl.col(f"{org_type}_departement_nom"),
+            pl.lit(" ("),
+            pl.col(f"{org_type}_departement_code"),
+            pl.lit(")"),
+        ).alias("Département")
+    )
+
+    dff = dff.select(f"{org_type}_id", f"{org_type}_nom", "Département", "Marchés")
+    dff = dff.group_by(f"{org_type}_id", f"{org_type}_nom", "Département").sum()
+    dff = dff.sort("Marchés", descending=True)
+
+    return dff
+
+
+def prepare_table_data(
+    data, data_timestamp, filter_query, page_current, page_size, sort_by, source_table
+):
+    """
+    Fonction de préparation des données pour les datatables, afin de permettre une gestion fine des logiques,
+    notamment pour les filtres et les tris.
+    :param data
+    :param data_timestamp:
+    :param filter_query:
+    :param page_current:
+    :param page_size:
+    :param sort_by:
+    :param source_table:
+    :return:
+    """
+
+    if os.getenv("DEVELOPMENT").lower() == "true":
+        logger.debug(" + + + + + + + + + + + + + + + + + + ")
+
+    trigger_cleanup = no_update
+
+    # Récupération des données
+    if isinstance(data, list):
+        lff: pl.LazyFrame = pl.LazyFrame(data, strict=False, infer_schema_length=5000)
+    else:
+        lff: pl.LazyFrame = df.lazy()  # start from the original data
+
+    # Application des filtres
+    if filter_query:
+        lff = filter_table_data(lff, filter_query, source_table)
+        trigger_cleanup = no_update if source_table == "tableau" else str(uuid.uuid4())
+
+    # Application des tris
+    if sort_by and len(sort_by) > 0:
+        lff = sort_table_data(lff, sort_by)
+
+    # Matérialisation des filtres
+    dff: pl.DataFrame = lff.collect()
+    height = dff.height
+
+    if height > 0:
+        nb_rows = f"{format_number(height)} lignes ({format_number(dff.select('uid').unique().height)} marchés)"
+    else:
+        nb_rows = "0 lignes (0 marchés)"
+
+    # Pagination des données
+    start_row = page_current * page_size
+    # end_row = (page_current + 1) * page_size
+    dff = dff.slice(start_row, page_size)
+
+    # Tout devient string
+    dff = dff.cast(pl.String)
+
+    # Remplace les strings null par "", mais pas les numeric null
+    dff = dff.fill_null("")
+
+    # Ajout des liens vers l'annuaire des entreprises
+    dff = add_links(dff)
+
+    # Ajout des liens vers les fichiers Open Data
+    if "sourceFile" in dff.columns:
+        dff = add_resource_link(dff)
+
+    # Formatage des montants
+    if height > 0:
+        dff = format_values(dff)
+
+    # Récupération des colonnes et tooltip
+    table_columns, tooltip = setup_table_columns(dff)
+
+    dicts = dff.to_dicts()
+
+    # Propriétés du bouton de téléchargement
+    download_disabled, download_text, download_title = get_button_properties(height)
+
+    return (
+        dicts,
+        table_columns,
+        tooltip,
+        data_timestamp + 1,
+        nb_rows,
+        download_disabled,
+        download_text,
+        download_title,
+        trigger_cleanup,
+    )
+
+
+def get_button_properties(height):
+    if height > 65000:
+        download_disabled = True
+        download_text = "Téléchargement désactivé au-delà de 65 000 lignes"
+        download_title = " Ajoutez des filtres pour réduire le nombre de lignes, Excel ne supporte pas d'avoir plus de 65 000 URLs dans une même feuille de calcul."
+    elif height == 0:
+        download_disabled = True
+        download_text = "Pas de données à télécharger"
+        download_title = ""
+    else:
+        download_disabled = False
+        download_text = "Télécharger au format Excel"
+        download_title = "Télécharger les données telles qu'affichées au format Excel"
+    return download_disabled, download_text, download_title
+
+
+def invert_columns(columns):
+    """
+    Renvoie les colonnes du schéma non spécifiées en paramètre. Utile pour passer d'une colonnes masquées à une liste de colonnes affichées, et vice versa.
+
+    :param columns:
+    :return:
+    """
+    inverted_columns = []
+    for column in schema.names():
+        if column not in columns:
+            inverted_columns.append(column)
+    return inverted_columns
+
+
+def make_org_jsonld(org_id, org_type, org_name=None, type_org_id="SIRET") -> dict:
+    org_types = {"acheteur": "GovernmentOrganization", "titulaire": "Organization"}
+    address = None
+    if type_org_id.lower() == "siret" and len(org_id) == 14:
+        annuaire_data = get_annuaire_data(org_id)
+        annuaire_address = annuaire_data["matching_etablissements"][0]
+        code_postal = annuaire_address["code_postal"]
+        commune = annuaire_address["libelle_commune"]
+
+        address = (
+            {
+                "@type": "PostalAddress",
+                "streetAddress": annuaire_address.get("adresse", "")
+                .replace(code_postal, "")
+                .replace(commune, "")
+                .strip(),
+                "addressLocality": commune,
+                "postalCode": code_postal,
+                "addressCountry": "FR",
+            },
+        )
+
+    jsonld = {
+        "@type": org_types[org_type],
+        "name": org_name,
+        "url": f"https://decp.info/{org_type}s/{org_id}",
+        "sameAs": f"https://annuaire-entreprises.data.gouv.fr/etablissement/{org_id}",
+        "identifier": {
+            "@type": "PropertyValue",
+            "propertyID": type_org_id.lower(),
+            "value": org_id,
+        },
+    }
+
+    if address:
+        jsonld["address"] = address
+
+    return jsonld
+
+
+df: pl.DataFrame = get_decp_data()
+schema = df.collect_schema()
+
+df_acheteurs = get_org_data(df, "acheteur")
+df_titulaires = get_org_data(df, "titulaire")
+df_acheteurs_departement: pl.DataFrame = (
+    df_acheteurs.select(["acheteur_id", "acheteur_nom", "acheteur_departement_code"])
+    .unique()
+    .sort("acheteur_nom")
+)
+df_titulaires_departement: pl.DataFrame = (
+    df_titulaires.select(
+        ["titulaire_id", "titulaire_nom", "titulaire_departement_code"]
+    )
+    .unique()
+    .sort("titulaire_nom")
+)
+df_acheteurs_marches: pl.DataFrame = (
+    df.select("uid", "objet", "acheteur_id").unique().sort("acheteur_id")
+)
+df_titulaires_marches: pl.DataFrame = (
+    df.select("uid", "objet", "titulaire_id").unique().sort("titulaire_id")
+)
+
 departements = get_departements()
 domain_name = (
     "test.decp.info" if os.getenv("DEVELOPMENT").lower() == "true" else "decp.info"
@@ -306,10 +775,5 @@ meta_content = {
         "Pour une commande publique accessible à toutes et tous."
     ),
 }
-
-# Récupération du schéma des données tabulaires
-data_schema: dict = get(os.getenv("DATA_SCHEMA_PATH"), follow_redirects=True).json()
-data_schema["source"] = {
-    "description": "Code de la source des données, avec un lien vers le fichier Open Data dont proviennent les données de ce marché public.",
-    "friendly_name": "Source des données",
-}
+data_schema = get_data_schema()
+columns = df.columns

tests/conftest.py

@@ -0,0 +1,50 @@
+import datetime
+import os
+
+import polars as pl
+import pytest
+from selenium.webdriver.chrome.options import Options
+
+
+@pytest.fixture(scope="session", autouse=True)
+def test_data():
+    data = [
+        {
+            "uid": "1",
+            "id": "1",
+            "acheteur_nom": "ACHETEUR 1",
+            "acheteur_id": "a1",
+            "titulaire_nom": "TITULAIRE 1",
+            "titulaire_id": "t1",
+            "montant": 10,
+            "dateNotification": datetime.date(2025, 1, 1),
+            "codeCPV": "71600000",
+            "donneesActuelles": True,
+            "acheteur_departement_code": "75",
+            "acheteur_departement_nom": "Paris",
+            "acheteur_commune_nom": "Paris",
+            "titulaire_departement_code": "35",
+            "titulaire_departement_nom": "Ille-et-Vilaine",
+            "titulaire_commune_nom": "Rennes",
+            "titulaire_distance": 10,
+            "titulaire_typeIdentifiant": "SIRET",
+            "objet": "Objet test",
+            "dureeRestanteMois": 12,
+            "lieuExecution_code": "75001",
+            "sourceFile": "test.xml",
+            "sourceDataset": "test_dataset",
+            "datePublicationDonnees": datetime.date(2025, 1, 1),
+        }
+    ]
+    path = "tests/test.parquet"
+    path = os.path.abspath(path)
+    print(f"Writing test data to: {path}")  # <-- This will show you the real path
+
+    pl.DataFrame(data).write_parquet("tests/test.parquet")
+    yield path
+
+
+def pytest_setup_options():
+    options = Options()
+    options.add_argument("--window-size=1200,800")
+    return options

tests/test_main.py

@@ -0,0 +1,60 @@
+from dash.testing.composite import DashComposite
+from selenium.webdriver import Keys
+from selenium.webdriver.common.by import By
+from selenium.webdriver.remote.webelement import WebElement
+
+
+def test_001_logo_and_search(dash_duo: DashComposite):
+    from src.app import app
+
+    dash_duo.start_server(app)
+    dash_duo.wait_for_text_to_equal(".logo > h1", "decp.info", timeout=4)
+    assert dash_duo.find_element(".logo > h1").text == "decp.info"
+
+    for org_type in ["acheteur", "titulaire"]:
+        name = f"{org_type.upper()} 1"
+        search_bar: WebElement = dash_duo.find_element("#search")
+
+        dash_duo.clear_input(search_bar)
+
+        search_bar.send_keys(name)
+        search_bar.send_keys(Keys.ENTER)
+
+        dash_duo.wait_for_element(f"#results_{org_type}_datatable", timeout=2)
+        result_table: WebElement = dash_duo.find_element(
+            f"#results_{org_type}_datatable tbody"
+        )
+
+        assert len(result_table.find_elements(by=By.TAG_NAME, value="tr")) == 2, (
+            "The search should return only one result"
+        )  # header row + 1 result
+        assert (
+            result_table.find_element(
+                by=By.CSS_SELECTOR, value=f'td[data-dash-column="{org_type}_nom"]'
+            ).text
+            == name
+        ), f"The search result should have the right {org_type} name"
+
+
+def test_002_filter_persistence(dash_duo: DashComposite):
+    from src.app import app
+
+    dash_duo.start_server(app)
+    dash_duo.wait_for_text_to_equal(".logo > h1", "decp.info", timeout=4)
+
+    def open_page_and_check_filter_input():
+        dash_duo.wait_for_page(f"{dash_duo.server_url}/{page}")
+        filter_input_selector = (
+            '.marches_table th[data-dash-column="uid"] input[type="text"]'
+        )
+        dash_duo.wait_for_element(filter_input_selector, timeout=2)
+        _filter_input: WebElement = dash_duo.find_element(filter_input_selector)
+        return _filter_input
+
+    for page in ["tableau", "acheteurs/a1", "titulaires/t1"]:
+        print("page:", page)
+        filter_input = open_page_and_check_filter_input()
+        filter_input.send_keys("11")  # a UID that doesn't exist
+        filter_input.send_keys(Keys.ENTER)
+        filter_input = open_page_and_check_filter_input()
+        assert filter_input.get_attribute("value") == "11"