Merge branch 'main' into feature/28_vue_acheteur
This commit is contained in:
@@ -19,7 +19,7 @@ jobs:
|
|||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
environment: ${{ github.ref_name }}
|
environment: ${{ github.ref_name }}
|
||||||
steps:
|
steps:
|
||||||
- name: Checkout repositorypu
|
- name: Checkout repository
|
||||||
uses: actions/checkout@v3
|
uses: actions/checkout@v3
|
||||||
|
|
||||||
- name: Set up SSH key
|
- name: Set up SSH key
|
||||||
@@ -40,4 +40,4 @@ jobs:
|
|||||||
key: ${{ secrets.ARTIFACT_SSH_KEY }}
|
key: ${{ secrets.ARTIFACT_SSH_KEY }}
|
||||||
passphrase: ${{ secrets.SSH_PSWD }}
|
passphrase: ${{ secrets.SSH_PSWD }}
|
||||||
command_timeout: 5m
|
command_timeout: 5m
|
||||||
script: ${{ secrets.APP_PATH }}/deploy.sh
|
script: ${{ secrets.APP_PATH }}/deploy.sh ${{ env.APP_NAME }}
|
||||||
|
|||||||
@@ -1,3 +1,4 @@
|
|||||||
DATA_FILE_PARQUET_PATH=https://www.data.gouv.fr/fr/datasets/r/11cea8e8-df3e-4ed1-932b-781e2635e432
|
DATA_FILE_PARQUET_PATH=https://www.data.gouv.fr/fr/datasets/r/11cea8e8-df3e-4ed1-932b-781e2635e432
|
||||||
PORT=8050
|
PORT=8050
|
||||||
DEVELOPMENT=True
|
DEVELOPMENT=True
|
||||||
|
SOURCE_STATS_CSV_PATH="https://www.data.gouv.fr/api/1/datasets/r/8ded94de-3b80-4840-a5bb-7faad1c9c234"
|
||||||
|
|||||||
@@ -0,0 +1,16 @@
|
|||||||
|
decp.info is a web application that enable analysis and download of
|
||||||
|
French public procurement data.
|
||||||
|
Copyright (C) 2025 Colin Maudry
|
||||||
|
|
||||||
|
This program is free software: you can redistribute it and/or modify
|
||||||
|
it under the terms of the GNU General Public License as published by
|
||||||
|
the Free Software Foundation, either version 3 of the License, or
|
||||||
|
(at your option) any later version.
|
||||||
|
|
||||||
|
This program is distributed in the hope that it will be useful,
|
||||||
|
but WITHOUT ANY WARRANTY; without even the implied warranty of
|
||||||
|
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
|
||||||
|
GNU General Public License for more details.
|
||||||
|
|
||||||
|
You should have received a copy of the GNU General Public License
|
||||||
|
along with this program. If not, see <https://www.gnu.org/licenses/>.
|
||||||
@@ -1,5 +1,7 @@
|
|||||||
# decp.info
|
# decp.info
|
||||||
|
|
||||||
|
> v2.0.1
|
||||||
|
|
||||||
Outil d'exploration et de téléchargement des données essentielles de la commande publique.
|
Outil d'exploration et de téléchargement des données essentielles de la commande publique.
|
||||||
|
|
||||||
=> [decp.info](https://decp.info)
|
=> [decp.info](https://decp.info)
|
||||||
@@ -10,16 +12,44 @@ Outil d'exploration et de téléchargement des données essentielles de la comma
|
|||||||
python -m venv .venv
|
python -m venv .venv
|
||||||
source .venv/bin/activate
|
source .venv/bin/activate
|
||||||
pip install .
|
pip install .
|
||||||
|
|
||||||
|
# Copie et personnalisation du .env
|
||||||
|
cp template.env .env
|
||||||
|
nano .env
|
||||||
|
|
||||||
|
# Pour la production
|
||||||
gunicorn app:server
|
gunicorn app:server
|
||||||
|
|
||||||
|
# Pour avoir le debuggage et le hot reload
|
||||||
|
python run.py
|
||||||
```
|
```
|
||||||
## Dépôts de code connexes
|
|
||||||
|
## Déploiement
|
||||||
|
|
||||||
|
- **Production** (branche `main`, [decp.info](https://decp.info)) : déploiement manuel via un déclenchement de la Github Action [Déploiement](https://github.com/ColinMaudry/decp.info/actions/workflows/deploy.yaml).
|
||||||
|
- **Test** (branche `dev`, [test.decp.info](https://test.decp.info)) : déploiement automatique à chaque push sur la branche `dev`, via la même Github Action.
|
||||||
|
|
||||||
|
## Liens connexes
|
||||||
|
|
||||||
- [decp-processing](https://github.com/ColinMaudry/decp-processing) (traitement et publication des données)
|
- [decp-processing](https://github.com/ColinMaudry/decp-processing) (traitement et publication des données)
|
||||||
- [decp-table-schema](https://github.com/ColinMaudry/decp-table-schema) (schéma de données tabulaire)
|
- [colin.maudry.com](https://colin.maudry.com) (blog)
|
||||||
|
|
||||||
## Notes de version
|
## Notes de version
|
||||||
|
|
||||||
### 2.0.0-alpha
|
#### 2.0.1 (23 septembre 2025)
|
||||||
|
|
||||||
|
- Bloquage du bouton de téléchargement si trop de lignes (+ 65000) [#38](https://github.com/ColinMaudry/decp.info/issues/38)
|
||||||
|
- Amélioration du script de déploiement (deploy.sh)
|
||||||
|
- Meilleures instructions d'installation et lancement
|
||||||
|
- Coquilles 🐚
|
||||||
|
|
||||||
|
### 2.0.0 (23 septembre 2025)
|
||||||
|
|
||||||
|
- détails des sources de données
|
||||||
|
- section "À propos" plus développée
|
||||||
|
- correction de bugs dans les filtres de la data table
|
||||||
|
|
||||||
|
#### 2.0.0-alpha
|
||||||
|
|
||||||
- Data table fonctionnelle
|
- Data table fonctionnelle
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,15 @@
|
|||||||
|
#!bin/bash
|
||||||
|
|
||||||
|
# Utilisé principalement avec les Github Actions
|
||||||
|
# cf. .github/workflows/deploy.yaml
|
||||||
|
|
||||||
|
appname = "$1"
|
||||||
|
|
||||||
|
systemctl stop $appname
|
||||||
|
cd /var/www/$appname
|
||||||
|
git pull
|
||||||
|
source .venv/bin/activate
|
||||||
|
pip install .
|
||||||
|
deactivate
|
||||||
|
chown -R $appname:www-data *
|
||||||
|
systemctl start $appname
|
||||||
+2
-1
@@ -1,13 +1,14 @@
|
|||||||
[project]
|
[project]
|
||||||
name = "decp.info"
|
name = "decp.info"
|
||||||
description = ""
|
description = ""
|
||||||
version = "2.0.0"
|
version = "2.0.1"
|
||||||
requires-python = ">= 3.10"
|
requires-python = ">= 3.10"
|
||||||
authors = [
|
authors = [
|
||||||
{ name = "Colin Maudry", email = "colin+decp@maudry.com" }
|
{ name = "Colin Maudry", email = "colin+decp@maudry.com" }
|
||||||
]
|
]
|
||||||
dependencies = [
|
dependencies = [
|
||||||
"dash==3.2.0",
|
"dash==3.2.0",
|
||||||
|
"dash[compress]",
|
||||||
"polars",
|
"polars",
|
||||||
"gunicorn",
|
"gunicorn",
|
||||||
"dash-bootstrap-components",
|
"dash-bootstrap-components",
|
||||||
|
|||||||
+14
-1
@@ -2,13 +2,26 @@ import logging
|
|||||||
|
|
||||||
import dash_bootstrap_components as dbc
|
import dash_bootstrap_components as dbc
|
||||||
from dash import Dash, dcc, html, page_container, page_registry
|
from dash import Dash, dcc, html, page_container, page_registry
|
||||||
|
from flask import send_from_directory
|
||||||
|
|
||||||
app = Dash(external_stylesheets=[dbc.themes.SIMPLEX], title="decp.info", use_pages=True)
|
app = Dash(
|
||||||
|
external_stylesheets=[dbc.themes.SIMPLEX],
|
||||||
|
title="decp.info",
|
||||||
|
use_pages=True,
|
||||||
|
compress=True,
|
||||||
|
)
|
||||||
# COSMO (belle font, blue),
|
# COSMO (belle font, blue),
|
||||||
# UNITED (rouge, ubuntu font),
|
# UNITED (rouge, ubuntu font),
|
||||||
# LUMEN (gros séparateur, blue clair),
|
# LUMEN (gros séparateur, blue clair),
|
||||||
# SIMPLEX (rouge, séparateur)
|
# SIMPLEX (rouge, séparateur)
|
||||||
|
|
||||||
|
|
||||||
|
# robots.txt
|
||||||
|
@app.server.route("/robots.txt")
|
||||||
|
def robots():
|
||||||
|
return send_from_directory("./assets", "robots.txt", mimetype="text/plain")
|
||||||
|
|
||||||
|
|
||||||
logger = logging.getLogger("decp.info")
|
logger = logging.getLogger("decp.info")
|
||||||
logging.basicConfig(
|
logging.basicConfig(
|
||||||
format="%(asctime)s %(levelname)-8s %(message)s",
|
format="%(asctime)s %(levelname)-8s %(message)s",
|
||||||
|
|||||||
@@ -0,0 +1,41 @@
|
|||||||
|
# START YOAST BLOCK
|
||||||
|
# Copié depuis https://next.ink/robots.txt
|
||||||
|
# ---------------------------
|
||||||
|
User-agent: *
|
||||||
|
Allow: /
|
||||||
|
|
||||||
|
# ---------------------------
|
||||||
|
# END YOAST BLOCK
|
||||||
|
|
||||||
|
User-agent: GPTBot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: ChatGPT-User
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Google-Extended
|
||||||
|
Disallow: /
|
||||||
|
User-agent: PerplexityBot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Amazonbot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: ClaudeBot
|
||||||
|
Disallow: /
|
||||||
|
User-Agent: FacebookBot
|
||||||
|
Disallow: /
|
||||||
|
User-Agent: Applebot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: anthropic-ai
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Bytespider
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Claude-Web
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Diffbot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: ImagesiftBot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Omgilibot
|
||||||
|
Disallow: /
|
||||||
|
User-agent: Omgili
|
||||||
|
Disallow: /
|
||||||
|
User-agent: YouBot
|
||||||
|
Disallow: /
|
||||||
@@ -10,6 +10,14 @@
|
|||||||
float: left;
|
float: left;
|
||||||
}
|
}
|
||||||
|
|
||||||
|
#source_table p {
|
||||||
|
line-height: 1.5;
|
||||||
|
}
|
||||||
|
|
||||||
|
#source_table {
|
||||||
|
margin-bottom: 25px;
|
||||||
|
}
|
||||||
|
|
||||||
/* Réduire la taille du texte de la colonne Objet */
|
/* Réduire la taille du texte de la colonne Objet */
|
||||||
|
|
||||||
td[data-dash-column="objet"] {
|
td[data-dash-column="objet"] {
|
||||||
|
|||||||
+82
-15
@@ -2,15 +2,16 @@ import json
|
|||||||
|
|
||||||
import plotly.express as px
|
import plotly.express as px
|
||||||
import polars as pl
|
import polars as pl
|
||||||
|
from dash import dash_table, html
|
||||||
|
|
||||||
|
|
||||||
def get_map_count_marches(lf):
|
def get_map_count_marches(lf: pl.LazyFrame):
|
||||||
lf = lf.with_columns(
|
lf = lf.with_columns(
|
||||||
pl.col("lieuExecution_code").str.head(2).str.zfill(2).alias("Département")
|
pl.col("lieuExecution_code").str.head(2).str.zfill(2).alias("Département")
|
||||||
)
|
)
|
||||||
lf = (
|
lf = (
|
||||||
lf.unique(subset="uid")
|
lf.select(["uid", "Département"])
|
||||||
.select(["uid", "Département"])
|
.drop_nulls()
|
||||||
.unique(subset="uid")
|
.unique(subset="uid")
|
||||||
.group_by("Département")
|
.group_by("Département")
|
||||||
.len("uid")
|
.len("uid")
|
||||||
@@ -59,34 +60,100 @@ def get_barchart_sources(lf: pl.LazyFrame, type_date: str):
|
|||||||
"datePublicationDonnees": "publication des données",
|
"datePublicationDonnees": "publication des données",
|
||||||
}
|
}
|
||||||
|
|
||||||
lf = lf.select("uid", type_date, "source")
|
lf = lf.select("uid", type_date, "sourceDataset")
|
||||||
|
|
||||||
lf = lf.unique("uid")
|
lf = lf.unique("uid")
|
||||||
|
|
||||||
|
# Rassemblement des datasets Atexo pour ne pas surcharger le graphique
|
||||||
|
lf = lf.with_columns(
|
||||||
|
pl.when(pl.col("sourceDataset").str.starts_with("atexo"))
|
||||||
|
.then(pl.lit("plateformes atexo"))
|
||||||
|
.otherwise(pl.col("sourceDataset"))
|
||||||
|
.alias("sourceDataset")
|
||||||
|
)
|
||||||
|
|
||||||
|
# Rassemblement des datasets AWS pour ne pas surcharger le graphique
|
||||||
|
lf = lf.with_columns(
|
||||||
|
pl.when(pl.col("sourceDataset").str.contains(r"aws|marches\-publics.info"))
|
||||||
|
.then(pl.lit("aws"))
|
||||||
|
.otherwise(pl.col("sourceDataset"))
|
||||||
|
.alias("sourceDataset")
|
||||||
|
)
|
||||||
|
|
||||||
lf = lf.with_columns(pl.col(type_date).dt.year().alias("annee"))
|
lf = lf.with_columns(pl.col(type_date).dt.year().alias("annee"))
|
||||||
lf = lf.filter(
|
lf = lf.filter(
|
||||||
pl.col(type_date).is_not_null() & pl.col("annee").is_between(2018, 2025)
|
pl.col(type_date).is_not_null() & pl.col("annee").is_between(2019, 2025)
|
||||||
)
|
)
|
||||||
lf = lf.sort(by=[type_date, "source"], descending=False)
|
|
||||||
lf = lf.with_columns(pl.col(type_date).cast(pl.String).str.head(7))
|
lf = lf.with_columns(pl.col(type_date).cast(pl.String).str.head(7))
|
||||||
|
lf = (
|
||||||
|
lf.group_by([type_date, "sourceDataset"])
|
||||||
|
.len()
|
||||||
|
.sort(by=[type_date, "len"], descending=True)
|
||||||
|
)
|
||||||
|
|
||||||
lf = lf.group_by([type_date, "source"]).len()
|
# lf = lf.with_columns(
|
||||||
lf = lf.with_columns(
|
# pl.when(pl.col("sourceDataset").is_null()).then(
|
||||||
pl.when(pl.col("source").is_null()).then(
|
# pl.lit("Source inconnue")).alias("sourceDataset")
|
||||||
pl.lit("Source inconnue").alias("source")
|
# )
|
||||||
)
|
|
||||||
)
|
lf = lf.sort(by=["sourceDataset"], descending=False)
|
||||||
lf = lf.sort(by=[type_date, "source"], descending=False)
|
|
||||||
df: pl.DataFrame = lf.collect()
|
df: pl.DataFrame = lf.collect()
|
||||||
|
|
||||||
fig = px.bar(
|
fig = px.bar(
|
||||||
df,
|
df,
|
||||||
x=type_date,
|
x=type_date,
|
||||||
y="len",
|
y="len",
|
||||||
color="source",
|
color="sourceDataset",
|
||||||
title=f"Nombre de marchés attribués par date de {labels[type_date]} et source de données",
|
title=f"Nombre de marchés attribués par date de {labels[type_date]} et source de données",
|
||||||
labels={
|
labels={
|
||||||
"len": "Nombre de marchés",
|
"len": "Nombre de marchés",
|
||||||
type_date: f"Mois de {labels[type_date]}",
|
type_date: f"Mois de {labels[type_date]}",
|
||||||
"source": "Source de données",
|
"sourceDataset": "Source de données",
|
||||||
},
|
},
|
||||||
)
|
)
|
||||||
|
|
||||||
return fig
|
return fig
|
||||||
|
|
||||||
|
|
||||||
|
def get_sources_tables(source_path) -> html.Div:
|
||||||
|
df = pl.read_csv(source_path)
|
||||||
|
df = df.with_columns(
|
||||||
|
(
|
||||||
|
pl.lit('<a href = "')
|
||||||
|
+ pl.col("url")
|
||||||
|
+ pl.lit('">')
|
||||||
|
+ pl.col("nom")
|
||||||
|
+ pl.lit("</a>")
|
||||||
|
).alias("nom")
|
||||||
|
)
|
||||||
|
df = df.drop("url")
|
||||||
|
df = df.sort(by=["nb_marchés"], descending=True)
|
||||||
|
|
||||||
|
datatable = dash_table.DataTable(
|
||||||
|
id="source_table",
|
||||||
|
columns=[
|
||||||
|
{
|
||||||
|
"name": i,
|
||||||
|
"id": i,
|
||||||
|
"presentation": "markdown",
|
||||||
|
"type": "text",
|
||||||
|
"format": {"nully": "N/A"},
|
||||||
|
}
|
||||||
|
for i in df.schema.names()
|
||||||
|
],
|
||||||
|
style_cell_conditional=[
|
||||||
|
{
|
||||||
|
"if": {"column_id": ["nom", "organisation"]},
|
||||||
|
"minWidth": "350px",
|
||||||
|
"textAlign": "left",
|
||||||
|
"overflow": "hidden",
|
||||||
|
"lineHeight": "14px",
|
||||||
|
"whiteSpace": "normal",
|
||||||
|
},
|
||||||
|
],
|
||||||
|
sort_action="native",
|
||||||
|
markdown_options={"html": True},
|
||||||
|
)
|
||||||
|
datatable.data = df.to_dicts()
|
||||||
|
|
||||||
|
return html.Div(children=datatable)
|
||||||
|
|||||||
+62
-10
@@ -1,7 +1,14 @@
|
|||||||
|
import os
|
||||||
|
|
||||||
from dash import dcc, html, register_page
|
from dash import dcc, html, register_page
|
||||||
|
from dotenv import load_dotenv
|
||||||
|
|
||||||
|
from src.figures import get_sources_tables
|
||||||
|
|
||||||
title = "À propos"
|
title = "À propos"
|
||||||
|
|
||||||
|
load_dotenv()
|
||||||
|
|
||||||
register_page(
|
register_page(
|
||||||
__name__, path="/a-propos", title=f"decp.info - {title}", name=title, order=5
|
__name__, path="/a-propos", title=f"decp.info - {title}", name=title, order=5
|
||||||
)
|
)
|
||||||
@@ -12,7 +19,7 @@ layout = [
|
|||||||
children=[
|
children=[
|
||||||
html.H2(title),
|
html.H2(title),
|
||||||
dcc.Markdown(
|
dcc.Markdown(
|
||||||
"""Outil d'exploration des [Données Essentielles de la Commande Publique](), développé par Colin Maudry, sous licence GPL v3 (libre et gratuit).
|
"""Outil d'exploration libre et gratuit des données de marchés publics, développé par Colin Maudry.
|
||||||
|
|
||||||
Ce projet vise à démocratiser l'accès aux données des marchés publics et à un outil performant et gratuit. Si vous le trouvez utile
|
Ce projet vise à démocratiser l'accès aux données des marchés publics et à un outil performant et gratuit. Si vous le trouvez utile
|
||||||
j'aimerais beaucoup échanger avec vous pour comprendre vos cas d'usages et vos besoins. Cet outil ne peut rester performant que si je comprends les problèmes qu'il peut aider à résoudre. Ce projet ne peut rester gratuit que grâce au financement du développement de nouvelles fonctionnalités.
|
j'aimerais beaucoup échanger avec vous pour comprendre vos cas d'usages et vos besoins. Cet outil ne peut rester performant que si je comprends les problèmes qu'il peut aider à résoudre. Ce projet ne peut rester gratuit que grâce au financement du développement de nouvelles fonctionnalités.
|
||||||
@@ -21,28 +28,73 @@ En effet, le potentiel des données d'attribution de marchés et des données qu
|
|||||||
les fonctionnalités actuelles de decp.info. Il est ainsi possible de rajouter
|
les fonctionnalités actuelles de decp.info. Il est ainsi possible de rajouter
|
||||||
|
|
||||||
- de nombreuses visualisations de données (cartes, graphiques, tableaux) sur des thématiques variées (vivacité de la concurrence, secteurs d'activité, insertion par l'activité économique (IAE), distance acheteur-fournisseur...)
|
- de nombreuses visualisations de données (cartes, graphiques, tableaux) sur des thématiques variées (vivacité de la concurrence, secteurs d'activité, insertion par l'activité économique (IAE), distance acheteur-fournisseur...)
|
||||||
- la sauvegarde de filtre pour les retrouver plus tard et les partager
|
- la sauvegarde de filtres pour les retrouver plus tard et les partager
|
||||||
- des alertes par email si des marchés correspondant à certains critères
|
- des alertes par email si des marchés correspondant à certains critères
|
||||||
- le développement d'une API pour alimenter d'autres logiciels
|
- le développement d'une API pour alimenter d'autres logiciels
|
||||||
- ...et toutes les fonctionnalités auxquelles vous pourrez penser :)
|
- ...et toutes les fonctionnalités auxquelles vous pourrez penser
|
||||||
|
"""
|
||||||
|
),
|
||||||
|
html.H4("Pour contribuer", id="contribuer"),
|
||||||
|
dcc.Markdown("""
|
||||||
|
- via l'achat d'une prestation de service (devis, prestation, facture), vous pouvez financer le développement de [fonctionnalités prévues](https://github.com/ColinMaudry/decp.info/issues), ou d'autres !
|
||||||
|
- ma société accepte aussi les dons (pas de réduction d'impôt possible)
|
||||||
|
- envoyez un mail et on discute !
|
||||||
|
|
||||||
#### Pour aller plus loin
|
#### Pour explorer le projet
|
||||||
|
|
||||||
- ✉️ [inscription à la liste de diffusion](https://6254d9a3.sibforms.com/serve/MUIFAEonUVkoSVrdgey18CTgLyI16xw4yeu-M-YOUzhWE_AgfQfbgkyT7GvA_RYLro9MfuRqkzQxSvu7-uzbMSv2a2ZQPsliM7wtiiqIL8kR2zOvl6m11fb5qjcOxMAYsLiY_YBi3P7NY95CTJ8vRY4CpsDclF2iLooOElKkTgIgi5nePe7zAIrgiYM5v2EuALlGJZMEG9vBP-Cu) (annonces des mises à jour et évènements, maximum une fois par mois)
|
- ✉️ [inscription à la liste de diffusion](https://6254d9a3.sibforms.com/serve/MUIFAEonUVkoSVrdgey18CTgLyI16xw4yeu-M-YOUzhWE_AgfQfbgkyT7GvA_RYLro9MfuRqkzQxSvu7-uzbMSv2a2ZQPsliM7wtiiqIL8kR2zOvl6m11fb5qjcOxMAYsLiY_YBi3P7NY95CTJ8vRY4CpsDclF2iLooOElKkTgIgi5nePe7zAIrgiYM5v2EuALlGJZMEG9vBP-Cu) (annonces des mises à jour et évènements, maximum une fois par mois)
|
||||||
|
- 💾 [données consolidées en Open Data](https://www.data.gouv.fr/datasets/donnees-essentielles-de-la-commande-publique-consolidees-format-tabulaire/)
|
||||||
|
- 🗞️ [mon blog](https://colin.maudry.com), qui parle beaucoup de transparence des marchés publics
|
||||||
- 📔 [wiki du projet](https://github.com/ColinMaudry/decp-processing/wiki)
|
- 📔 [wiki du projet](https://github.com/ColinMaudry/decp-processing/wiki)
|
||||||
- 🚰 code source
|
- 🚰 code source
|
||||||
- [de decp.info](https://github.com/ColinMaudry/decp.info)
|
- [de decp.info](https://github.com/ColinMaudry/decp.info)
|
||||||
- [du traitement des données](https://github.com/ColinMaudry/decp-processing)
|
- [du traitement des données](https://github.com/ColinMaudry/decp-processing)
|
||||||
|
"""),
|
||||||
#### Contact
|
html.H4("Contact", id="contact"),
|
||||||
|
dcc.Markdown("""
|
||||||
- venez discuter de la transparence de la commande publique [sur le forum teamopendata.org](https://teamopendata.org/c/commande-publique/101)
|
|
||||||
- Email : [colin+decp@maudry.com](mailto:colin+decp@maudry.com)
|
- Email : [colin+decp@maudry.com](mailto:colin+decp@maudry.com)
|
||||||
- Bluesky : [@col1m.bsky.social](https://bsky.app/profile/col1m.bsky.social)
|
- Bluesky : [@col1m.bsky.social](https://bsky.app/profile/col1m.bsky.social)
|
||||||
- Mastodon : [col1m@mamot.fr](https://mamot.fr/@col1m)
|
- Mastodon : [col1m@mamot.fr](https://mamot.fr/@col1m)
|
||||||
- LinkedIn : [colinmaudry](https://www.linkedin.com/in/colinmaudry/)
|
- LinkedIn : [colinmaudry](https://www.linkedin.com/in/colinmaudry/)
|
||||||
"""
|
- venez discuter de la transparence de la commande publique [sur le forum teamopendata.org](https://teamopendata.org/c/commande-publique/101)
|
||||||
),
|
"""),
|
||||||
|
html.H4("Sources de données", id="sources"),
|
||||||
|
get_sources_tables(os.getenv("SOURCE_STATS_CSV_PATH")),
|
||||||
|
html.H4("Mentions légales", id="mentions-legales"),
|
||||||
|
dcc.Markdown("""
|
||||||
|
##### Publication
|
||||||
|
|
||||||
|
Site Web développé et édité par [SAS Colmo](https://annuaire-entreprises.data.gouv.fr/entreprise/colmo-989393350), 989 393 350 RCS Rennes au capital de 3 000 euros.
|
||||||
|
|
||||||
|
Siège social : 1 carrefour Jouaust, 35000 Rennes
|
||||||
|
|
||||||
|
Hébergement : serveur situé en France et administré par Scaleway, 8 rue de la Ville l’Evêque, 75008 Paris
|
||||||
|
|
||||||
|
##### Suivi d'audience
|
||||||
|
|
||||||
|
Ce site dépose un petit fichier texte (un « cookie ») sur votre ordinateur lorsque vous le consultez ([Wikipédia](https://fr.wikipedia.org/wiki/Cookie_(informatique))). Cela me permet de mesurer le nombre de visites, de distinguer les nouveaux visiteurs des utilisateurs réguliers et ainsi de communiquer sur l'impact de decp.info.
|
||||||
|
|
||||||
|
**Ce site n’affiche pas de bannière de consentement aux cookies, pourquoi ?**
|
||||||
|
|
||||||
|
C’est vrai, vous n’avez pas eu à cliquer sur un bloc qui recouvre la moitié de la page pour dire que vous êtes d’accord avec le dépôt de cookies.
|
||||||
|
|
||||||
|
Rien d’exceptionnel, je respecte simplement la loi, qui dit que certains outils de suivi d’audience, correctement configurés pour respecter la vie privée, sont exemptés d’autorisation préalable.
|
||||||
|
|
||||||
|
J’utilise pour cela [Matomo](https://matomo.org/), un outil [libre](https://matomo.org/free-software/), paramétré pour être en conformité avec [la recommandation « Cookies »](https://www.cnil.fr/fr/solutions-pour-les-cookies-de-mesure-daudience) de la CNIL. Cela signifie que votre adresse IP, par exemple, est anonymisée avant d’être enregistrée. Il m’est donc impossible d’associer vos visites sur ce site à votre personne."""),
|
||||||
|
# Matomo propose cependant ce formulaire si vous souhaitez totalement désactiver le suivi de vos sessions sur ce site :"""),
|
||||||
|
# html.Div(
|
||||||
|
# id="matomo-opt-out",
|
||||||
|
# style={
|
||||||
|
# "border": "1pt solid lightgrey",
|
||||||
|
# "padding": "12px",
|
||||||
|
# "margin": "auto 0 auto 12px",
|
||||||
|
# "width": "80%",
|
||||||
|
# },
|
||||||
|
# children=["Vous utilisez un bloqueur de suivi de trafic."],
|
||||||
|
# ),
|
||||||
|
# html.Script(
|
||||||
|
# src="https://analytics.maudry.com/index.php?module=CoreAdminHome&action=optOutJS&divId=matomo-opt-out&language=auto&showIntro=1"
|
||||||
|
# ),
|
||||||
],
|
],
|
||||||
)
|
)
|
||||||
]
|
]
|
||||||
|
|||||||
+41
-8
@@ -24,8 +24,6 @@ df_filtered = pl.DataFrame()
|
|||||||
# Suppression des colonnes inutiles
|
# Suppression des colonnes inutiles
|
||||||
lf = lf.drop(
|
lf = lf.drop(
|
||||||
[
|
[
|
||||||
"titulaire_siren",
|
|
||||||
"acheteur_siren",
|
|
||||||
"donneesActuelles",
|
"donneesActuelles",
|
||||||
]
|
]
|
||||||
)
|
)
|
||||||
@@ -81,6 +79,14 @@ datatable = dash_table.DataTable(
|
|||||||
"lineHeight": "14px",
|
"lineHeight": "14px",
|
||||||
"whiteSpace": "normal",
|
"whiteSpace": "normal",
|
||||||
},
|
},
|
||||||
|
{
|
||||||
|
"if": {"column_id": "acheteur_nom"},
|
||||||
|
"minWidth": "250px",
|
||||||
|
"textAlign": "left",
|
||||||
|
"overflow": "hidden",
|
||||||
|
"lineHeight": "14px",
|
||||||
|
"whiteSpace": "normal",
|
||||||
|
},
|
||||||
],
|
],
|
||||||
data_timestamp=0,
|
data_timestamp=0,
|
||||||
markdown_options={"html": True},
|
markdown_options={"html": True},
|
||||||
@@ -90,7 +96,9 @@ layout = [
|
|||||||
html.Div(
|
html.Div(
|
||||||
html.Details(
|
html.Details(
|
||||||
children=[
|
children=[
|
||||||
html.Summary(html.H3("Mode d'emploi")),
|
html.Summary(
|
||||||
|
html.H3("Mode d'emploi", style={"text-decoration": "underline"}),
|
||||||
|
),
|
||||||
dcc.Markdown(
|
dcc.Markdown(
|
||||||
"""
|
"""
|
||||||
|
|
||||||
@@ -129,7 +137,11 @@ layout = [
|
|||||||
html.Div(
|
html.Div(
|
||||||
[
|
[
|
||||||
html.P("lignes", id="nb_rows"),
|
html.P("lignes", id="nb_rows"),
|
||||||
html.Button("Télécharger au format Excel", id="btn-download-data"),
|
html.Button(
|
||||||
|
"Téléchargement désactivé au-delà de 65 000 lignes",
|
||||||
|
id="btn-download-data",
|
||||||
|
disabled=True,
|
||||||
|
),
|
||||||
dcc.Download(id="download-data"),
|
dcc.Download(id="download-data"),
|
||||||
html.P("Données mises à jour le " + str(update_date)),
|
html.P("Données mises à jour le " + str(update_date)),
|
||||||
],
|
],
|
||||||
@@ -145,6 +157,9 @@ layout = [
|
|||||||
Output("table", "data"),
|
Output("table", "data"),
|
||||||
Output("table", "data_timestamp"),
|
Output("table", "data_timestamp"),
|
||||||
Output("nb_rows", "children"),
|
Output("nb_rows", "children"),
|
||||||
|
Output("btn-download-data", "disabled"),
|
||||||
|
Output("btn-download-data", "children"),
|
||||||
|
Output("btn-download-data", "title"),
|
||||||
Input("table", "page_current"),
|
Input("table", "page_current"),
|
||||||
Input("table", "page_size"),
|
Input("table", "page_size"),
|
||||||
Input("table", "filter_query"),
|
Input("table", "filter_query"),
|
||||||
@@ -203,7 +218,9 @@ def update_table(page_current, page_size, filter_query, sort_by, data_timestamp)
|
|||||||
|
|
||||||
df_filtered = dff.clone()
|
df_filtered = dff.clone()
|
||||||
|
|
||||||
nb_rows = f"{format_number(dff.height)} lignes"
|
height = dff.height
|
||||||
|
|
||||||
|
nb_rows = f"{format_number(height)} lignes"
|
||||||
|
|
||||||
# Pagination des données
|
# Pagination des données
|
||||||
start_row = page_current * page_size
|
start_row = page_current * page_size
|
||||||
@@ -211,7 +228,23 @@ def update_table(page_current, page_size, filter_query, sort_by, data_timestamp)
|
|||||||
dff = dff.slice(start_row, page_size)
|
dff = dff.slice(start_row, page_size)
|
||||||
dicts = dff.to_dicts()
|
dicts = dff.to_dicts()
|
||||||
|
|
||||||
return dicts, data_timestamp + 1, nb_rows
|
if height > 65000:
|
||||||
|
download_disabled = True
|
||||||
|
download_text = "Téléchargement désactivé au-delà de 65 000 lignes"
|
||||||
|
download_title = "Excel ne supporte pas d'avoir plus de 65 000 URLs dans une même feuille de calcul. Contactez-moi pour me présenter votre besoin en téléchargement afin que je puisse adapter la solution."
|
||||||
|
else:
|
||||||
|
download_disabled = False
|
||||||
|
download_text = "Télécharger au format Excel"
|
||||||
|
download_title = ""
|
||||||
|
|
||||||
|
return (
|
||||||
|
dicts,
|
||||||
|
data_timestamp + 1,
|
||||||
|
nb_rows,
|
||||||
|
download_disabled,
|
||||||
|
download_text,
|
||||||
|
download_title,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
@callback(
|
@callback(
|
||||||
@@ -227,8 +260,8 @@ def download_data(n_clicks, hidden_columns: list = None):
|
|||||||
|
|
||||||
# Rétablissement des colonnes source et sourceOpenData (voir add_resource_link)
|
# Rétablissement des colonnes source et sourceOpenData (voir add_resource_link)
|
||||||
df_to_download = df_to_download.with_columns(
|
df_to_download = df_to_download.with_columns(
|
||||||
pl.col("source").str.extract(r'href="(.*?)"').alias("sourceOpenData"),
|
pl.col("source").str.extract(r'href="(.*?)"').alias("sourceFile"),
|
||||||
pl.col("source").str.extract(r'">(.*?)<').alias("source"),
|
pl.col("source").str.extract(r'">(.*?)<').alias("sourceDataset"),
|
||||||
)
|
)
|
||||||
|
|
||||||
# Les colonnes masquées sont supprimées
|
# Les colonnes masquées sont supprimées
|
||||||
|
|||||||
+11
-21
@@ -15,33 +15,25 @@ layout = [
|
|||||||
className="container",
|
className="container",
|
||||||
children=[
|
children=[
|
||||||
html.H2(title),
|
html.H2(title),
|
||||||
dcc.Markdown("""
|
|
||||||
À savoir, les données suivantes existent mais sont en cours d'intégration dans ce projet :
|
|
||||||
|
|
||||||
- les données publiées dans le [format DECP 2019 (période 2018-2022)](https://www.data.gouv.fr/fr/datasets/donnees-essentielles-de-la-commande-publique-fichiers-consolides/#/resources/16962018-5c31-4296-9454-5998585496d2)
|
|
||||||
- les données [collectées par l'AIFE](https://github.com/ColinMaudry/decp-processing/issues/68) (API DUME, notamment achatpublic.info)
|
|
||||||
- les données [des plateformes Atexo](https://github.com/ColinMaudry/decp-processing/issues/57)
|
|
||||||
"""),
|
|
||||||
dcc.Loading(
|
dcc.Loading(
|
||||||
overlay_style={"visibility": "visible", "filter": "blur(2px)"},
|
overlay_style={"visibility": "visible", "filter": "blur(2px)"},
|
||||||
id="loading-1",
|
id="loading-statistques",
|
||||||
type="default",
|
type="default",
|
||||||
children=[
|
children=[
|
||||||
html.Div(
|
html.Div(
|
||||||
children=[
|
children=[
|
||||||
dcc.Loading(
|
dcc.Markdown("""
|
||||||
overlay_style={
|
La publication de données essentielles de marchés publics (DECP) est souvent effectuée par
|
||||||
"visibility": "visible",
|
les plateformes de marchés publics (profils d'acheteurs). Cependant, certaines plateformes ne publient pas,
|
||||||
"filter": "blur(2px)",
|
ou publient d'une manière qui rend la récupération des données compliquée. Les données présentées sur ce site
|
||||||
},
|
ne représentent donc pas tous les marchés attribués en France, seulement une partie significative.
|
||||||
id="loading-stats",
|
|
||||||
type="default",
|
L'ajout de nouvelles plateformes [est en cours](https://github.com/ColinMaudry/decp-processing/issues?q=is%3Aissue%20state%3Aopen%20label%3A%22source%20de%20donn%C3%A9es%22),
|
||||||
children=[
|
toutes les [contributions](/a-propos#contribuer) sont les bienvenues pour atteindre l'exhaustivité.
|
||||||
|
"""),
|
||||||
dcc.Graph(figure=get_map_count_marches(lf)),
|
dcc.Graph(figure=get_map_count_marches(lf)),
|
||||||
dcc.Graph(
|
dcc.Graph(
|
||||||
figure=get_barchart_sources(
|
figure=get_barchart_sources(lf, "dateNotification")
|
||||||
lf, "dateNotification"
|
|
||||||
)
|
|
||||||
),
|
),
|
||||||
dcc.Graph(
|
dcc.Graph(
|
||||||
figure=get_barchart_sources(
|
figure=get_barchart_sources(
|
||||||
@@ -50,8 +42,6 @@ layout = [
|
|||||||
),
|
),
|
||||||
],
|
],
|
||||||
)
|
)
|
||||||
]
|
|
||||||
),
|
|
||||||
],
|
],
|
||||||
),
|
),
|
||||||
],
|
],
|
||||||
|
|||||||
+4
-6
@@ -44,10 +44,10 @@ def split_filter_part(filter_part):
|
|||||||
def add_resource_link(lff: pl.LazyFrame) -> pl.LazyFrame:
|
def add_resource_link(lff: pl.LazyFrame) -> pl.LazyFrame:
|
||||||
lff = lff.with_columns(
|
lff = lff.with_columns(
|
||||||
(
|
(
|
||||||
'<a href="' + pl.col("sourceOpenData") + '">' + pl.col("source") + "</a>"
|
'<a href="' + pl.col("sourceFile") + '">' + pl.col("sourceDataset") + "</a>"
|
||||||
).alias("source")
|
).alias("source")
|
||||||
)
|
)
|
||||||
lff = lff.drop("sourceOpenData")
|
lff = lff.drop(["sourceFile", "sourceDataset"])
|
||||||
return lff
|
return lff
|
||||||
|
|
||||||
|
|
||||||
@@ -117,14 +117,12 @@ def get_decp_data() -> pl.LazyFrame:
|
|||||||
logger.info(
|
logger.info(
|
||||||
f"Lecture du fichier parquet ({os.getenv('DATA_FILE_PARQUET_PATH')})..."
|
f"Lecture du fichier parquet ({os.getenv('DATA_FILE_PARQUET_PATH')})..."
|
||||||
)
|
)
|
||||||
df: pl.DataFrame = pl.read_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
|
lff: pl.LazyFrame = pl.scan_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
|
||||||
except ComputeError:
|
except ComputeError:
|
||||||
# Le fichier est probablement en cours de mise à jour
|
# Le fichier est probablement en cours de mise à jour
|
||||||
logger.info("Échec, nouvelle tentative dans 10s...")
|
logger.info("Échec, nouvelle tentative dans 10s...")
|
||||||
sleep(10)
|
sleep(10)
|
||||||
df: pl.DataFrame = pl.read_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
|
lff: pl.LazyFrame = pl.scan_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
|
||||||
|
|
||||||
lff: pl.LazyFrame = df.lazy()
|
|
||||||
|
|
||||||
# Remplacement des valeurs numériques par des chaînes de caractères
|
# Remplacement des valeurs numériques par des chaînes de caractères
|
||||||
# lff = numbers_to_strings(lff)
|
# lff = numbers_to_strings(lff)
|
||||||
|
|||||||
Reference in New Issue
Block a user