Merge branch 'hotfix/2.1.6'

- possibilité de filtrer sur le champ "Source"
- création automatique d'une release Github quand je push un tag

.github/workflows/tag-release.yaml

@@ -4,29 +4,26 @@ on:
     tags:
       - 'v*' # Push events to matching v*, i.e. v1.0, v20.15.10
 
-name: Create Release
+name: Auto-release d'un tag
 
 jobs:
   build:
-    name: Create Release
+    name: auto-release
     runs-on: ubuntu-latest
     steps:
       - name: Checkout code
         uses: actions/checkout@master
       - name: Get tag message
-        run: |
-          tag_message=`git show "$TAG" | grep "^\- "`
-          echo "tag_message=$tag_message" >> "$GITHUB_ENV"
-        env:
-          TAG: ${{ github.ref }}
+        run: echo "TAG_MESSAGE=`git show ${{ github.ref_name }} | grep '^\- '`" >> "$GITHUB_ENV"
       - name: Create Release
         id: create_release
         uses: actions/create-release@latest
         env:
           GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }} # This token is provided by Actions, you do not need to create your own token
+          TAG_MESSAGE: ${{ env.TAG_MESSAGE }}
         with:
           tag_name: ${{ github.ref }}
-          release_name: ${{ github.ref }}
-          body: ${{ env.tag_message }}
+          release_name: ${{ github.ref_name }}
+          body: ${{ env.TAG_MESSAGE }}
           draft: false
           prerelease: false

README.md

@@ -1,6 +1,6 @@
 # decp.info
 
-> v2.1.3
+> v2.1.6
 
 Outil d'exploration et de téléchargement des données essentielles de la commande publique.
 
@@ -38,6 +38,20 @@ Ne pas oublier de mettre à jour les fichier .env.
 
 ## Notes de version
 
+##### 2.1.6 (15 octobre 2025)
+
+- Stabilisation de la vue marché
+
+##### 2.1.5 (10 octobre 2025)
+
+- réparation des filtres (notamment < > sur les montants)
+- remplacement des valeurs "null" dans les tableaux par des cellules vides
+
+##### 2.1.4 (8 octobre 2025)
+
+- possibilité de filtrer sur le champ "Source"
+- création automatique d'une release Github quand je push un tag
+
 ##### 2.1.3 (4 octobre 2025)
 
 - tentative d'auto-release à chaque création de tag git

pyproject.toml

@@ -1,7 +1,7 @@
 [project]
 name = "decp.info"
 description = "Interface d'exploration et d'analyse des marchés publics français."
-version = "2.1.3"
+version = "2.1.6"
 requires-python = ">= 3.10"
 authors = [
     { name = "Colin Maudry", email = "colin+decp@maudry.com" }

src/pages/acheteur.py

@@ -175,7 +175,6 @@ def get_acheteur_marches_data(url, acheteur_year: str) -> list[dict]:
     acheteur_siret = url.split("/")[-1]
     lff = df.lazy()
     lff = lff.filter(pl.col("acheteur_id") == acheteur_siret)
-    lff = lff.fill_null("")
     lff = lff.select(
         "id",
         "uid",
@@ -204,6 +203,8 @@ def get_acheteur_marches_data(url, acheteur_year: str) -> list[dict]:
 )
 def get_last_marches_table(data) -> html.Div:
     dff = pl.DataFrame(data)
+    dff = dff.cast(pl.String)
+    dff = dff.fill_null("")
     dff = format_montant(dff)
     columns, tooltip = setup_table_columns(
         dff,

src/pages/marche.py

@@ -66,6 +66,7 @@ def get_marche_data(url) -> tuple[dict, list]:
     marche_uid = url.split("/")[-1]
 
     # Récupération des données du marché à partir du df global
+
     lff = df.lazy()
     lff = lff.filter(pl.col("uid") == pl.lit(marche_uid))
 
@@ -73,13 +74,9 @@ def get_marche_data(url) -> tuple[dict, list]:
     dff_titulaires = lff.select(cs.starts_with("titulaire")).collect(engine="streaming")
 
     # Données du marché
-    dff_marche = (
-        lff.select(~cs.starts_with("titulaires")).unique().collect(engine="streaming")
-    )
+    dff_marche = lff.unique("uid").collect(engine="streaming")
     dff_marche = format_montant(dff_marche)
 
-    assert dff_marche.height == 1
-
     return dff_marche.to_dicts()[0], dff_titulaires.to_dicts()
 
 
@@ -93,7 +90,6 @@ def get_marche_data(url) -> tuple[dict, list]:
 def update_marche_info(marche, titulaires):
     def make_parameter(col):
         column_object = data_schema.get(col)
-        print(column_object)
         column_name = column_object.get("title") if column_object else col
 
         if marche[col]:
@@ -110,8 +106,6 @@ def update_marche_info(marche, titulaires):
 
             # Dates
             elif col in ["dateNotification", "datePublicationDonnees"]:
-                print(marche[col])
-
                 value = datetime.fromisoformat(marche[col]).strftime("%d/%m/%Y")
 
             # Listes

src/pages/tableau.py

@@ -182,9 +182,6 @@ def update_table(page_current, page_size, filter_query, sort_by, data_timestamp)
     if len(sort_by) > 0:
         lff = sort_table_data(lff, sort_by)
 
-    # Remplace les strings null par "", mais pas les numeric null
-    lff = lff.fill_null("")
-
     # Matérialisation des filtres
     dff: pl.DataFrame = lff.collect()
 
@@ -196,6 +193,12 @@ def update_table(page_current, page_size, filter_query, sort_by, data_timestamp)
     # end_row = (page_current + 1) * page_size
     dff = dff.slice(start_row, page_size)
 
+    # Tout devient string
+    dff = dff.cast(pl.String)
+
+    # Remplace les strings null par "", mais pas les numeric null
+    dff = dff.fill_null("")
+
     # Ajout des liens vers l'annuaire des entreprises
     dff = add_links(dff)
 

src/pages/titulaire.py

@@ -180,7 +180,6 @@ def get_titulaire_marches_data(url, titulaire_year: str) -> list[dict]:
         (pl.col("titulaire_id") == titulaire_siret)
         & (pl.col("titulaire_typeIdentifiant") == "SIRET")
     )
-    lff = lff.fill_null("")
     lff = lff.select(
         "id",
         "uid",
@@ -218,6 +217,8 @@ def get_last_marches_table(data) -> html.Div:
     ]
 
     dff = pl.DataFrame(data)
+    dff = dff.cast(pl.String)
+    dff = dff.fill_null("")
     dff = format_montant(dff)
     columns, tooltip = setup_table_columns(
         dff, hideable=False, exclude=["acheteur_id", "id"]

src/utils.py

@@ -43,9 +43,9 @@ def add_resource_link(dff: pl.DataFrame) -> pl.DataFrame:
     dff = dff.with_columns(
         (
             '<a href="' + pl.col("sourceFile") + '">' + pl.col("sourceDataset") + "</a>"
-        ).alias("source")
+        ).alias("sourceDataset")
     )
-    dff = dff.drop(["sourceFile", "sourceDataset"])
+    dff = dff.drop(["sourceFile"])
     return dff
 
 
@@ -126,7 +126,8 @@ def format_number(number) -> str:
 def format_montant(dff: pl.DataFrame) -> pl.DataFrame:
     def format_function(expr, scale=None):
         # https://stackoverflow.com/a/78636786
-        expr = expr.cast(pl.String).str.splitn(".", 2)
+        expr = expr.cast(pl.String)
+        expr = expr.str.splitn(".", 2)
 
         num = expr.struct[0]
         frac = expr.struct[1]
@@ -145,7 +146,13 @@ def format_montant(dff: pl.DataFrame) -> pl.DataFrame:
             .otherwise(pl.lit(""))
         )
 
-        return num + frac + pl.lit(" €")
+        montant: pl.Expr = (
+            pl.when((num + frac) == pl.lit(""))
+            .then(pl.lit(""))
+            .otherwise(num + frac + pl.lit(" €"))
+        )
+
+        return montant
 
     dff = dff.with_columns(pl.col("montant").pipe(format_function).alias("montant"))
     return dff
@@ -215,16 +222,26 @@ def filter_table_data(lff: pl.LazyFrame, filter_query: str) -> pl.LazyFrame:
         if debug:
             print("filter_value:", filter_value)
             print("filter_value_type:", type(filter_value))
+            print("operator:", operator)
             print("col_type:", col_type)
 
-        if col_type == "Date":
-            # Convertir la colonne en chaînes de caractères
-            lff = dates_to_strings(lff, col_name)
+        lff = lff.filter(pl.col(col_name).is_not_null())
 
-        if operator in ("<", "<=", ">", ">="):
-            lff = lff.filter(
-                pl.col(col_name).is_not_null() & (pl.col(col_name) != pl.lit(""))
-            )
+        if col_type == "Date":
+            # Convertir la colonne date en chaînes de caractères
+            lff = dates_to_strings(lff, col_name)
+            col_type = "String"
+        if col_type == "String":
+            lff = lff.filter(pl.col(col_name) != pl.lit(""))
+
+        elif col_type.startswith("Int") or col_type.startswith("Float"):
+            try:
+                filter_value = int(filter_value)
+            except ValueError:
+                logger.error(f"Invalid numeric filter value: {filter_value}")
+                continue
+
+        if operator in ("contains", "<", "<=", ">", ">="):
             if operator == "<":
                 lff = lff.filter(pl.col(col_name) < filter_value)
             elif operator == ">":
@@ -233,17 +250,17 @@ def filter_table_data(lff: pl.LazyFrame, filter_query: str) -> pl.LazyFrame:
                 lff = lff.filter(pl.col(col_name) >= filter_value)
             elif operator == "<=":
                 lff = lff.filter(pl.col(col_name) <= filter_value)
-
+            elif operator == "contains":
+                if col_type in ["String", "Date"]:
+                    lff = lff.filter(
+                        pl.col(col_name).str.contains("(?i)" + filter_value)
+                    )
                 elif col_type.startswith("Int") or col_type.startswith("Float"):
-            try:
-                filter_value = int(filter_value)
-            except ValueError:
-                logger.error(f"Invalid numeric filter value: {filter_value}")
-                continue
                     lff = lff.filter(pl.col(col_name) == filter_value)
-
-        elif operator == "contains" and col_type in ["String", "Date"]:
-            lff = lff.filter(pl.col(col_name).str.contains("(?i)" + filter_value))
+                else:
+                    logger.error(f"Invalid column type: {col_type}")
+        else:
+            logger.error(f"Invalid operator: {operator}")
 
         # elif operator == 'datestartswith':
         # lff = lff.filter(pl.col(col_name).str.startswith(filter_value)")
@@ -313,7 +330,7 @@ def get_data_schema() -> dict:
     for col in original_schema["fields"]:
         new_schema[col["name"]] = col
 
-    new_schema["source"] = {
+    new_schema["sourceDataset"] = {
         "description": "Code de la source des données, avec un lien vers le fichier Open Data dont proviennent les données de ce marché public.",
         "title": "Source des données",
         "short_name": "Source",