Merge branch 'main' into feature/28_vue_acheteur

src/utils.py

@@ -44,10 +44,10 @@ def split_filter_part(filter_part):
 def add_resource_link(lff: pl.LazyFrame) -> pl.LazyFrame:
     lff = lff.with_columns(
         (
-            '<a href="' + pl.col("sourceOpenData") + '">' + pl.col("source") + "</a>"
+            '<a href="' + pl.col("sourceFile") + '">' + pl.col("sourceDataset") + "</a>"
         ).alias("source")
     )
-    lff = lff.drop("sourceOpenData")
+    lff = lff.drop(["sourceFile", "sourceDataset"])
     return lff
 
 
@@ -117,14 +117,12 @@ def get_decp_data() -> pl.LazyFrame:
         logger.info(
             f"Lecture du fichier parquet ({os.getenv('DATA_FILE_PARQUET_PATH')})..."
         )
-        df: pl.DataFrame = pl.read_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
+        lff: pl.LazyFrame = pl.scan_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
     except ComputeError:
         # Le fichier est probablement en cours de mise à jour
         logger.info("Échec, nouvelle tentative dans 10s...")
         sleep(10)
-        df: pl.DataFrame = pl.read_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
-
-    lff: pl.LazyFrame = df.lazy()
+        lff: pl.LazyFrame = pl.scan_parquet(os.getenv("DATA_FILE_PARQUET_PATH"))
 
     # Remplacement des valeurs numériques par des chaînes de caractères
     # lff = numbers_to_strings(lff)