fix: corrige bug build_database + fiabilise et isole la suite de tests

src/db.py : le remplacement des noms d'organisation nuls utilisait
.name.keep() sur une expression concat_str référençant *_id ; Polars nommait
alors le résultat d'après *_id, écrasant la colonne titulaire_id/acheteur_id et
laissant *_nom inchangée. Remplacé par .alias(col).

Suite de tests — élimination de la pollution inter-tests (callbacks/conn
globaux Dash) qui faisait échouer ~15 tests Selenium en exécution complète :
- tests/conftest.py : DUCKDB_PATH et DATA_SCHEMA_CACHE pointent sur des chemins
  de test isolés (tests/decp.duckdb, tests/schema.cache.json, gitignorés) — on
  ne touche plus jamais aux fichiers versionnés decp.duckdb et
  schema.fixture.json (qui étaient mutés et cassaient la collecte au run
  suivant). Viewport Chrome élargi à 1600px.
- tests/test_db.py : fixture module-scoped qui recharge src.db après le module
  (test_query_marches faisait importlib.reload vers une DB temporaire au schéma
  réduit, polluant le conn global → ColumnNotFoundError ensuite). Assertion mise
  à jour pour le nouveau libellé "[Inconnu de l'INSEE (...)]".

Tests périmés / fragiles corrigés :
- tests/auth/test_oauth_routes.py : mock LinkedIn aligné sur la route (userinfo
  récupéré via .get() séparé) ; destination post-login /compte/abonnement.
- tests/test_main.py : test_002 filtre sur dateNotification (uid retiré du
  tableau), scrollIntoView (colonne hors viewport), attentes de l'application du
  filtre et de la restauration de la persistance ; test_015 via
  wait_for_no_elements.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Colin Maudry
2026-06-30 18:22:27 +02:00
parent 60b59d2d03
commit d8faccab46
5 changed files with 101 additions and 34 deletions
+24 -24
View File
@@ -1,5 +1,6 @@
import datetime
import os
import shutil
from pathlib import Path
import polars as pl
@@ -40,18 +41,26 @@ _TEST_DATA = [
}
]
_PARQUET_PATH = Path(os.path.abspath("tests/test.parquet"))
_DB_PATH = Path(os.path.abspath("decp.duckdb"))
# Schéma déterministe et hors-ligne pour les tests : on pointe le cache sur un
# fixture commité et on désactive la récupération distante.
# Base DuckDB de test ISOLÉE : src.db lit le chemin via DUCKDB_PATH (défaut
# ./decp.duckdb). On la place dans tests/ pour ne JAMAIS toucher au decp.duckdb
# de dev/prod — plus besoin de sauvegarder/restaurer. Le nom decp.duckdb
# correspond au motif **/decp.duckdb déjà présent dans .gitignore.
_DB_PATH = Path(os.path.abspath("tests/decp.duckdb"))
os.environ["DUCKDB_PATH"] = str(_DB_PATH)
# Schéma déterministe et hors-ligne : on COPIE le fixture committé vers un cache
# de test jetable (nom schema.cache.json déjà gitignoré) et on pointe
# DATA_SCHEMA_CACHE dessus. Ainsi, toute écriture du cache par le code testé ne
# mute pas tests/schema.fixture.json (versionné). DATA_SCHEMA_PATH est retiré
# pour désactiver toute récupération distante.
_SCHEMA_FIXTURE = Path(os.path.abspath("tests/schema.fixture.json"))
os.environ["DATA_SCHEMA_CACHE"] = str(_SCHEMA_FIXTURE)
_SCHEMA_CACHE = Path(os.path.abspath("tests/schema.cache.json"))
shutil.copyfile(_SCHEMA_FIXTURE, _SCHEMA_CACHE)
os.environ["DATA_SCHEMA_CACHE"] = str(_SCHEMA_CACHE)
os.environ.pop("DATA_SCHEMA_PATH", None)
_DB_BACKUP = _DB_PATH.with_suffix(".duckdb.pytest-backup")
def _cleanup_db_artifacts() -> None:
for artifact in (
_DB_PATH,
@@ -62,30 +71,18 @@ def _cleanup_db_artifacts() -> None:
artifact.unlink()
def _backup_db() -> None:
if _DB_PATH.exists():
_DB_PATH.rename(_DB_BACKUP)
def _restore_db() -> None:
_cleanup_db_artifacts()
if _DB_BACKUP.exists():
_DB_BACKUP.rename(_DB_PATH)
# Runs at conftest import, before test modules import src.db (which builds the
# DuckDB at import time). Guarantees the test parquet exists and the stale DB
# from a previous `python run.py` is wiped so src.db rebuilds from test data.
# DuckDB at import time depuis DUCKDB_PATH). Garantit un parquet de test frais et
# une base de test vierge (reconstruite à partir des données de test).
pl.DataFrame(_TEST_DATA).write_parquet(_PARQUET_PATH)
_backup_db()
_cleanup_db_artifacts()
@pytest.fixture(scope="session", autouse=True)
def test_data():
yield str(_PARQUET_PATH)
# Teardown: restore the original DuckDB so the next `python run.py` finds it.
_restore_db()
# Teardown : on nettoie la base de test isolée (jamais le decp.duckdb de dev).
_cleanup_db_artifacts()
def pytest_setup_options():
@@ -100,5 +97,8 @@ def pytest_setup_options():
"""
options = Options()
options.add_argument("--headless=new")
options.add_argument("--window-size=1200,1200")
# 1600px de large : le marches_table est large (défilement horizontal) ; un
# viewport étroit laisse les colonnes de droite hors champ → éléments non
# interactifs pour Selenium.
options.add_argument("--window-size=1600,1200")
return options