Colin Maudry
d8faccab46
src/db.py : le remplacement des noms d'organisation nuls utilisait .name.keep() sur une expression concat_str référençant *_id ; Polars nommait alors le résultat d'après *_id, écrasant la colonne titulaire_id/acheteur_id et laissant *_nom inchangée. Remplacé par .alias(col). Suite de tests — élimination de la pollution inter-tests (callbacks/conn globaux Dash) qui faisait échouer ~15 tests Selenium en exécution complète : - tests/conftest.py : DUCKDB_PATH et DATA_SCHEMA_CACHE pointent sur des chemins de test isolés (tests/decp.duckdb, tests/schema.cache.json, gitignorés) — on ne touche plus jamais aux fichiers versionnés decp.duckdb et schema.fixture.json (qui étaient mutés et cassaient la collecte au run suivant). Viewport Chrome élargi à 1600px. - tests/test_db.py : fixture module-scoped qui recharge src.db après le module (test_query_marches faisait importlib.reload vers une DB temporaire au schéma réduit, polluant le conn global → ColumnNotFoundError ensuite). Assertion mise à jour pour le nouveau libellé "[Inconnu de l'INSEE (...)]". Tests périmés / fragiles corrigés : - tests/auth/test_oauth_routes.py : mock LinkedIn aligné sur la route (userinfo récupéré via .get() séparé) ; destination post-login /compte/abonnement. - tests/test_main.py : test_002 filtre sur dateNotification (uid retiré du tableau), scrollIntoView (colonne hors viewport), attentes de l'application du filtre et de la restauration de la persistance ; test_015 via wait_for_no_elements. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
105 lines
3.9 KiB
Python
105 lines
3.9 KiB
Python
import datetime
|
|
import os
|
|
import shutil
|
|
from pathlib import Path
|
|
|
|
import polars as pl
|
|
import pytest
|
|
from selenium.webdriver.chrome.options import Options
|
|
|
|
_TEST_DATA = [
|
|
{
|
|
"uid": "1",
|
|
"id": "1",
|
|
"acheteur_nom": "ACHETEUR 1",
|
|
"acheteur_id": "123",
|
|
"titulaire_nom": "TITULAIRE 1",
|
|
"titulaire_id": "345",
|
|
"montant": 10,
|
|
"dateNotification": datetime.date(2025, 1, 1),
|
|
"codeCPV": "71600000",
|
|
"donneesActuelles": True,
|
|
"acheteur_departement_code": "75",
|
|
"acheteur_departement_nom": "Paris",
|
|
"acheteur_commune_nom": "Paris",
|
|
"titulaire_departement_code": "35",
|
|
"titulaire_departement_nom": "Ille-et-Vilaine",
|
|
"titulaire_commune_nom": "Rennes",
|
|
"titulaire_distance": 10,
|
|
"titulaire_typeIdentifiant": "SIRET",
|
|
"objet": "Objet test",
|
|
"dureeRestanteMois": 12,
|
|
"lieuExecution_code": "75001",
|
|
"sourceFile": "test.xml",
|
|
"sourceDataset": "test_dataset",
|
|
"datePublicationDonnees": datetime.date(2025, 1, 1),
|
|
"considerationsSociales": "",
|
|
"considerationsEnvironnementales": "",
|
|
"type": "Marché",
|
|
"acheteur_categorie": "Collectivité",
|
|
"titulaire_categorie": "PME",
|
|
}
|
|
]
|
|
_PARQUET_PATH = Path(os.path.abspath("tests/test.parquet"))
|
|
|
|
# Base DuckDB de test ISOLÉE : src.db lit le chemin via DUCKDB_PATH (défaut
|
|
# ./decp.duckdb). On la place dans tests/ pour ne JAMAIS toucher au decp.duckdb
|
|
# de dev/prod — plus besoin de sauvegarder/restaurer. Le nom decp.duckdb
|
|
# correspond au motif **/decp.duckdb déjà présent dans .gitignore.
|
|
_DB_PATH = Path(os.path.abspath("tests/decp.duckdb"))
|
|
os.environ["DUCKDB_PATH"] = str(_DB_PATH)
|
|
|
|
# Schéma déterministe et hors-ligne : on COPIE le fixture committé vers un cache
|
|
# de test jetable (nom schema.cache.json déjà gitignoré) et on pointe
|
|
# DATA_SCHEMA_CACHE dessus. Ainsi, toute écriture du cache par le code testé ne
|
|
# mute pas tests/schema.fixture.json (versionné). DATA_SCHEMA_PATH est retiré
|
|
# pour désactiver toute récupération distante.
|
|
_SCHEMA_FIXTURE = Path(os.path.abspath("tests/schema.fixture.json"))
|
|
_SCHEMA_CACHE = Path(os.path.abspath("tests/schema.cache.json"))
|
|
shutil.copyfile(_SCHEMA_FIXTURE, _SCHEMA_CACHE)
|
|
os.environ["DATA_SCHEMA_CACHE"] = str(_SCHEMA_CACHE)
|
|
os.environ.pop("DATA_SCHEMA_PATH", None)
|
|
|
|
|
|
def _cleanup_db_artifacts() -> None:
|
|
for artifact in (
|
|
_DB_PATH,
|
|
_DB_PATH.with_suffix(".duckdb.tmp"),
|
|
_DB_PATH.with_suffix(".duckdb.lock"),
|
|
):
|
|
if artifact.exists():
|
|
artifact.unlink()
|
|
|
|
|
|
# Runs at conftest import, before test modules import src.db (which builds the
|
|
# DuckDB at import time depuis DUCKDB_PATH). Garantit un parquet de test frais et
|
|
# une base de test vierge (reconstruite à partir des données de test).
|
|
pl.DataFrame(_TEST_DATA).write_parquet(_PARQUET_PATH)
|
|
_cleanup_db_artifacts()
|
|
|
|
|
|
@pytest.fixture(scope="session", autouse=True)
|
|
def test_data():
|
|
yield str(_PARQUET_PATH)
|
|
# Teardown : on nettoie la base de test isolée (jamais le decp.duckdb de dev).
|
|
_cleanup_db_artifacts()
|
|
|
|
|
|
def pytest_setup_options():
|
|
"""Options Chrome pour les tests d'intégration Selenium.
|
|
|
|
dash.testing n'utilise PAS une fixture `chrome_options` (contrairement à
|
|
pytest-selenium) : il appelle ce hook `pytest_setup_options`. C'est donc le
|
|
seul point d'entrée qui a réellement un effet. On force `--headless=new`
|
|
pour qu'aucune fenêtre Chrome ne s'ouvre pendant les tests. Le dossier de
|
|
téléchargement, `--no-sandbox`, `--disable-gpu` et `--disable-dev-shm-usage`
|
|
sont déjà gérés par dash.testing.browser.
|
|
"""
|
|
options = Options()
|
|
options.add_argument("--headless=new")
|
|
# 1600px de large : le marches_table est large (défilement horizontal) ; un
|
|
# viewport étroit laisse les colonnes de droite hors champ → éléments non
|
|
# interactifs pour Selenium.
|
|
options.add_argument("--window-size=1600,1200")
|
|
return options
|