fix: Bugfixes, toten Code entfernt, Cache-Normalisierung & Session
Echte Bugs: - extractor: JSON-LD-Crash bei Nicht-Dict-Items (isinstance-Guard) - baseline/__main__: Crawl-Fehler ins Snapshot-Manifest -> erscheinen im Report - __main__: Whitelist-/Header-/Webshell-Checks nur noch auf status==200 - crawler: Noise-Param-Regex auf Voll-Key (view=/value= nicht mehr verworfen) - differ/__main__: unerwartetes JSON-LD via eigenem Kanal, auch auf unveraenderten Seiten erkannt, kein Re-Alert auf bereits genehmigte Typen Aufgeraeumt: - checker: check_internal_paths, find_broken_pages, canonical_is_hijacked, check_jsonld_types entfernt (nicht verdrahtet) - allowed_paths.yaml-Logik und tote Scoring-Keys entfernt - tote Imports entfernt Neuer aktiver Schutz: - Webshell-/Backdoor-Dateinamen-Check verdrahtet (suspicious_filename: 60). Regex wortgrenzen-verankert gegen Fehlalarm auf PSEMailerAntispam.js Effizienz/Struktur: - crawler nutzt requests.Session (keep-alive) - Cache-Buster-Normalisierung an einer Stelle (Extraktion) -> stabile Snapshots, differ wieder reiner Set-Diff Tests: 111 gruen (neu: test_checker.py + Regressionstests) CLAUDE.md aktualisiert Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
b3ef3a90d4
commit
68243a97b9
13 changed files with 323 additions and 153 deletions
|
|
@ -32,6 +32,16 @@ class TestNormalizeUrl:
|
|||
assert "sid" not in url
|
||||
assert "id=5" in url
|
||||
|
||||
def test_strips_cache_buster_v(self):
|
||||
url = normalize_url("https://example.com/?v=1781223996&id=5")
|
||||
assert "v=1781223996" not in url
|
||||
assert "id=5" in url
|
||||
|
||||
def test_keeps_non_noise_v_prefixed_param(self):
|
||||
# 'view' must NOT be dropped just because it starts with 'v'
|
||||
url = normalize_url("https://example.com/?view=gallery")
|
||||
assert "view=gallery" in url
|
||||
|
||||
def test_adds_default_path(self):
|
||||
result = normalize_url("https://example.com")
|
||||
assert result.endswith("/") or "example.com" in result
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue