integrity_scanner_fuer_stat.../scanner
Dieter Schlüter 4db5817013 perf: URL→Byte-Hash-Erinnerung — bekannte Bilder nicht erneut laden/analysieren
Bisher: Die Analyse identischer Bilder war bereits dedupliziert (Ledger nach
Byte-Hash indiziert). Aber jede Bild-URL wurde bei jedem Scan ERNEUT
heruntergeladen, um ihren Hash für Gruppierung/Abdeckung zu berechnen — auch
wenn die Bytes längst bekannt und analysiert waren.

Neu: persistente URL→Hash-Map im Ledger (url_hashes). Eine bereits gesehene
Bild-URL wird nicht erneut geladen; Abdeckung umfasst nur noch nie gesehene
URLs. Duplikate (gleiche Bytes an mehreren URLs) werden je URL höchstens einmal
geholt und nie doppelt analysiert. Geänderte/geflaggte Bilder werden weiterhin
IMMER (erneut) geprüft.

Spart Bandbreite/Zeit und schont den überwachten Server (Fetch nur für Neues).
Byte-Änderungen bereits bekannter Bilder auf stabilen Seiten deckt weiterhin
check-assets ab (Integritäts-Layer).

Tests: 258 grün (+1: Duplikat-URLs einmal geladen, einmal analysiert, danach
kein erneuter Fetch).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-13 04:17:31 +02:00
..
__init__.py feat: initial implementation of website integrity scanner 2026-06-12 00:51:41 +02:00
__main__.py fix: Report und Alarm-Mail konsistent (gemeinsamer Renderer) 2026-06-13 03:35:05 +02:00
ai_analyzer.py perf: URL→Byte-Hash-Erinnerung — bekannte Bilder nicht erneut laden/analysieren 2026-06-13 04:17:31 +02:00
alerter.py fix: Report und Alarm-Mail konsistent (gemeinsamer Renderer) 2026-06-13 03:35:05 +02:00
baseline.py feat: adaptiver Modell-Router (Circuit-Breaker) + parallele KI-Analyse 2026-06-13 02:51:30 +02:00
checker.py feat: single-line progress indicator during crawl and ext-link check 2026-06-12 17:17:37 +02:00
config.py fix: KI-Analyse deckt standardmäßig ALLE Inhalte ab (kein Limit-Risiko) 2026-06-13 04:12:11 +02:00
crawler.py feat: sitemap seeding — discover orphan pages not reachable via links 2026-06-12 17:58:52 +02:00
differ.py feat: exclude_paths — skip dynamic areas (RSS feeds, news archives) from scan 2026-06-12 13:14:06 +02:00
extractor.py fix: Bugfixes, toten Code entfernt, Cache-Normalisierung & Session 2026-06-12 03:20:32 +02:00
plain.py fix: Report und Alarm-Mail konsistent (gemeinsamer Renderer) 2026-06-13 03:35:05 +02:00
report.py fix: Report und Alarm-Mail konsistent (gemeinsamer Renderer) 2026-06-13 03:35:05 +02:00