diff --git a/.gitignore b/.gitignore index f5e7658..9b60958 100644 --- a/.gitignore +++ b/.gitignore @@ -22,19 +22,13 @@ env/ htmlcov/ .tox/ -# Site-Daten (nie committen — enthalten Crawl-Daten und Snapshots) -bredelar.info/data/ -bredelar.info/reports/ -bredelar.info/logs/ -jamulix.de/data/ -jamulix.de/reports/ -jamulix.de/logs/ +# Site-Verzeichnisse komplett (Configs + Daten, lokal verwaltet) +bredelar.info/ +jamulix.de/ meine-seite.de/data/ meine-seite.de/reports/ meine-seite.de/logs/ -www.bergbauspuren-bredelar.de/data/ -www.bergbauspuren-bredelar.de/reports/ -www.bergbauspuren-bredelar.de/logs/ +www.bergbauspuren-bredelar.de/ # Editor .idea/ diff --git a/bredelar.info/config.yaml b/bredelar.info/config.yaml deleted file mode 100644 index c40190f..0000000 --- a/bredelar.info/config.yaml +++ /dev/null @@ -1,117 +0,0 @@ -# Integrity Scanner — Konfiguration für bredelar.info - -target: "https://bredelar.info" -user_agent: "integrity-scanner/1.0 (+security-monitoring)" -request_timeout: 20 - -data_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/bredelar.info/data" -reports_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/bredelar.info/reports" -logs_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/bredelar.info/logs" -config_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/bredelar.info/config" - -crawl: - max_pages: 200 - delay_seconds: 1.0 - respect_robots_txt: false - # Pfade, die vom Crawl und vom Vergleich komplett ausgeschlossen werden. - # Nützlich für Bereiche mit gewollt häufig wechselnden Inhalten (RSS-Feeds, News-Archive). - # Beispiel: ["/rss/", "/feed/", "/news/archiv/"] - exclude_paths: [] - - skip_extensions: - - ".jpg" - - ".jpeg" - - ".png" - - ".gif" - - ".webp" - - ".svg" - - ".ico" - - ".pdf" - - ".zip" - - ".woff" - - ".woff2" - - ".ttf" - - ".otf" - - ".eot" - - ".mp4" - - ".mp3" - - ".webm" - - ".avi" - - ".mov" - -scoring: - new_external_domain: 50 - new_internal_url: 30 - missing_internal_url: 20 - hidden_content: 40 - unexpected_canonical: 35 - meta_refresh: 40 - unexpected_jsonld: 35 - large_text_addition: 20 - new_inline_script_suspicious: 30 - comment_links: 25 - new_broken_link: 20 - suspicious_filename: 60 - cloaking_extra_link: 60 - cloaking_extra_text: 40 - cloaking_vary_ua: 25 - changed_script: 40 - changed_stylesheet: 30 - changed_asset: 20 - -thresholds: - yellow: 20 - red: 60 - large_text_block_chars: 200 - -# Wöchentliche Zusatzprüfungen laufen automatisch beim täglichen `scan` mit. -periodic_checks: - enabled: true - interval_days: 7 - cloak_check: true - ext_links: true - assets: true - -alerting: - min_level: "yellow" - email: - enabled: true - smtp_password_env: "SCANNER_SMTP_PASSWORD" - webhook: - enabled: false - url: "" - -normalization: - strip_html_comments: true - collapse_whitespace: true - ignore_selectors: - # - "#last-modified" - # - ".timestamp" - ignore_patterns: - # - '\d{1,2}\.\d{1,2}\.\d{4}' - # - 'Stand:\s+\S+' - -allowed_jsonld_types: - - "Organization" - - "WebSite" - - "WebPage" - - "Article" - - "BreadcrumbList" - - "ItemList" - - "LocalBusiness" - - "Place" - - "Person" - - "Event" - - "FAQPage" - - "Question" - - "Answer" - - "ImageObject" - - "SiteLinksSearchBox" - - "ContactPage" - - "AboutPage" - -security_headers: - - "Content-Security-Policy" - - "Strict-Transport-Security" - - "X-Content-Type-Options" - - "Referrer-Policy" diff --git a/bredelar.info/config/allowed_external.yaml b/bredelar.info/config/allowed_external.yaml deleted file mode 100644 index 5fa4271..0000000 --- a/bredelar.info/config/allowed_external.yaml +++ /dev/null @@ -1,52 +0,0 @@ -# Whitelist erlaubter externer Domains — bredelar.info -# Erstellt nach initialem Crawl und manueller Sichtprüfung am 2026-06-12. -# Neue externe Domains, die NICHT hier stehen, lösen einen Alarm aus. - -# Lokale Vereine, Institutionen, Betriebe -- www.bergbauspuren-bredelar.de -- www.bergbauspuren.de -- www.kloster-bredelar.de -- www.schuetzen-bredelar.de -- www.klosterschuetzen-bredelar.de -- www.bsg-bredelar.de -- www.sg-hoppecketal.de -- www.sg-hoppecketal-padberg.de -- www.feuerwehrhütte-bredelar.de -- www.lesdurs-mc.de -- www.kantorei-marsberg.de -- www.tourismus-marsberg.de -- www.katholische-kirche-marsberg.de -- www.marsberg.ekvw.de - -# Lokale Unternehmen (Gewerbetreibende aus bredelar.info/companies/) -- www.VolksbankMarsberg.de -- www.borghoff-bredelar.de -- www.dachdeckermarsberg.de -- www.maler-luce.de -- www.pyls-pflasterbau.de - -# Technische Ressourcen (Fonts, CDN, Wetter-Widget) -- fonts.googleapis.com -- fonts.gstatic.com -- cdnjs.cloudflare.com -- www.wetter.com -- static1.wetter.com - -# Datenschutzerklärung / Impressum (gesetzlich vorgeschriebene Links) -- ec.europa.eu -- www.e-recht24.de -- www.heise.de -- www.ratgeberrecht.eu -- www.privacyshield.gov -- policies.google.com -- www.google.com -- adssettings.google.com -- developers.facebook.com -- www.facebook.com -- twitter.com - -# Webentwickler / Technischer Betreiber -- www.antillu.de - -# www-Variante der eigenen Domain (wird intern verlinkt) -- www.bredelar.info diff --git a/bredelar.info/config/allowed_paths.yaml b/bredelar.info/config/allowed_paths.yaml deleted file mode 100644 index 464924b..0000000 --- a/bredelar.info/config/allowed_paths.yaml +++ /dev/null @@ -1,17 +0,0 @@ -# Whitelist erlaubter interner URL-Pfade (optional) -# -# Wenn diese Liste befüllt ist, lösen interne Links auf nicht gelistete -# Pfade einen Alarm aus. -# Leer lassen = keine Pfad-Whitelist-Prüfung (nur Baseline-Diff zählt). -# -# Format: ein Pfad pro Zeile (absoluter Pfad, ohne Domain) -# Beispiel für bredelar.info: -# -# - / -# - /index.html -# - /kontakt/ -# - /kontakt/index.html -# - /impressum/ -# - /datenschutz/ -# - /ueber-uns/ -# - /aktuelles/ diff --git a/bredelar.info/config/ignore_rules.yaml b/bredelar.info/config/ignore_rules.yaml deleted file mode 100644 index 81b9ec8..0000000 --- a/bredelar.info/config/ignore_rules.yaml +++ /dev/null @@ -1,23 +0,0 @@ -# Normalisierungsregeln für den Diff -# -# Diese Einstellungen reduzieren Fehlalarme durch harmlose, automatisch -# generierte Inhaltsänderungen. - -# CSS-Selektoren, die vor dem Diff aus dem DOM entfernt werden. -# Nützlich für Elemente mit automatischen Zeitstempeln oder Zählern. -ignore_selectors: - # - "#last-modified" - # - ".timestamp" - # - "[data-cache-buster]" - # - ".cookie-banner" - -# Reguläre Ausdrücke, die im normalisierten Text durch [IGNORED] ersetzt werden. -# Nützlich für Datumsangaben, Versionsnummern, etc. -ignore_patterns: - # Datumsformate (deutsch: 12.06.2026 oder 12. Juni 2026) - # - '\b\d{1,2}\.\s*(?:Januar|Februar|März|April|Mai|Juni|Juli|August|September|Oktober|November|Dezember)\s+\d{4}\b' - # - '\b\d{1,2}\.\d{1,2}\.\d{4}\b' - # "Stand: ..." Angaben - # - 'Stand:\s+\S+' - # Cache-Buster in URLs (werden im HTML-Text sichtbar) - # - '\?v=[\w.]+\b' diff --git a/jamulix.de/config.yaml b/jamulix.de/config.yaml deleted file mode 100644 index 88d13b7..0000000 --- a/jamulix.de/config.yaml +++ /dev/null @@ -1,119 +0,0 @@ -# Integrity Scanner — Konfiguration für jamulix.de - -target: "https://jamulix.de" -user_agent: "integrity-scanner/1.0 (+security-monitoring)" -request_timeout: 20 - -data_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/jamulix.de/data" -reports_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/jamulix.de/reports" -logs_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/jamulix.de/logs" -config_dir: "/home/dschlueter/Python_Programs/integrity_scanner_fuer_statische_Webseiten/jamulix.de/config" - -crawl: - max_pages: 500 - delay_seconds: 1.0 - respect_robots_txt: false - - # /hackernews/ wird ausgeschlossen — Inhalte dort wechseln laufend (gewollt). - exclude_paths: - - "/hackernews/" - - skip_extensions: - - ".jpg" - - ".jpeg" - - ".png" - - ".gif" - - ".webp" - - ".svg" - - ".ico" - - ".pdf" - - ".zip" - - ".woff" - - ".woff2" - - ".ttf" - - ".otf" - - ".eot" - - ".mp4" - - ".mp3" - - ".webm" - - ".avi" - - ".mov" - -scoring: - new_external_domain: 50 - new_internal_url: 30 - missing_internal_url: 20 - hidden_content: 40 - unexpected_canonical: 35 - meta_refresh: 40 - unexpected_jsonld: 35 - large_text_addition: 20 - new_inline_script_suspicious: 30 - comment_links: 25 - new_broken_link: 20 - suspicious_filename: 60 - cloaking_extra_link: 60 - cloaking_extra_text: 40 - cloaking_vary_ua: 25 - changed_script: 40 - changed_stylesheet: 30 - changed_asset: 20 - -thresholds: - yellow: 20 - red: 60 - large_text_block_chars: 200 - -periodic_checks: - enabled: true - interval_days: 7 - cloak_check: true - ext_links: true - assets: true - -alerting: - min_level: "yellow" - email: - enabled: false - smtp_host: "localhost" - smtp_port: 587 - smtp_tls: true - smtp_user: "" - smtp_password_env: "SCANNER_SMTP_PASSWORD" - from: "scanner@jamulix.de" - to: - - "admin@jamulix.de" - webhook: - enabled: false - url: "" - -normalization: - strip_html_comments: true - collapse_whitespace: true - ignore_selectors: - ignore_patterns: - -allowed_jsonld_types: - - "Organization" - - "WebSite" - - "WebPage" - - "Article" - - "BreadcrumbList" - - "ItemList" - - "LocalBusiness" - - "Place" - - "Person" - - "Event" - - "FAQPage" - - "Question" - - "Answer" - - "ImageObject" - - "SiteLinksSearchBox" - - "ContactPage" - - "AboutPage" - -security_headers: - - "Content-Security-Policy" - - "Strict-Transport-Security" - - "X-Content-Type-Options" - - "Referrer-Policy" diff --git a/jamulix.de/config/allowed_external.yaml b/jamulix.de/config/allowed_external.yaml deleted file mode 100644 index 16f43fd..0000000 --- a/jamulix.de/config/allowed_external.yaml +++ /dev/null @@ -1,7 +0,0 @@ -# Erlaubte externe Domains für jamulix.de -# Erstellt beim ersten Init-Crawl am 2026-06-12 -- kitux.de -- cdn.tailwindcss.com -- unpkg.com -- fonts.googleapis.com -- fonts.gstatic.com