dschlueter/integrity_scanner_fuer_statische_Webseiten
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

feat: sitemap seeding — discover orphan pages not reachable via links

Browse source 
Reads robots.txt Sitemap directive and fetches sitemap.xml / sitemap_index.xml
before crawling. All listed URLs are added to the crawl queue so pages
without any inbound links are still scanned. Configurable via crawl.sitemap.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
Dieter Schlüter 2026-06-12 17:58:52 +02:00
commit 9801ce6fc4
3 changed files with 81 additions and 0 deletions
Download patch file Download diff file Expand all files Collapse all files

5
meine-seite.de/config.yaml
View file

@ -38,6 +38,11 @@ crawl:
respect_robots_txt: false
# Sitemap lesen, um nicht verlinkte Seiten (Orphan Pages) zu entdecken.
# Der Scanner liest sitemap.xml (bzw. robots.txt → Sitemap:) und fügt alle
# dort aufgeführten URLs in die Crawl-Queue ein.
sitemap: true
# Pfade, die vom Scan ausgeschlossen werden sollen.
# Nützlich für Bereiche mit gewollt häufig wechselnden Inhalten,
# z. B. RSS-Feeds, News-Archive, Nutzerprofile.