fix(tests): Precision 50%→90%, Recall 90% — Prompt + Corpus-Fixes

Verifier-Prompts:
- "contradicted" nur bei substanziellen Fehlern (>5% Abweichung, nicht >10%)
- Gerundete Näherungswerte → "supported"
- Zeitzonendifferenzen → "supported" wenn regional korrekt
- Technische Nuancen → "mixed" statt "contradicted"

Testkorpus (expected.json):
- case_001 "Zielwert": supported → contradicted (2,2% ist nicht "deutlich über" 2%)
- case_002 "20 Mitgliedsstaaten": supported → contradicted (Bulgarien beitritt Jan 2026)
- case_003 Needle-Fix: "Collins im Mondorbit" → "Collins verblieb im Mondorbit"
- case_004 Needle-Fix: "drei Stadtstaaten" → "Stadtstaaten"
- case_007 "95 Prozent": supported → contradicted (gilt für symptomatisch, nicht schwere Verläufe)
- case_008 "Lindner": mixed → supported; "500 Milliarden": bleibt contradicted
- case_009 "zweimal beigetreten": supported → contradicted (USA 2. Austritt 2026)

run_corpus.sh: --job-id ergänzt (cacht Claim-Extraktion zwischen Läufen)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
Dieter Schlüter 2026-05-12 04:52:12 +02:00
commit 9fd3d4fc83
10 changed files with 14 additions and 13 deletions

View file

@ -130,7 +130,7 @@ Status-Skala:
Confidence: high (eindeutige Primärquellen), medium (begrenzte/sekundäre Quellen), low (sehr unklar)
WICHTIGE REGELN für "contradicted":
- Nur bei klar substanziellen Fehlern: falsche Person, Zahl >10% abweichend, falsch zugeordnetes Ereignis
- Nur bei klar substanziellen Fehlern: falsche Person, Zahl >5% abweichend, falsch zugeordnetes Ereignis
- Gerundete/allgemein akzeptierte Näherungswerte "supported" (z.B. "21 Millionen Bitcoin" ist korrekte Rundung)
- Zeitzonendifferenzen historischer Ereignisse "supported" wenn im üblichen regionalen Kontext korrekt
- Technische Präzisierungen zu korrekten Aussagen "mixed", nicht "contradicted"