text_to_solver_program/tests
Repository files (latest commit first)
Filename Latest commit message Latest commit date
dschlueter d6bad28cb2 feat: Benchmarkklasse „ehrlich scheitern“ – bewertet Verhalten statt Zielwert
expected.json kann statt objective_value eine Liste "behavior" nennen
(rejected | unreliable | assumed_data), eines genügt. Treffer = Verhalten gezeigt,
erfüllt = zusätzlich alle Teilfragen beantwortet (außer bei Ablehnung). Bei erwarteter
Ablehnung wird kein Routing bewertet.

Vier Fälle: reine Gleichung, reine Rechenaufgabe (-> abgelehnt), fehlende Kursdaten,
fehlender Kundenbedarf (-> Annahme ausgewiesen oder unzuverlässig). Erste Messung
20260918-134339: 3/4; der fehlende Bedarf wird im Text parametrisch richtig behandelt,
maschinell aber als „optimal 270, zuverlässig“ ohne ausgewiesene Annahme gemeldet.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-09-18 13:53:02 +02:00
..
test_charts.py fix: Nebenpfade behalten Kontext – Gegenprobe, --von, --resolve, UNDERSTAND_RETRIES=-1 2026-09-18 13:22:53 +02:00
test_data_profile.py refactor: Pipeline-Stufen in Ordner mit ihren Prompts 2026-09-17 12:11:51 +02:00
test_feasibility.py fix: Index-Platzhalter im Namensvertrag, englische Einheiten, fett gesetzte Teilfragen 2026-09-17 16:50:27 +02:00
test_figures.py docs: Lehrbuchaufgabe mit Abbildung als tasks/wegenetz_mit_abbildung.md 2026-09-17 18:19:45 +02:00
test_llm.py fix: antwortendes Modell erfassen; 0.040, LaTeX-Dezimalkomma und Teilfragen-Überschriften 2026-09-17 19:30:19 +02:00
test_model_checks.py fix: antwortendes Modell erfassen; 0.040, LaTeX-Dezimalkomma und Teilfragen-Überschriften 2026-09-17 19:30:19 +02:00
test_pipeline.py feat: Benchmarkklasse „ehrlich scheitern“ – bewertet Verhalten statt Zielwert 2026-09-18 13:53:02 +02:00
test_report_math.py refactor: Pipeline-Stufen in Ordner mit ihren Prompts 2026-09-17 12:11:51 +02:00
test_resolve.py fix: Nebenpfade behalten Kontext – Gegenprobe, --von, --resolve, UNDERSTAND_RETRIES=-1 2026-09-18 13:22:53 +02:00
test_result_tables.py feat: Zielwert-Zerlegung als Reparaturgrund, SOLVER_TIMEOUT, Summenzeilen-Fehlalarm behoben 2026-09-18 13:24:46 +02:00
test_review.py feat: Warnung bei ungeschützter Sandbox, Prüf-Regel für konstante Kosten, Grund je Korrekturrunde 2026-09-17 16:28:39 +02:00
test_script_export.py feat: Zielwert-Zerlegung als Reparaturgrund, SOLVER_TIMEOUT, Summenzeilen-Fehlalarm behoben 2026-09-18 13:24:46 +02:00
test_solver_stage.py feat: Zielwert-Zerlegung als Reparaturgrund, SOLVER_TIMEOUT, Summenzeilen-Fehlalarm behoben 2026-09-18 13:24:46 +02:00