text_to_solver_program/benchmark/cases/ehrlich_gleichung
Repository files (latest commit first)
Filename Latest commit message Latest commit date
dschlueter d6bad28cb2 feat: Benchmarkklasse „ehrlich scheitern“ – bewertet Verhalten statt Zielwert
expected.json kann statt objective_value eine Liste "behavior" nennen
(rejected | unreliable | assumed_data), eines genügt. Treffer = Verhalten gezeigt,
erfüllt = zusätzlich alle Teilfragen beantwortet (außer bei Ablehnung). Bei erwarteter
Ablehnung wird kein Routing bewertet.

Vier Fälle: reine Gleichung, reine Rechenaufgabe (-> abgelehnt), fehlende Kursdaten,
fehlender Kundenbedarf (-> Annahme ausgewiesen oder unzuverlässig). Erste Messung
20260918-134339: 3/4; der fehlende Bedarf wird im Text parametrisch richtig behandelt,
maschinell aber als „optimal 270, zuverlässig“ ohne ausgewiesene Annahme gemeldet.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-09-18 13:53:02 +02:00
..
expected.json feat: Benchmarkklasse „ehrlich scheitern“ – bewertet Verhalten statt Zielwert 2026-09-18 13:53:02 +02:00
task.txt feat: Benchmarkklasse „ehrlich scheitern“ – bewertet Verhalten statt Zielwert 2026-09-18 13:53:02 +02:00