dschlueter/text_to_solver_program
Watch
1
0
Fork
You've already forked text_to_solver_program
 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

feat: Benchmarkklasse „ehrlich scheitern“ – bewertet Verhalten statt Zielwert

Browse source 
expected.json kann statt objective_value eine Liste "behavior" nennen
(rejected | unreliable | assumed_data), eines genügt. Treffer = Verhalten gezeigt,
erfüllt = zusätzlich alle Teilfragen beantwortet (außer bei Ablehnung). Bei erwarteter
Ablehnung wird kein Routing bewertet.

Vier Fälle: reine Gleichung, reine Rechenaufgabe (-> abgelehnt), fehlende Kursdaten,
fehlender Kundenbedarf (-> Annahme ausgewiesen oder unzuverlässig). Erste Messung
20260918-134339: 3/4; der fehlende Bedarf wird im Text parametrisch richtig behandelt,
maschinell aber als „optimal 270, zuverlässig“ ohne ausgewiesene Annahme gemeldet.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Dieter Schlüter 2026-09-18 13:53:02 +02:00
commit d6bad28cb2
2 changed files with 151 additions and 9 deletions
Download patch file Download diff file Expand all files Collapse all files

4
benchmark/cases/ehrlich_gleichung/expected.json Normal file
View file

@ -0,0 +1,4 @@
{
"behavior": ["rejected"],
"source": "Fall „ehrlich scheitern“: eine einzige Gleichung mit eindeutiger Lösung (x = 8), keine Entscheidung zwischen Alternativen, kein Ziel. Erwartet wird die Ablehnung durch das Tor der Verstehensstufe (is_optimization_task = false). Anlass: eine reine Gleichung wurde vor dem 17.09.2026 in ein erfundenes Optimierungsmodell gepresst."
}

3
benchmark/cases/ehrlich_gleichung/task.txt Normal file
View file

@ -0,0 +1,3 @@
Ein Kiosk verkauft Postkarten. Nach Abzug der festen Standgebühr von 7 Euro blieben am Samstag genau 25 Euro übrig. Jede Postkarte kostet 4 Euro.
Stellen Sie die Gleichung 4x − 7 = 25 auf und lösen Sie sie nach x auf: Wie viele Postkarten wurden verkauft?