text_to_solver_program/tests
Repository files (latest commit first)
Filename Latest commit message Latest commit date
dschlueter 6b2b2c6466 fix: abgeschnittene Antworten meiden den Anbieter; LLM-Ausfall macht unzuverlässig statt abzustürzen
Grundlinie 20260918-191400: 9 von 22 Läufen hatten Aufrufe, die an LLM_MAX_TOKENS abgeschnitten
wurden (Venice 4/28, Makora 2/43, übrige 0/54); hard_portfolio_kardinalitaet brach nach vier
Abschneidungen ab, Kosten gingen verloren.

- Abschneiden: sofort neu versuchen, Anbieter per provider.ignore meiden (_avoid_provider,
  gemeinsam mit „zu langsam“)
- nach allen Wiederholungen LLMUnavailable (Stufe + Ursache); fatale Fehler bleiben unverpackt
- Solver-Stufe behält Modell und Prüfbericht (Solver-Fehler), Gegenprobe behält erstes Ergebnis,
  davor Ergebnis ohne Spezifikation mit Kosten („LLM-Fehler“, Report „Lauf abgebrochen“)
- Benchmark: Status „LLM-Fehler“ statt ABBRUCH, zählt nicht als ehrliches Scheitern
- TextToModel.py: Shebang

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-09-18 19:24:23 +02:00
..
test_charts.py fix: Solver-Fehler gilt als unzuverlässig; Aufräumrunde ohne LLM 2026-09-18 18:15:22 +02:00
test_cli.py feat: TextToModel.py als CLI-Programm mit main(), gruppierten Optionen und Defaults 2026-09-18 18:34:42 +02:00
test_data_profile.py refactor: Pipeline-Stufen in Ordner mit ihren Prompts 2026-09-17 12:11:51 +02:00
test_feasibility.py fix: Index-Platzhalter im Namensvertrag, englische Einheiten, fett gesetzte Teilfragen 2026-09-17 16:50:27 +02:00
test_figures.py docs: Lehrbuchaufgabe mit Abbildung als tasks/wegenetz_mit_abbildung.md 2026-09-17 18:19:45 +02:00
test_lint.py fix: Solver-Fehler gilt als unzuverlässig; Aufräumrunde ohne LLM 2026-09-18 18:15:22 +02:00
test_llm.py fix: abgeschnittene Antworten meiden den Anbieter; LLM-Ausfall macht unzuverlässig statt abzustürzen 2026-09-18 19:24:23 +02:00
test_model_checks.py fix: Solver-Fehler gilt als unzuverlässig; Aufräumrunde ohne LLM 2026-09-18 18:15:22 +02:00
test_pipeline.py fix: abgeschnittene Antworten meiden den Anbieter; LLM-Ausfall macht unzuverlässig statt abzustürzen 2026-09-18 19:24:23 +02:00
test_report_math.py feat: Report-Aufbau neu – Inhaltsverzeichnis, Aufgabe gerendert, Ergebnis nach dem Modell 2026-09-18 17:44:26 +02:00
test_resolve.py fix: Solver-Fehler gilt als unzuverlässig; Aufräumrunde ohne LLM 2026-09-18 18:15:22 +02:00
test_result_tables.py feat: fehlende Werte und simulierte Daten müssen ausgewiesen und genannt werden 2026-09-18 14:05:39 +02:00
test_review.py feat: Warnung bei ungeschützter Sandbox, Prüf-Regel für konstante Kosten, Grund je Korrekturrunde 2026-09-17 16:28:39 +02:00
test_script_export.py feat: Zielwert-Zerlegung als Reparaturgrund, SOLVER_TIMEOUT, Summenzeilen-Fehlalarm behoben 2026-09-18 13:24:46 +02:00
test_solver_stage.py feat: fehlende Werte und simulierte Daten müssen ausgewiesen und genannt werden 2026-09-18 14:05:39 +02:00