feat: Aufgaben mit Abbildungen (docling-Markdown), mit Gegenprobe beim Ablesen
Eingebettete Base64-Bilder und Bilddateien werden aus dem Aufgabentext gelöst und nur der Verstehensstufe als Bild übergeben; sie überträgt jede Abbildung in Text. Eine zweite, unabhängige Lesung wird Zahl für Zahl verglichen (bei Abweichung entscheidet eine dritte, sonst reliable=False). Alle weiteren Stufen rechnen mit der Übertragung, der Report zeigt Original und Übertragung nebeneinander. LLM_MODEL_UNDERSTANDING wählt das Bildmodell. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
915c79c1c8
commit
b07dd16143
1 changed files with 484 additions and 36 deletions
|
|
@ -3,24 +3,52 @@ from pathlib import Path
|
|||
from typing import List
|
||||
|
||||
from core.llm import LLMSession
|
||||
from core.model_schema import CheckIssue, TaskUnderstanding
|
||||
from core.model_schema import CheckIssue, FigureInput, FigureReading, TaskUnderstanding
|
||||
from understanding.figures import image_parts
|
||||
|
||||
UNDERSTAND_PROMPT_FILE = Path(__file__).parent / "Verstehen-Prompt.txt"
|
||||
FIGURE_PROMPT_FILE = Path(__file__).parent / "Abbildungs-Prompt.txt"
|
||||
|
||||
|
||||
def _content(text: str, figures: List[FigureInput]):
|
||||
"""Reiner Text – oder, mit Abbildungen, eine Liste aus Text und Bildern (OpenAI-Format)."""
|
||||
if not figures:
|
||||
return text
|
||||
hinweis = (f"\n\nDER AUFGABE LIEGEN {len(figures)} ABBILDUNG(EN) BEI – sie folgen als Bilder; "
|
||||
"übertrage jede vollständig in figures.")
|
||||
return [{"type": "text", "text": text + hinweis}, *image_parts(figures)]
|
||||
|
||||
|
||||
def _create_with_images(session: LLMSession, response_model, messages, step: str, figures):
|
||||
"""Wie session.create – mit verständlicher Meldung, falls das Modell keine Bilder annimmt."""
|
||||
try:
|
||||
return session.create(response_model, messages, step=step)
|
||||
except Exception as exc:
|
||||
if figures and any(w in str(exc).lower() for w in ("image", "vision", "modalit", "multimodal")):
|
||||
raise RuntimeError(f"Das Modell dieser Stufe nimmt offenbar keine Bilder an ({str(exc)[:160]}). "
|
||||
"Ein Bildmodell über LLM_MODEL_UNDERSTANDING wählen.") from exc
|
||||
raise
|
||||
|
||||
|
||||
def understand_task(session: LLMSession, task: str, issues: List[CheckIssue] = (),
|
||||
data_prompt: str = "") -> TaskUnderstanding:
|
||||
"""Stufe 0: erfassen, was im Text steht – Teilfragen, Zahlen, Machbarkeit. Noch kein Modell."""
|
||||
data_prompt: str = "", figures: List[FigureInput] = ()) -> TaskUnderstanding:
|
||||
"""Stufe 1: erfassen, was im Text steht – Teilfragen, Zahlen, Machbarkeit, Abbildungen. Noch kein Modell."""
|
||||
nachtrag = ""
|
||||
if issues:
|
||||
nachtrag = ("\n\nDEIN VORIGER VERSUCH WAR UNVOLLSTÄNDIG:\n"
|
||||
+ "\n".join(f"- [{i.code}] {i.message}" for i in issues)
|
||||
+ "\nErfasse die fehlenden Punkte, behalte den Rest bei.")
|
||||
return session.create(
|
||||
TaskUnderstanding,
|
||||
[
|
||||
{"role": "system", "content": UNDERSTAND_PROMPT_FILE.read_text(encoding="utf-8")},
|
||||
{"role": "user", "content": f"AUFGABENTEXT:\n{task}\n\n{data_prompt}{nachtrag}".strip()},
|
||||
],
|
||||
step="Verstehen",
|
||||
)
|
||||
text = f"AUFGABENTEXT:\n{task}\n\n{data_prompt}{nachtrag}".strip()
|
||||
return _create_with_images(session, TaskUnderstanding, [
|
||||
{"role": "system", "content": UNDERSTAND_PROMPT_FILE.read_text(encoding="utf-8")},
|
||||
{"role": "user", "content": _content(text, list(figures))},
|
||||
], "Verstehen", figures)
|
||||
|
||||
|
||||
def read_figures(session: LLMSession, task: str, figures: List[FigureInput]) -> FigureReading:
|
||||
"""Unabhängige Übertragung nur der Abbildungen – die Gegenprobe zur Verstehensstufe."""
|
||||
text = f"AUFGABENTEXT (nur zur Einordnung der Abbildungen):\n{task}"
|
||||
return _create_with_images(session, FigureReading, [
|
||||
{"role": "system", "content": FIGURE_PROMPT_FILE.read_text(encoding="utf-8")},
|
||||
{"role": "user", "content": _content(text, figures)},
|
||||
], "Abbildungen", figures)
|
||||
|
|
|
|||
Loading…
Reference in a new issue