feat: Aufgaben mit Abbildungen (docling-Markdown), mit Gegenprobe beim Ablesen
Eingebettete Base64-Bilder und Bilddateien werden aus dem Aufgabentext gelöst und nur der Verstehensstufe als Bild übergeben; sie überträgt jede Abbildung in Text. Eine zweite, unabhängige Lesung wird Zahl für Zahl verglichen (bei Abweichung entscheidet eine dritte, sonst reliable=False). Alle weiteren Stufen rechnen mit der Übertragung, der Report zeigt Original und Übertragung nebeneinander. LLM_MODEL_UNDERSTANDING wählt das Bildmodell. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
parent
915c79c1c8
commit
b07dd16143
1 changed files with 484 additions and 36 deletions
|
|
@ -11,7 +11,7 @@ Diese Anleitung beschreibt Schritt für Schritt, wie man das Programm installier
|
|||
5. [Aufrufvarianten](#5-aufrufvarianten)
|
||||
6. [Was das Programm ausgibt](#6-was-das-programm-ausgibt)
|
||||
7. [Das Ergebnis richtig lesen](#7-das-ergebnis-richtig-lesen)
|
||||
8. [Aufgaben mit Datendateien](#8-aufgaben-mit-datendateien)
|
||||
8. [Aufgaben mit Datendateien und Abbildungen](#8-aufgaben-mit-datendateien-und-abbildungen)
|
||||
9. [Weiterarbeiten ohne neue LLM-Kosten](#9-weiterarbeiten-ohne-neue-llm-kosten)
|
||||
10. [Kosten und Laufzeit steuern](#10-kosten-und-laufzeit-steuern)
|
||||
11. [Alle Einstellungen im Überblick](#11-alle-einstellungen-im-überblick)
|
||||
|
|
@ -279,7 +279,7 @@ Der Report beginnt mit dem Ergebnis und erklärt, bevor er Tabellen zeigt. Empfo
|
|||
|
||||
---
|
||||
|
||||
## 8. Aufgaben mit Datendateien
|
||||
## 8. Aufgaben mit Datendateien und Abbildungen
|
||||
|
||||
Für größere Datenmengen (Kurse, Bedarfe, Entfernungen) legt man Dateien bei:
|
||||
|
||||
|
|
@ -302,6 +302,36 @@ cp kurse.csv entfernungen.xlsx output/
|
|||
|
||||
---
|
||||
|
||||
### Aufgaben mit Abbildungen (z. B. aus docling)
|
||||
|
||||
Stehen Daten nur in einer Abbildung – ein Graph mit bewerteten Pfeilen, eine Tabelle als Bild –, kann die Aufgabe die Abbildung als Markdown-Bild enthalten. Beide Formen, die docling erzeugt, werden erkannt:
|
||||
|
||||
- **eingebettet** (`ImageRefMode.EMBEDDED`, Standard): ``
|
||||
- **als Datei** (`ImageRefMode.REFERENCED`): `` – der Pfad gilt relativ zur Aufgabendatei
|
||||
|
||||
```bash
|
||||
# Dokument mit docling nach Markdown wandeln (Bilder eingebettet), dann lösen
|
||||
docling aufgabe.pdf --to md --image-export-mode embedded --output output/
|
||||
.venv/bin/python TextToModel.py output/aufgabe.md --report output/aufgabe.html > output/aufgabe.json
|
||||
```
|
||||
|
||||
Was dabei passiert:
|
||||
|
||||
1. Die Bilder werden aus dem Text gelöst; im Text steht dort `[Abbildung 1]`.
|
||||
2. **Nur die Verstehensstufe** bekommt die Bilder und überträgt jede Abbildung vollständig in Text (jede Zahl, jeder Pfeil mit Richtung und Bewertung, unsicher Gelesenes wird benannt).
|
||||
3. **Gegenprobe:** Ein zweiter, unabhängiger Aufruf überträgt die Abbildungen noch einmal. Weichen die Zahlen ab, entscheidet eine dritte Lesung; stimmen keine zwei überein, gilt das Ergebnis als unzuverlässig.
|
||||
4. Alle weiteren Stufen rechnen mit der Übertragung – das Bild selbst wird nicht erneut gesendet.
|
||||
5. Der Report zeigt im Abschnitt „Aufgabe“ **Original und Übertragung nebeneinander**. Bitte vergleichen: Ein verlesener Wert ändert das ganze Ergebnis, und eine vertauschte Pfeilrichtung bei gleichen Zahlen fällt der Gegenprobe nicht auf.
|
||||
|
||||
Voraussetzungen und Grenzen:
|
||||
|
||||
- Das Modell der Verstehensstufe muss Bilder lesen können. `deepseek/deepseek-v4.1-flash` kann das; sonst ein Bildmodell über `LLM_MODEL_UNDERSTANDING` wählen (z. B. `qwen/qwen3.8-flash`).
|
||||
- Höchstens 6 Abbildungen, je 5 MB.
|
||||
- Mehrkosten: ein bis zwei zusätzliche kleine Aufrufe für die Gegenprobe.
|
||||
- Verweise auf Webadressen werden nicht geladen (das Programm lädt nichts aus dem Internet).
|
||||
|
||||
---
|
||||
|
||||
## 9. Weiterarbeiten ohne neue LLM-Kosten
|
||||
|
||||
### Andere Zahlen, gleiches Modell: `--resolve`
|
||||
|
|
@ -400,6 +430,7 @@ Wo das Geld hingeht: rund zwei Drittel der Kosten sind **erzeugter Output**, dav
|
|||
| `OPENROUTER_API_KEY` | Schlüssel für OpenRouter | – |
|
||||
| `GEMINI_API_KEY` | Schlüssel für Gemini | – |
|
||||
| `LLM_MODEL` | Modell, falls `--model` fehlt | `deepseek/deepseek-v4.1-flash` |
|
||||
| `LLM_MODEL_UNDERSTANDING` | Modell für Verstehen und Abbildungs-Gegenprobe (muss bei Abbildungen Bilder lesen können) | Session-Modell |
|
||||
| `LLM_MODEL_EXTRACTION` | Modell nur für die Extraktion | Session-Modell |
|
||||
| `LLM_MODEL_REVIEW` | Modell nur für die Prüfung | Session-Modell |
|
||||
| `LLM_MODEL_REVISION` | Modell nur für die Korrektur | Session-Modell |
|
||||
|
|
|
|||
Loading…
Reference in a new issue