feat: Formeln im Fließtext (pdf2md --formulas), etwa dreimal schneller
- pdf2md-Formelliste lesen: jede Formel mit Seite/Rechteck/PDF-Text, 300-dpi-Bild - eingebettete Formeln: Satzzeichen am Ende abgetrennt, als Text dahinter (final_suffix) - Normalform: \underset-Grenzwerte, Gleichungsnummer als \tag, \textbf, \cfrac, wörtliches \n - Tempo: Verweis- und Ausschnitt-Cache, pix2text gebündelt nach Pixelbudget, Lesen und Prüfen überlappend (forkserver), Qwen 8 Plätze, Render-Vorfilter, kein neuer Scan, je Paket nur dessen Datensätze, Zeiten je Stufe - Bildprüfung: max. 1600 px Breite, 2,5 MP, Proportionen-Abbruch - gemessen und abgeschaltet: PDF-Textebene als Bestätigung (pdftext=0) - Corral 10 %: 79 % automatisch, Pilot 869 Formeln 70 → ~24 min Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
parent
2478bc5cb9
commit
6373db73a4
1 changed files with 479 additions and 112 deletions
31
CHANGELOG.md
31
CHANGELOG.md
|
|
@ -1,5 +1,36 @@
|
|||
# Changelog
|
||||
|
||||
## Unveröffentlicht
|
||||
|
||||
Alle Formeln eines PDF-Buchs, auch im Fließtext, und etwa dreimal schneller.
|
||||
|
||||
- **pdf2md --formulas** (Nachbarprojekt): Die Formelerkennung von pix2text (MFD) findet jede Formel auf der
|
||||
Seite, eingebettet oder abgesetzt, auch in Merkkästen. Sie wird zeichengenau aus dem Text geschnitten
|
||||
(300 dpi) und mit Seite, Rechteck und PDF-Text in `formulas-*.json` vermerkt. "Formel"-Boxen mit Text
|
||||
werden zu Text, solche mit Kurven zu Grafiken. formula_img2latex liest die Liste
|
||||
(`sources/pdf2md.listed`). Corral, 10 % der 9239 Formeln: **79 % automatisch** (im Text 83 %).
|
||||
- **Eingebettete Formeln:** Ein Satzzeichen am Ende wird vor dem Vergleich abgetrennt und als Text hinter
|
||||
die Formel gesetzt (`final_suffix`).
|
||||
- **Normalform:** `\underset{…}{\lim}` = `\lim_{…}`, Gleichungsnummer am Ende = `\tag`, `\textbf` als
|
||||
Fettdruck, `\cfrac` = `\frac` (pix2text schreibt `\dfrac`), wörtliches `\n` aus Modellantworten entfällt.
|
||||
- **Tempo** (Pilot 869 Formeln: 70 → ~24 min):
|
||||
- Markdown-Verweise und Ausschnitte nur einmal lesen (`crops/`);
|
||||
- pix2text gebündelt nach Pixelbudget, auf der freiesten GPU, einmal geladen;
|
||||
- Lesen und Prüfen überlappen, die Prüfprozesse starten per `forkserver`;
|
||||
- Qwen mit 8 parallelen Anfragen (`llama-server --parallel 8 -c 32768`);
|
||||
- pdflatex beim Entscheiden nur, wenn gleiche Bilder möglich sind;
|
||||
- kein neuer Scan beim Fortsetzen;
|
||||
- je Paket nur dessen Datensätze laden;
|
||||
- Zeiten je Stufe in der Statuszeile.
|
||||
- **Bildprüfung:** Originale höchstens 1600 px breit, über 2,5 MP nicht, Lesarten mit mehr als 2,5-fach
|
||||
falschen Proportionen sofort abgelehnt. Vorher hielten einzelne Formeln den Lauf über 10 Minuten auf.
|
||||
- **Gemessen und verworfen:**
|
||||
- PDF-Textebene als Bestätigung: 12 von 319 widersprachen Qwen, fehlende Punkte und Indizes; Schalter
|
||||
`pdftext` bleibt aus.
|
||||
- pix2texts eigene Sicherheit: Fehler auch bei 1,0.
|
||||
- Qwen3-VL-8B: nicht schneller als das MoE-30B-Modell (3B aktiv), etwas schlechter.
|
||||
- **Offen:** Formeln in Tabellen.
|
||||
|
||||
## 0.4.0 – 2026-10-09
|
||||
|
||||
Bessere Normalform: Lesarten, die sich nur in der Schreibweise unterscheiden, gelten als gleich.
|
||||
|
|
|
|||
Loading…
Reference in a new issue