docs: Backend-Wechsel dokumentieren + Konzept-Datei Mobile TTS hinzufügen
README + BEDIENUNGSANLEITUNG § 4.7: vollständige Kommandos für den Wechsel zwischen llama.cpp und Ollama (inkl. Stopp-Befehle für den jeweils anderen Backend-Prozess). TOC und Sachregister aktualisiert. Docs/Neues_Konzept_mit_TTS_auf_Mobil_Geraet.md: neue Recherche-/Konzept-Datei zu On-Device-TTS auf iOS/Android hinzugefügt. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
d9cb5ffc7e
commit
a892896d32
3 changed files with 615 additions and 1 deletions
|
|
@ -35,7 +35,7 @@ funktioniert trotzdem, die Ausgabe ist dann unformatiert.
|
|||
1. [Was ist dieses System?](#1-was-ist-dieses-system)
|
||||
2. [Installation und Einrichtung](#2-installation-und-einrichtung)
|
||||
3. [Betriebsprofile wählen](#3-betriebsprofile-wählen)
|
||||
4. [Starten und Stoppen](#4-starten-und-stoppen) — [4.5 llama.cpp](#45-llamacpp-server-für-profil-hybridlocal-dev) · [4.6 Ollama](#46-ollama-alternative-zu-llamacpp-kein-docker-nötig)
|
||||
4. [Starten und Stoppen](#4-starten-und-stoppen) — [4.5 llama.cpp](#45-llamacpp-server-für-profil-hybridlocal-dev) · [4.6 Ollama](#46-ollama-alternative-zu-llamacpp-kein-docker-nötig) · [4.7 Wechseln](#47-zwischen-llamacpp-und-ollama-wechseln)
|
||||
|
||||
**Bedienung**
|
||||
5. [Das System benutzen](#5-das-system-benutzen)
|
||||
|
|
@ -533,6 +533,49 @@ VA_PROFILE=local-dev make run # alles lokal (STT/TTS in-process, LLM via Ollam
|
|||
|
||||
---
|
||||
|
||||
### 4.7 Zwischen llama.cpp und Ollama wechseln
|
||||
|
||||
Beide Server können nicht gleichzeitig auf demselben GPU-Speicher laufen. Vor dem
|
||||
Wechsel muss der jeweils andere Backend-Prozess beendet werden.
|
||||
|
||||
**Merkhilfe:**
|
||||
- llama.cpp = Docker-Container `va_llm` → stoppen mit `make llm-down`
|
||||
- Ollama = systemd-Dienst → stoppen mit `sudo systemctl stop ollama`
|
||||
|
||||
#### Von Ollama → llama.cpp wechseln
|
||||
|
||||
```bash
|
||||
# 1) Ollama stoppen
|
||||
sudo systemctl stop ollama
|
||||
# falls manuell gestartet (ollama serve im Vordergrund):
|
||||
pkill -f "ollama serve" 2>/dev/null || true
|
||||
|
||||
# 2) llama.cpp starten und warten
|
||||
make llm-up
|
||||
make llm-status # warten bis „Modell bereit" + HTTP OK erscheint
|
||||
|
||||
# 3) Gateway starten
|
||||
VA_PROFILE=hybrid make run
|
||||
```
|
||||
|
||||
#### Von llama.cpp → Ollama wechseln
|
||||
|
||||
```bash
|
||||
# 1) llama.cpp stoppen
|
||||
make llm-down
|
||||
# alternativ direkt:
|
||||
docker rm -f va_llm
|
||||
|
||||
# 2) Ollama starten
|
||||
sudo systemctl start ollama
|
||||
ollama ps # prüfen ob Modell aktiv (oder leer — wird beim ersten Request geladen)
|
||||
|
||||
# 3) Gateway starten
|
||||
VA_PROFILE=hybrid make run
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 5. Das System benutzen
|
||||
|
||||
> 👤 Endnutzer
|
||||
|
|
@ -1894,6 +1937,7 @@ in `app/dependencies.py` + Implementierung in `app/providers/`. → [Architektur
|
|||
| llama.cpp | § 4.5, § 3.2, § 3.3 |
|
||||
| local-dev-Profil | § 3.3 |
|
||||
| Ollama starten | § 4.6 |
|
||||
| Ollama ↔ llama.cpp wechseln | § 4.7 |
|
||||
| Metriken / Monitoring | § 9.2, Anhang B.1 |
|
||||
| Mikrofon → Audio-Geräte | § 6.7 |
|
||||
| Notfall-Erkennung | § 10 |
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue