docs: Startup-Kommandos vollständig dokumentieren (llama.cpp, Ollama, Gateway)
README: neuer Abschnitt „Starten — alle Szenarien" mit allen Optionen für cloud/hybrid/local-dev, llama.cpp-ENV-Tabelle, Ollama-Sequenz und make-Targets. BEDIENUNGSANLEITUNG: § 4.5 (llama.cpp) um direkten Script-Aufruf, docker logs, vollständige ENV-Tabelle erweitert; neues § 4.6 (Ollama) mit systemctl/serve, pull/list/ps, .env-Snippet und Reasoning-Hinweis. TOC und Sachregister aktualisiert. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
d8b861db26
commit
d9cb5ffc7e
2 changed files with 193 additions and 15 deletions
88
README.md
88
README.md
|
|
@ -49,6 +49,94 @@ Web-Interface: Browser → `http://localhost:8080/`
|
|||
|
||||
---
|
||||
|
||||
## Starten — alle Szenarien
|
||||
|
||||
### Profil `cloud` (nur Gateway, alles via OpenRouter)
|
||||
|
||||
```bash
|
||||
make run # Gateway auf PORT aus .env (Standard: 8080)
|
||||
VA_PROFILE=cloud make run # Profil explizit setzen (überschreibt .env)
|
||||
PORT=8003 make run # anderen Port für diesen Start
|
||||
LOG_LEVEL=debug make run # ausführlichere Logs
|
||||
```
|
||||
|
||||
### Profil `hybrid` / `local-dev` mit llama.cpp (Docker + GPU)
|
||||
|
||||
```bash
|
||||
# 1) LLM-Server starten
|
||||
make llm-up # Default: GPU 1, Port 8001, Modell qwen3-35B-Uncensored
|
||||
make llm-status # warten bis „Modell bereit" + HTTP 200 erscheint
|
||||
make llm-down # stoppen
|
||||
|
||||
# Mit anderen Parametern (via ENV):
|
||||
GPU_DEVICE=0 make llm-up
|
||||
HOST_PORT=8101 GPU_DEVICE=2 make llm-up
|
||||
GPU_DEVICE=0 MODEL_REL_PATH="models/qwen3/anderes-modell.gguf" make llm-up
|
||||
|
||||
# Direkt (ohne make):
|
||||
bash scripts/llm-server/start-llm-server.sh
|
||||
GPU_DEVICE=0 bash scripts/llm-server/start-llm-server.sh
|
||||
|
||||
# 2) Gateway starten
|
||||
VA_PROFILE=hybrid make run # STT/TTS cloud, LLM lokal
|
||||
VA_PROFILE=local-dev make run # alles lokal (STT/TTS in-process)
|
||||
```
|
||||
|
||||
ENV-Optionen für `make llm-up` / `start-llm-server.sh`:
|
||||
|
||||
| Variable | Default | Bedeutung |
|
||||
|----------|---------|-----------|
|
||||
| `GPU_DEVICE` | `1` | GPU-Index (0-basiert) |
|
||||
| `HOST_PORT` | `8001` | Host-Port des LLM-Servers |
|
||||
| `MODEL_REL_PATH` | `models/qwen3/Qwen3.6-35B-...Q4_K_M.gguf` | Modellpfad relativ zu `HF_HOME` |
|
||||
| `HF_HOME` | `~/nvme2n1p7_home/huggingface` | Modell-Basisverzeichnis |
|
||||
| `MODEL_ALIAS` | `va_llm` | OpenAI-API-Modellname (→ `LOCAL_LLM_MODEL` in `.env`) |
|
||||
| `CONTAINER_NAME` | `va_llm` | Docker-Containername |
|
||||
|
||||
> Wird `HOST_PORT` oder `MODEL_ALIAS` geändert, müssen `LOCAL_LLM_BASE_URL` und
|
||||
> `LOCAL_LLM_MODEL` in `.env` entsprechend angepasst werden.
|
||||
|
||||
### Profil `hybrid` / `local-dev` mit Ollama
|
||||
|
||||
```bash
|
||||
# 1) Ollama-Dienst starten
|
||||
sudo systemctl start ollama # empfohlen (bei systemd-Installation)
|
||||
# oder im Vordergrund:
|
||||
ollama serve
|
||||
|
||||
# 2) Modell herunterladen (einmalig, ~20 GB):
|
||||
ollama pull qwen3:30b-a3b # Thinking deaktiviert (empfohlen)
|
||||
# kleinere Alternative (CPU-tauglich, ~5 GB):
|
||||
ollama pull qwen3:8b
|
||||
|
||||
# Status prüfen:
|
||||
ollama list # installierte Modelle
|
||||
ollama ps # gerade aktive Modelle (mit VRAM-Verbrauch)
|
||||
|
||||
# 3) .env anpassen (einmalig):
|
||||
# LOCAL_LLM_BASE_URL=http://127.0.0.1:11434/v1
|
||||
# LOCAL_LLM_API_KEY=ollama
|
||||
# LOCAL_LLM_MODEL=qwen3:30b-a3b ← exakter Name aus 'ollama list'
|
||||
|
||||
# 4) Gateway starten:
|
||||
VA_PROFILE=hybrid make run
|
||||
VA_PROFILE=local-dev make run
|
||||
```
|
||||
|
||||
### Alle `make`-Targets im Überblick
|
||||
|
||||
```bash
|
||||
make install # venv anlegen + Abhängigkeiten installieren
|
||||
make run # Gateway starten (uvicorn --reload, Port aus .env)
|
||||
make test # Pytest-Suite (offline, kostenlos)
|
||||
make smoke # Live-End-to-End-Test gegen OpenRouter (geringe Kosten)
|
||||
make llm-up # llama.cpp-Docker-Container starten
|
||||
make llm-down # llama.cpp-Container stoppen
|
||||
make llm-status # Container- und HTTP-Status prüfen
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Dokumentation
|
||||
|
||||
| Dokument | Zielgruppe | Inhalt |
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue