dschlueter/pi_coder_2
Watch
1
0
Fork
You've already forked pi_coder_2
 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

docs: GPU-Belegung richtiggestellt (T600 zu klein, Strata auf GPU 1+2, TTS auf GPU 2)

Browse source 
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Dieter Schlüter 2026-10-16 11:45:37 +02:00
commit b097bdeed8
1 changed files with 43 additions and 25 deletions
Download patch file Download diff file Expand all files Collapse all files

20
BEDIENUNGSANLEITUNG.md
View file

@ -127,14 +127,16 @@ Der Server läuft standardmäßig auf **GPU 1** (überschreibbar):
```bash
./start-coding-server.sh # GPU 1 (Standard)
GPU_DEVICE=0 ./start-coding-server.sh # GPU 0
GPU_DEVICE=2 ./start-coding-server.sh # die zweite RTX 3090
```
Auf einem System mit mehreren GPUs empfiehlt es sich, GPU 0 (Display) freizuhalten
und GPU 1 für den KI-Server zu verwenden.
Auf diesem Rechner ist GPU 0 eine T600 mit 4 GB (Display, Bild-Encoder von Strata) und für das Modell zu klein.
Der Container braucht eine RTX 3090 (GPU 1 oder 2) und läuft nur, solange Strata entladen oder gestoppt ist; lädt
Strata, stoppt `gpu-freigeben.sh` den Container vorher. Belegung und Freigabe:
`~/nvme2n1p7_home/strata-betrieb/BEDIENUNGSANLEITUNG.md`, „GPUs teilen“.
**Wichtig:** Andere GPU-Prozesse (z. B. TTS-Dienste, Ollama) auf der verwendeten GPU
können VRAM belegen und dazu führen, dass der Server nicht startet. Im Zweifel prüfen:
**Wichtig:** Andere GPU-Prozesse auf der verwendeten GPU (ein geladenes Strata, Ollama-Modelle, auf GPU 2 auch die
TTS/STT-Dienste) belegen VRAM und können verhindern, dass der Server startet. Im Zweifel prüfen:
```bash
nvidia-smi --query-gpu=index,name,memory.used,memory.free --format=csv
```
@ -986,7 +988,9 @@ HF_HOME=/korrekter/pfad ./start-coding-server.sh
**Ursachen und Lösungen:**
1. Zu wenig VRAM — Container bricht beim Laden ab:
1. Zu wenig VRAM — Container bricht beim Laden ab. Häufigste Ursache: Strata hat das Modell geladen und belegt
GPU 1 und 2 (`~/nvme2n1p7_home/strata-betrieb/scripts/strata.sh status`; entladen mit
`curl -X POST -H "Content-Type: application/json" http://127.0.0.1:9090/unload`). Sonst:
```bash
docker logs coding_model | tail -50
# Suche nach: "CUDA out of memory" oder "failed to allocate"
@ -998,8 +1002,8 @@ HF_HOME=/korrekter/pfad ./start-coding-server.sh
nvidia-smi # GPU sichtbar?
# GPU 1 testen:
docker run --gpus '"device=1"' --rm nvidia/cuda:12.0-base nvidia-smi
# Andere GPU testen:
GPU_DEVICE=0 ./start-coding-server.sh
# Die zweite RTX 3090 testen:
GPU_DEVICE=2 ./start-coding-server.sh
```
3. Port 8001 bereits belegt: