docs: GPU-Zuordnung in Abschnitt 3 der Bedienungsanleitung ergänzt
- Tabelle GPU 0/1/2 mit Rolle und Hinweis auf automatische Zuweisung - VRAM-Warnhinweis (andere Prozesse können Start verhindern) - nvidia-smi-Check-Befehl ergänzt - Einzelstart-Skripte mit GPU-Angabe dokumentiert - Veralteten docker-run-Testbefehl (device=1,2) durch korrekte Einzelbefehle für GPU 1 und GPU 2 ersetzt Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
3f7ffe60c2
commit
ec03d01899
1 changed files with 45 additions and 4 deletions
|
|
@ -86,18 +86,50 @@ pi
|
|||
|
||||
## 3. Server starten und stoppen
|
||||
|
||||
### GPU-Zuordnung (3-GPU-Setup)
|
||||
|
||||
Bei einem System mit drei GPUs sind die Rollen fest in den Startskripten verankert —
|
||||
**keine manuelle Konfiguration nötig:**
|
||||
|
||||
| GPU | Modell | Rolle |
|
||||
|-----|--------|-------|
|
||||
| GPU 0 (NVIDIA T600) | — | Display / Monitor — wird von den Skripten nicht angetastet |
|
||||
| GPU 1 (RTX 3090, 24 GB) | Qwen3.6-27B | **Coder** (Port 8001) |
|
||||
| GPU 2 (RTX 3090, 24 GB) | Qwen3.6-27B | **Judge** (Port 8002) |
|
||||
|
||||
Jeder Server bekommt seine eigene GPU exklusiv — so gibt es keinen VRAM-Konflikt,
|
||||
auch wenn beide gleichzeitig laufen.
|
||||
|
||||
**Wichtig:** Andere GPU-Prozesse (z. B. TTS-Dienste, Ollama) auf GPU 1 oder GPU 2 können
|
||||
VRAM belegen und dazu führen, dass ein Server nicht startet. Im Zweifel prüfen:
|
||||
```bash
|
||||
nvidia-smi --query-gpu=index,name,memory.used,memory.free --format=csv
|
||||
```
|
||||
|
||||
### Beide starten (empfohlen)
|
||||
|
||||
```bash
|
||||
cd ~/pi_coder
|
||||
./start-servers.sh
|
||||
```
|
||||
|
||||
Erwartete Ausgabe:
|
||||
```
|
||||
[*] Starte beide Server parallel ...
|
||||
[✓] Coder (:8001) bereit
|
||||
[✓] Judge (:8002) bereit
|
||||
```
|
||||
|
||||
Dauer: bis zu 5 Minuten. Danach sind beide Modelle im VRAM und sofort antwortbereit.
|
||||
|
||||
### Einzelnen Server neu starten
|
||||
|
||||
Z.B. wenn nur der Coder-Server abgestürzt ist:
|
||||
Z.B. wenn nur der Judge-Server abgestürzt ist:
|
||||
|
||||
```bash
|
||||
./start-coder.sh
|
||||
./start-judge.sh # Port 8002, GPU 2
|
||||
# oder:
|
||||
./start-coder.sh # Port 8001, GPU 1
|
||||
```
|
||||
|
||||
### Beide stoppen
|
||||
|
|
@ -106,6 +138,12 @@ Z.B. wenn nur der Coder-Server abgestürzt ist:
|
|||
./stop-servers.sh
|
||||
```
|
||||
|
||||
### Status prüfen
|
||||
|
||||
```bash
|
||||
./status.sh
|
||||
```
|
||||
|
||||
### Alternativer Modellpfad
|
||||
|
||||
Falls die GGUF-Datei an einem anderen Ort liegt:
|
||||
|
|
@ -833,8 +871,11 @@ HF_HOME=/korrekter/pfad ./start-servers.sh
|
|||
|
||||
2. GPU nicht verfügbar:
|
||||
```bash
|
||||
nvidia-smi # GPUs sichtbar?
|
||||
docker run --gpus '"device=1,2"' --rm nvidia/cuda:12.0-base nvidia-smi
|
||||
nvidia-smi # alle drei GPUs sichtbar?
|
||||
# GPU 1 (Coder) testen:
|
||||
docker run --gpus '"device=1"' --rm nvidia/cuda:12.0-base nvidia-smi
|
||||
# GPU 2 (Judge) testen:
|
||||
docker run --gpus '"device=2"' --rm nvidia/cuda:12.0-base nvidia-smi
|
||||
```
|
||||
|
||||
3. Port bereits belegt:
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue