feat: Strata als Standardmodell für Coder/Judge
/optimize, /coder, /judge, /fix nutzen ohne PI_CODER_MODEL jetzt strata/qwen3.8-flash-next-iq3_s; llama-cpp-single/coding_model über PI_CODER_MODEL. Hinweis bei nicht bereitem Server nennt strata.sh start. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
parent
d2e83daa98
commit
9571361c2a
1 changed files with 30 additions and 23 deletions
|
|
@ -151,12 +151,14 @@ HF_HOME=/mnt/daten/huggingface ./start-coding-server.sh
|
|||
|
||||
### Anderes Modell für die Schleife
|
||||
|
||||
Ohne weitere Angabe arbeiten Coder und Judge mit `llama-cpp-single/coding_model` (Port 8001). Ein anderes Modell aus
|
||||
`models.json` setzt die Umgebungsvariable `PI_CODER_MODEL` beim Start von pi, als `<provider>/<id>`:
|
||||
Ohne weitere Angabe arbeiten Coder und Judge mit `strata/qwen3.8-flash-next-iq3_s` (Strata, Port 9090). Ist das
|
||||
Modell entladen, lädt Strata es bei der ersten Anfrage und gibt vorher GPU 1 und 2 frei; die Bereitschaftsprüfung
|
||||
wartet darauf bis zu 3 Minuten. Eingerichtet ist das in `~/nvme2n1p7_home/strata-betrieb` (dort
|
||||
BEDIENUNGSANLEITUNG, „GPUs teilen“). Ein anderes Modell aus `models.json` setzt die Umgebungsvariable
|
||||
`PI_CODER_MODEL` beim Start von pi, als `<provider>/<id>`, z. B. der llama.cpp-Server auf Port 8001:
|
||||
|
||||
```bash
|
||||
PI_CODER_MODEL=strata/qwen3.8-flash-next-iq3_s \
|
||||
pi --provider strata --model qwen3.8-flash-next-iq3_s
|
||||
PI_CODER_MODEL=llama-cpp-single/coding_model pi
|
||||
```
|
||||
|
||||
`--provider`/`--model` machen das Modell auch für freie Eingaben zum Standard dieses Laufs; die globalen
|
||||
|
|
|
|||
Loading…
Reference in a new issue