dschlueter/llama-server
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity

Update documentation: Add Qwopus3.6 coding variant with multimodal support

Browse source
This commit is contained in:
Dieter Schlüter 2026-05-11 19:17:57 +02:00
commit 3e60a072b4
3 changed files with 47 additions and 8 deletions
Download patch file Download diff file Expand all files Collapse all files

23
BEDIENUNGSANLEITUNG.md
View file

@ -73,6 +73,8 @@ docker compose -f docker-compose_Qwen3.6_Uncensored.yml up -d --force-recreate
./run_bge_m3_embedding_server.sh
```
**Hinweis**: Die Qwopus3.6-Variante wird über Docker Compose gestartet, da sie multimodale Unterstützung benötigt (mmproj-Datei). Container-Name: `qwopus35b-moe-coding`.
**Hinweis**: Alle Shell-Skripte stoppen automatisch existierende Container gleichen Namens vor dem Start.
## Server-Verwaltung
@ -87,6 +89,7 @@ docker compose -f docker-compose_Qwen3.6_Uncensored.yml up -d --force-recreate
| qwen35b-moe-coding | Carnice | docker-compose_Qwen3.6_Tools_coding.yml |
| qwen35b-moe-tools | Carnice | docker-compose_Qwen3.6_Tools.yml |
| qwen35b-moe-rag-longctx | Carnice | docker-compose_Qwen3.6_Tools_RAG_faehig.yml |
| qwopus35b-moe-coding | Qwopus3.6 | docker-compose_Qwen3.6_Qwopus3.6_coding.yml |
| qwen35b-moe-uncensored | Uncensored | docker-compose_Qwen3.6_Uncensored.yml |
| qwen35b-moe-uncensored-rag | Uncensored | docker-compose_Qwen3.6_Uncensored_RAG_faehig.yml |
| qwen35b-moe-uncensored-rag-longctx | Uncensored | run_qwen35b_server_uncensored_rag_longctx.sh |
@ -144,6 +147,11 @@ KV-Cache:
Unified Cache: --kv-unified
```
**Qwopus3.6-Spezifikationen:**
- **Parallel-Slots**: 4 (statt 2) — KV-Cache ~2.5 GB/Slot, 4 Slots machbar
- **Micro-Batch-Größe**: 1024 (statt 512) — SSM-Layer verarbeitet Micro-Batches effizienter
- **Multimodale Unterstützung**: Erfordert mmproj-Datei (siehe docker-compose für Konfiguration)
### Kontext- und Performance-Parameter
| Parameter | Wert | Beschreibung |
|-----------|------|--------------|
@ -173,6 +181,21 @@ min-p: 0.01
repeat-penalty: 1.05
```
#### Qwopus3.6-Modus
```yaml
temperature: 0.3 # Kompromiss für Kreativität und Präzision
top-p: 0.95
top-k: 40
min-p: 0.01
repeat-penalty: 1.05
```
**Qwopus3.6-Spezifikationen:**
- **Multimodale Unterstützung**: Erfordert mmproj-Datei (siehe docker-compose für Konfiguration)
- **Parallel-Slots**: 4 (statt 2) — KV-Cache ~2.5 GB/Slot, 4 Slots machbar
- **Micro-Batch-Größe**: 1024 (statt 512) — SSM-Layer verarbeitet Micro-Batches effizienter
- **Container-Name**: `qwopus35b-moe-coding` (vermeidet Konflikt mit Standard-Coding-Container)
### Laufzeit-Parameter (ohne Neustart)
Diese Parameter können pro API-Request überschrieben werden:
- `temperature`