dschlueter/llamacppctl
1
0
Fork 0
Code Issues Pull requests Projects Releases 1 Packages Wiki Activity

docs(config): clarify profile names and make examples copy-paste safe

Browse source 
Rename the size-numbered profiles so the digits read as parameter count,
not Qwen version: qwen35 -> qwen35b (llama.cpp.config.example, build_archive
smoke test, SECURITY_AND_OPERATIONS.md) and qwen27 -> qwen27b
(llama.cpp.config).

Drop the misleading `--profile qwen35` from the README/man/install examples:
that profile only exists in the .example file, so pasted commands failed
against the real config. Primary examples now omit --profile (using the
[default] section, which always resolves), with one example plus a note
showing how to select a real [model.<name>] profile.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Dieter Schlüter 2026-07-07 09:53:43 +02:00
commit d5a69e8bf8
7 changed files with 41 additions and 25 deletions
Download patch file Download diff file Expand all files Collapse all files

31
README.md
View file

@ -76,41 +76,50 @@ Auflösungsreihenfolge (niedrigste zu höchster Priorität):
## Verwendung
```bash
# Server starten
llamacppctl --start --config llama.cpp.config --profile qwen35
# Server starten (nutzt die [default]-Sektion der Config)
llamacppctl --start --config llama.cpp.config
# Nur den geplanten docker-run-Befehl anzeigen, nichts ausführen
llamacppctl --start --config llama.cpp.config --profile qwen35 --dry-run
llamacppctl --start --config llama.cpp.config --dry-run
# Effektive Konfiguration als JSON ausgeben
llamacppctl --print-effective-config --config llama.cpp.config --profile qwen35 --start
llamacppctl --print-effective-config --config llama.cpp.config --start
# Status prüfen
llamacppctl --check --config llama.cpp.config --profile qwen35
llamacppctl --check --config llama.cpp.config
# Server stoppen und Container entfernen
llamacppctl --stop --config llama.cpp.config --profile qwen35
llamacppctl --stop --config llama.cpp.config
# Ein bestimmtes Modell-Profil starten (siehe Hinweis unter dem Block)
llamacppctl --start --config llama.cpp.config --profile qwopus
# Modell wechseln (stop, neu konfigurieren, restart) unter Lock-Schutz
llamacppctl --change --config llama.cpp.config --profile deepseek
llamacppctl --change --config llama.cpp.config --profile carnice
# Direkten Chat-Request an einen laufenden Server senden
llamacppctl --chat --config llama.cpp.config --profile qwen35 \
llamacppctl --chat --config llama.cpp.config \
-s "Du antwortest kurz." -p "Was ist 2+2?"
# Chat mit Live-Streaming und großem Antwortbudget (lange Texte)
llamacppctl --chat --config llama.cpp.config --profile qwen35 \
llamacppctl --chat --config llama.cpp.config \
--stream --max-tokens 8000 -p "Schreibe eine kurze Rede zum Jahreswechsel."
# System-Prompt aus einer lokalen Datei, User-Prompt als Literal
llamacppctl --start --config llama.cpp.config --profile qwen35 \
llamacppctl --start --config llama.cpp.config \
--system-file ./prompts/coding.md -p "Refaktoriere diese Funktion."
# System-Prompt von einer HTTPS-URL (öffentliches, nicht-privates Ziel)
llamacppctl --chat --config llama.cpp.config --profile qwen35 \
llamacppctl --chat --config llama.cpp.config \
--system-url https://example.com/prompts/system.txt -p "Hallo"
```
Ohne `--profile` gilt die `[default]`-Sektion. Mit `--profile <name>` wählst du
ein `[model.<name>]`-Profil; in `llama.cpp.config` sind das z. B. `carnice`,
`qwen27b`, `qwopus`, in der Vorlage `llama.cpp.config.example` `qwen35b` und
`deepseek`. Die Ziffern (z. B. `35b`) meinen die Modellgröße in Milliarden
Parametern, nicht die Qwen-Version.
Vollständige Optionsliste: `llamacppctl --help` oder die Manpage
(`man/llamacppctl.1`, siehe unten).