- scripts/llm-server/: start/stop/status fuer llama.cpp-Server (Port 8001, GPU 1, Modell Qwen3.6-35B-A3B-Uncensored, Alias va_llm) - alles per ENV ueberschreibbar - Defaults auf den lokalen Server umgestellt (config.py, .example-Configs, .env.example) - Provider local-openai-compatible sprachoptimiert: Reasoning aus (chat_template_kwargs.enable_thinking=false) + knapper Sprach-System-Prompt, optional max_tokens/temperature - Antwort ~9x schneller, kurze vorlesbare Texte - Makefile-Targets llm-up/llm-down/llm-status - Doku (README, BEDIENUNGSANLEITUNG) auf llama.cpp statt Ollama aktualisiert Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
14 lines
447 B
Bash
Executable file
14 lines
447 B
Bash
Executable file
#!/usr/bin/env bash
|
|
set -euo pipefail
|
|
|
|
# Stoppt den lokalen LLM-Server (llama.cpp) des Voice-Assistants.
|
|
# Container-Name ueber ENV ueberschreibbar: CONTAINER_NAME=... ./stop-llm-server.sh
|
|
|
|
CONTAINER_NAME="${CONTAINER_NAME:-va_llm}"
|
|
|
|
if docker ps -a --format '{{.Names}}' | grep -q "^${CONTAINER_NAME}\$"; then
|
|
docker rm -f "$CONTAINER_NAME" >/dev/null
|
|
echo "[*] Gestoppt: $CONTAINER_NAME"
|
|
else
|
|
echo "[-] Nicht gefunden: $CONTAINER_NAME"
|
|
fi
|