feat(llm): lokales llama.cpp-Modell (va_llm) als zentrale, sprachoptimierte KI
- scripts/llm-server/: start/stop/status fuer llama.cpp-Server (Port 8001, GPU 1, Modell Qwen3.6-35B-A3B-Uncensored, Alias va_llm) - alles per ENV ueberschreibbar - Defaults auf den lokalen Server umgestellt (config.py, .example-Configs, .env.example) - Provider local-openai-compatible sprachoptimiert: Reasoning aus (chat_template_kwargs.enable_thinking=false) + knapper Sprach-System-Prompt, optional max_tokens/temperature - Antwort ~9x schneller, kurze vorlesbare Texte - Makefile-Targets llm-up/llm-down/llm-status - Doku (README, BEDIENUNGSANLEITUNG) auf llama.cpp statt Ollama aktualisiert Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
cd7aef852d
commit
28c729f1d4
11 changed files with 323 additions and 31 deletions
11
.env.example
11
.env.example
|
|
@ -45,9 +45,16 @@ DEFAULT_OUTPUT_ENDPOINT=local-default
|
|||
# DEFAULT_STT_PROVIDER=openrouter
|
||||
# DEFAULT_LLM_PROVIDER=local-openai-compatible
|
||||
# DEFAULT_TTS_PROVIDER=openrouter
|
||||
LOCAL_LLM_BASE_URL=http://127.0.0.1:11434/v1
|
||||
# Lokaler llama.cpp-Server (zentrale, unzensierte KI). Start: scripts/llm-server/start-llm-server.sh
|
||||
# LOCAL_LLM_MODEL muss dem --alias des Servers entsprechen (Default: va_llm).
|
||||
LOCAL_LLM_BASE_URL=http://127.0.0.1:8001/v1
|
||||
LOCAL_LLM_API_KEY=dummy
|
||||
LOCAL_LLM_MODEL=llama3.1
|
||||
LOCAL_LLM_MODEL=va_llm
|
||||
# Tempo-Hebel fuer den Sprach-Loop: Reasoning aus + knappe, vorlesbare Antworten.
|
||||
# LOCAL_LLM_DISABLE_REASONING=true # Qwen3-Denkphase abschalten (deutlich schneller)
|
||||
# LOCAL_LLM_MAX_TOKENS=0 # 0 = serverseitiges Limit (-n); z. B. 256 kappt lange Antworten
|
||||
# LOCAL_LLM_TEMPERATURE=0.3
|
||||
# LOCAL_LLM_SYSTEM_PROMPT=Du bist ein gesprochener Sprachassistent. Antworte kurz ...
|
||||
|
||||
# --- Lokales STT (faster-whisper; nur mit pip install -e .[local] ) ---------
|
||||
FASTER_WHISPER_MODEL=base # tiny|base|small|medium|large-v3
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue