28c729f1d4
- scripts/llm-server/: start/stop/status fuer llama.cpp-Server (Port 8001, GPU 1, Modell Qwen3.6-35B-A3B-Uncensored, Alias va_llm) - alles per ENV ueberschreibbar - Defaults auf den lokalen Server umgestellt (config.py, .example-Configs, .env.example) - Provider local-openai-compatible sprachoptimiert: Reasoning aus (chat_template_kwargs.enable_thinking=false) + knapper Sprach-System-Prompt, optional max_tokens/temperature - Antwort ~9x schneller, kurze vorlesbare Texte - Makefile-Targets llm-up/llm-down/llm-status - Doku (README, BEDIENUNGSANLEITUNG) auf llama.cpp statt Ollama aktualisiert Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
45 lines
1.7 KiB
TOML
45 lines
1.7 KiB
TOML
# Zentrale Konfiguration des Voice-Assistant-Gateways.
|
|
#
|
|
# WICHTIG: Secrets (API-Keys) gehoeren NICHT in diese Datei -> ausschliesslich
|
|
# ueber Umgebungsvariablen (z. B. OPENROUTER_API_KEY).
|
|
#
|
|
# Praezedenz (hoeher gewinnt):
|
|
# eingebaute Defaults < diese TOML-Datei < ENV/.env < Session-Route < Request
|
|
#
|
|
# Aktives Profil waehlen via ENV: VA_PROFILE=local-dev | hybrid | cloud
|
|
# Eigenen Pfad setzen via ENV: VA_CONFIG_FILE=/pfad/zu/voice-assistant.toml
|
|
#
|
|
# Diese Datei nach config/voice-assistant.toml kopieren und anpassen.
|
|
|
|
# Basiswerte, die fuer alle Profile gelten (von Profilen ueberschreibbar).
|
|
[defaults]
|
|
default_language = "de"
|
|
default_input_endpoint = "local-default"
|
|
default_output_endpoint = "local-default"
|
|
|
|
openrouter_stt_model = "openai/whisper-large-v3"
|
|
openrouter_tts_model = "openai/gpt-4o-mini-tts"
|
|
openrouter_tts_voice = "alloy"
|
|
openrouter_llm_model = "openai/gpt-4.1-mini"
|
|
|
|
# Lokaler llama.cpp-Server (zentrale, unzensierte KI) - Start: scripts/llm-server/start-llm-server.sh
|
|
local_llm_base_url = "http://127.0.0.1:8001/v1"
|
|
local_llm_model = "va_llm" # = --alias des llama.cpp-Servers
|
|
|
|
# Reines lokales Setup (eigene Hardware/KI) - z. B. fuer Entwicklung/Offline-Test.
|
|
[profiles.local-dev]
|
|
default_stt_provider = "faster-whisper"
|
|
default_llm_provider = "local-openai-compatible"
|
|
default_tts_provider = "piper"
|
|
|
|
# Hybrid: STT/TTS remote, Haupt-LLM lokal.
|
|
[profiles.hybrid]
|
|
default_stt_provider = "openrouter"
|
|
default_llm_provider = "local-openai-compatible"
|
|
default_tts_provider = "openrouter"
|
|
|
|
# Voll-Cloud: alle KI-Module remote (Standard fuer den produktiven vHost-Betrieb).
|
|
[profiles.cloud]
|
|
default_stt_provider = "openrouter"
|
|
default_llm_provider = "openrouter"
|
|
default_tts_provider = "openrouter"
|