feat(llm): Live-Parameter top_p + Live/Restart-Kennzeichnung — Plan-Schritt 4
- local_llm_top_p (Default 0.9) durch Config -> runtime_config (RUNTIME_SETTABLE, live ohne Neustart) -> local-openai-compatible Payload (top_p). - Admin-Einstellungen: top_p als Slider (0–1); Hints "wirkt sofort (kein Neustart)" für temperature/top_p. - Doku: top_p + Klarstellung Live-Parameter (temp/top_p/max_tokens) vs. Startup-Wert Kontextfenster (OLLAMA_CONTEXT_LENGTH / llama.cpp -c). Verifiziert: top_p im Payload, Live-Config-Round-Trip (PUT/DELETE). 165 grün. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
5b6f0f8ef2
commit
b2576fd465
7 changed files with 16 additions and 3 deletions
|
|
@ -1027,6 +1027,12 @@ Diese Settings gelten nur für den Provider `local-openai-compatible`.
|
|||
| `LOCAL_LLM_SYSTEM_PROMPT` | Sprach-Prompt | Kurze, vorlesbare Antworten |
|
||||
| `LOCAL_LLM_MAX_TOKENS` | `0` (Server-Limit) | Optionaler Deckel, z. B. `256` |
|
||||
| `LOCAL_LLM_TEMPERATURE` | `0.3` | Sampling-Temperatur |
|
||||
| `LOCAL_LLM_TOP_P` | `0.9` | Nucleus-Sampling (0.0–1.0) |
|
||||
|
||||
> Temperatur, Top-p und Max-Tokens sind **Live-Parameter**: im Admin-Panel →
|
||||
> Einstellungen änderbar und **ohne Neustart** sofort wirksam (pro Anfrage gesendet).
|
||||
> Das **Kontextfenster** ist dagegen ein Startup-Wert (Ollama: `OLLAMA_CONTEXT_LENGTH`,
|
||||
> llama.cpp: `-c`) und erfordert einen Backend-Neustart.
|
||||
|
||||
Messung (Qwen3-35B, `va_llm`): Reasoning an → **5,5 s / 1433 Zeichen**;
|
||||
Reasoning aus + Sprach-Prompt → **0,7 s / ~190 Zeichen**.
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue