dschlueter
703a695bed
Frische-/Web-Such-Funktion: Das zentrale Modell entscheidet selbst via web_search-Tool, ob es tagesaktuelle Fakten braucht, holt sie über perplexity/sonar und formuliert die Antwort in Persona (Augment). - SonarTool (app/tools/web_search.py): Fakten via perplexity/sonar, Citations als Metadaten, honest-punt-Sentinel bei Fehler/Timeout. - ToolCallingLLM (app/providers/llm/tool_calling.py): agentischer Loop als LLMProvider; complete() + gestreamtes stream() mit SSE-Tool-Assembler; Persona- + Trigger- + Vorrang-Prompt (Tool-Ergebnis schlaegt Gedaechtnis). - Verdrahtung: Registry-Eintrag openrouter-tools; web_search_enabled (global an, pro Nutzer/Profil abschaltbar) via Route-Layering; build_orchestrator waehlt tool-faehig vs. plain, Fallback-Kette erhalten. - Filler: ephemerer Beruhigungssatz beim Tool-Start (sofort angezeigt UND gesprochen als Satz null), nie in semantic_response/History; on_tool_start defensiv durch die stream()-Kette gefaedelt (kein Bruch bestehender Provider). - Modellwechsel: Standard auf mistralai/mistral-small-3.2-24b-instruct (tool-faehig; im Eval einziger Recall-Gate-Passer). 2501 ist tool-unfaehig. - Eval-Harness (eval/tool_calling/): Datensatz + Runner zur Modellauswahl. Doc: Docs/weg2-tool-calling.md. Tests: 290 gruen. Offen (Schritt 5): Koreferenz-Vorstufe (nl-Pronomen) + Metrik-Zaehler. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
31 lines
1.2 KiB
YAML
31 lines
1.2 KiB
YAML
# Erprobte zentrale KI-Modelle für das Admin-Dropdown (System › Status).
|
||
# Die Auswahl stellt Provider + Modell als Laufzeit-Override um (kein Neustart).
|
||
#
|
||
# Felder je Eintrag:
|
||
# label Anzeigename im Dropdown (Pflicht)
|
||
# note optionaler Hinweis (z. B. Voraussetzungen)
|
||
# default true = "Standard aus der Konfiguration"; Auswahl ENTFERNT die Overrides
|
||
# set Map von Laufzeit-Schlüsseln -> Wert (nur Keys aus RUNTIME_SETTABLE wirken)
|
||
#
|
||
# Nur diese LLM-Schlüssel werden ausgewertet:
|
||
# default_llm_provider, openrouter_llm_model, local_llm_model
|
||
presets:
|
||
- label: "Mistral Small 3.2 24B — Standard"
|
||
default: true
|
||
note: "Standard aus der Konfiguration (OpenRouter) — tool-fähig für die Web-Suche"
|
||
|
||
- label: "DeepSeek V4 Flash (OpenRouter)"
|
||
set:
|
||
default_llm_provider: "openrouter"
|
||
openrouter_llm_model: "deepseek/deepseek-v4-flash"
|
||
|
||
- label: "DeepSeek V4 Pro (OpenRouter)"
|
||
set:
|
||
default_llm_provider: "openrouter"
|
||
openrouter_llm_model: "deepseek/deepseek-v4-pro"
|
||
|
||
- label: "Ollama: Gemma 3 (lokal)"
|
||
note: "Ollama muss laufen (make llm-ollama)"
|
||
set:
|
||
default_llm_provider: "local-openai-compatible"
|
||
local_llm_model: "gemma3:latest"
|