2026-06-17 01:48:56 +02:00
|
|
|
from io import BytesIO
|
|
|
|
|
|
2026-06-17 02:14:25 +02:00
|
|
|
from fastapi import APIRouter, Depends, HTTPException, Query
|
2026-06-17 01:48:56 +02:00
|
|
|
from fastapi.responses import JSONResponse, StreamingResponse
|
|
|
|
|
|
|
|
|
|
from app.config import settings
|
|
|
|
|
from app.errors import RoutingError
|
2026-06-17 02:14:25 +02:00
|
|
|
from app.auth import require_user
|
2026-06-18 17:55:05 +02:00
|
|
|
from app.store import ANONYMOUS_USER_ID, User, SessionOwnershipError
|
2026-06-17 01:48:56 +02:00
|
|
|
from app.dependencies import (
|
|
|
|
|
resolve_route,
|
|
|
|
|
build_orchestrator,
|
|
|
|
|
resolve_output_endpoint,
|
2026-06-17 04:16:35 +02:00
|
|
|
get_store,
|
feat: Geräte-TTS, native Stimmen, Favicon, Auth-Gate, UI-Fixes
Web-UI / TTS:
- Geräte-TTS ("📱 Gerät"): Antwort wird on-device vorgelesen (Web Speech
API), Server sendet nur Text (text_only) -> spart Bandbreite/Kosten.
Mobil-Default, geräte-lokale Speicherung, iOS-Autoplay-Freischaltung.
- Vorlese-Symbol (🔊) je Bubble: Hybrid-Replay (Assistent-PCM gecacht,
Eingabe via /api/speak); SVG-Icon mit kontrastreicher Farbe.
- Kombiniertes Sprachmenü (Flex + feste Sprachen) statt separatem Modus-Menü.
- "Neues Gespräch"-Button (frische Session gegen Sprach-Trägheit).
- Dark-Mode: lesbare <option>-Popups (Kontrast-Fix).
- Favicon (SVG + PNG-Fallbacks) aus mund.png.
TTS-Backend:
- Sprache wird an alle TTS-Provider durchgereicht; Piper-Stimme folgt der
Sprache; Chatterbox mehrsprachig + cross-lingual.
- Native Referenz-Stimmen je Sprache (config/voices/<lang>.wav, FLEURS CC-BY),
loudness-normalisiert.
LLM-Sprache:
- Antwort folgt zuverlässig der gewählten Sprache (verstärkte Anweisung +
Erinnerung an der letzten Nutzer-Nachricht gegen History-Trägheit).
Admin / Auth:
- Wörterbuch: alle 8 Sprachen, Zeilen editierbar, alphabetische Sortierung.
- Web-UI hinter Auth-Gate (Redirect auf SSO_LOGIN_URL / 401); Favicons offen.
- Log-Tab: Hinweis, wenn der systemd-Dienst nicht aktiv ist.
- Einstellungen: Hinweis "pro Nutzer überschreibbar" bei Sprache/Modus/Qualität.
Doku (BEDIENUNGSANLEITUNG.md): Geräte-TTS §6.5.0, Fix/Flex §6.6, native
Stimmen §6.5.3, llama.cpp<->Ollama-Wechsel §4.7, Auth/SSO §7.4.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-20 13:12:04 +02:00
|
|
|
piper_voice_for_language,
|
2026-06-24 22:01:38 +02:00
|
|
|
voice_for_route,
|
2026-06-17 01:48:56 +02:00
|
|
|
)
|
feat(memory): automatische Erinnerungs-Extraktion aus Gespraechen
- app/core/memory_extractor.py: LLM destilliert nach je N Turns dauerhafte
Fakten/Vorlieben aus dem Verlauf, dedupliziert gegen vorhandene Erinnerungen
und legt sie ab - best-effort, nicht-blockierend (Hintergrund-Task), eigener
Extraktions-Prompt (JSON, Reasoning aus), Cap-Begrenzung
- Trigger in /api/chat und /ws/voice nach dem Persistieren des Turns
- Konfig: MEMORY_EXTRACTION_ENABLED/_EVERY_N_TURNS/_MAX/_PROVIDER
- Tests: Extraktion, Dedup, kaputtes JSON, Cap, leeres Gespraech, Scheduling
- Doku: README + Architektur-Roadmap (Punkt 3 erledigt)
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-18 03:15:08 +02:00
|
|
|
from app.core.memory_extractor import maybe_schedule_extraction
|
2026-06-17 05:29:30 +02:00
|
|
|
from app.quota import enforce_quota, record_usage, QuotaExceededError
|
2026-06-25 03:02:52 +02:00
|
|
|
from app.safety.emergency import record_manual_emergency
|
|
|
|
|
from app.schemas import ChatRequest, EmergencyRequest
|
2026-06-17 01:48:56 +02:00
|
|
|
|
|
|
|
|
router = APIRouter()
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
def _route_headers(route) -> dict:
|
|
|
|
|
return {
|
|
|
|
|
"X-Input-Endpoint": route.input_endpoint,
|
|
|
|
|
"X-Output-Endpoint": route.output_endpoint,
|
|
|
|
|
"X-STT-Provider": route.stt_provider,
|
|
|
|
|
"X-LLM-Provider": route.llm_provider,
|
|
|
|
|
"X-TTS-Provider": route.tts_provider,
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
@router.post("/chat")
|
|
|
|
|
async def chat(
|
|
|
|
|
payload: ChatRequest,
|
|
|
|
|
debug: bool = Query(
|
|
|
|
|
default=False,
|
|
|
|
|
description="Return JSON trace instead of audio response",
|
|
|
|
|
),
|
|
|
|
|
session_id: str | None = Query(
|
|
|
|
|
default=None,
|
|
|
|
|
description="Optional session id to apply a stored route",
|
|
|
|
|
),
|
2026-06-17 02:14:25 +02:00
|
|
|
user: User = Depends(require_user),
|
2026-06-17 01:48:56 +02:00
|
|
|
):
|
|
|
|
|
overrides = {
|
|
|
|
|
"input_endpoint": payload.input_endpoint,
|
|
|
|
|
"output_endpoint": payload.output_endpoint,
|
|
|
|
|
"language": payload.language,
|
|
|
|
|
"stt_provider": payload.stt_provider,
|
|
|
|
|
"llm_provider": payload.llm_provider,
|
|
|
|
|
"tts_provider": payload.tts_provider,
|
|
|
|
|
}
|
2026-06-17 04:16:35 +02:00
|
|
|
store = get_store()
|
|
|
|
|
|
2026-06-17 01:48:56 +02:00
|
|
|
try:
|
2026-06-17 02:14:25 +02:00
|
|
|
route = resolve_route(user, session_id, overrides)
|
2026-06-17 01:48:56 +02:00
|
|
|
orchestrator = build_orchestrator(route)
|
|
|
|
|
output = await resolve_output_endpoint(route)
|
2026-06-17 04:16:35 +02:00
|
|
|
# Gespraechsverlauf laden (nur bei gesetzter session_id -> sonst zustandslos).
|
2026-06-17 04:26:55 +02:00
|
|
|
conversation = (
|
2026-06-17 04:16:35 +02:00
|
|
|
store.get_recent_messages(session_id, settings.history_max_messages)
|
|
|
|
|
if session_id
|
|
|
|
|
else []
|
|
|
|
|
)
|
2026-06-17 04:26:55 +02:00
|
|
|
# Langzeit-Erinnerungen sind nutzerbezogen und gelten auch ohne Session.
|
|
|
|
|
memories = store.get_memories(user.id)
|
2026-06-17 02:14:25 +02:00
|
|
|
except SessionOwnershipError as exc:
|
|
|
|
|
raise HTTPException(status_code=403, detail=str(exc))
|
2026-06-17 01:48:56 +02:00
|
|
|
except RoutingError as exc:
|
|
|
|
|
raise HTTPException(status_code=422, detail=str(exc))
|
|
|
|
|
|
2026-06-17 04:26:55 +02:00
|
|
|
llm_context = list(conversation)
|
2026-06-18 17:55:05 +02:00
|
|
|
user_context_parts = []
|
|
|
|
|
if user.id != ANONYMOUS_USER_ID:
|
|
|
|
|
user_context_parts.append(f"Du sprichst mit {user.display_name}.")
|
2026-06-17 04:26:55 +02:00
|
|
|
if memories:
|
2026-06-18 17:55:05 +02:00
|
|
|
user_context_parts.append(
|
|
|
|
|
"Was du ueber den Nutzer weisst:\n" + "\n".join(f"- {m.content}" for m in memories)
|
2026-06-17 04:26:55 +02:00
|
|
|
)
|
2026-06-18 17:55:05 +02:00
|
|
|
if user_context_parts:
|
|
|
|
|
llm_context = [{"role": "system", "content": "\n".join(user_context_parts)}] + llm_context
|
2026-06-17 04:26:55 +02:00
|
|
|
|
2026-06-25 03:02:52 +02:00
|
|
|
try:
|
|
|
|
|
enforce_quota(user, store)
|
|
|
|
|
except QuotaExceededError as exc:
|
|
|
|
|
raise HTTPException(status_code=429, detail=str(exc))
|
2026-06-17 05:29:30 +02:00
|
|
|
|
feat: Geräte-TTS, native Stimmen, Favicon, Auth-Gate, UI-Fixes
Web-UI / TTS:
- Geräte-TTS ("📱 Gerät"): Antwort wird on-device vorgelesen (Web Speech
API), Server sendet nur Text (text_only) -> spart Bandbreite/Kosten.
Mobil-Default, geräte-lokale Speicherung, iOS-Autoplay-Freischaltung.
- Vorlese-Symbol (🔊) je Bubble: Hybrid-Replay (Assistent-PCM gecacht,
Eingabe via /api/speak); SVG-Icon mit kontrastreicher Farbe.
- Kombiniertes Sprachmenü (Flex + feste Sprachen) statt separatem Modus-Menü.
- "Neues Gespräch"-Button (frische Session gegen Sprach-Trägheit).
- Dark-Mode: lesbare <option>-Popups (Kontrast-Fix).
- Favicon (SVG + PNG-Fallbacks) aus mund.png.
TTS-Backend:
- Sprache wird an alle TTS-Provider durchgereicht; Piper-Stimme folgt der
Sprache; Chatterbox mehrsprachig + cross-lingual.
- Native Referenz-Stimmen je Sprache (config/voices/<lang>.wav, FLEURS CC-BY),
loudness-normalisiert.
LLM-Sprache:
- Antwort folgt zuverlässig der gewählten Sprache (verstärkte Anweisung +
Erinnerung an der letzten Nutzer-Nachricht gegen History-Trägheit).
Admin / Auth:
- Wörterbuch: alle 8 Sprachen, Zeilen editierbar, alphabetische Sortierung.
- Web-UI hinter Auth-Gate (Redirect auf SSO_LOGIN_URL / 401); Favicons offen.
- Log-Tab: Hinweis, wenn der systemd-Dienst nicht aktiv ist.
- Einstellungen: Hinweis "pro Nutzer überschreibbar" bei Sprache/Modus/Qualität.
Doku (BEDIENUNGSANLEITUNG.md): Geräte-TTS §6.5.0, Fix/Flex §6.6, native
Stimmen §6.5.3, llama.cpp<->Ollama-Wechsel §4.7, Auth/SSO §7.4.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-20 13:12:04 +02:00
|
|
|
# Explizit angeforderte Stimme gewinnt; sonst folgt sie der Routensprache.
|
2026-06-24 22:01:38 +02:00
|
|
|
voice = payload.voice or voice_for_route(route.tts_provider, route.language, route.voice_gender)
|
feat: Geräte-TTS, native Stimmen, Favicon, Auth-Gate, UI-Fixes
Web-UI / TTS:
- Geräte-TTS ("📱 Gerät"): Antwort wird on-device vorgelesen (Web Speech
API), Server sendet nur Text (text_only) -> spart Bandbreite/Kosten.
Mobil-Default, geräte-lokale Speicherung, iOS-Autoplay-Freischaltung.
- Vorlese-Symbol (🔊) je Bubble: Hybrid-Replay (Assistent-PCM gecacht,
Eingabe via /api/speak); SVG-Icon mit kontrastreicher Farbe.
- Kombiniertes Sprachmenü (Flex + feste Sprachen) statt separatem Modus-Menü.
- "Neues Gespräch"-Button (frische Session gegen Sprach-Trägheit).
- Dark-Mode: lesbare <option>-Popups (Kontrast-Fix).
- Favicon (SVG + PNG-Fallbacks) aus mund.png.
TTS-Backend:
- Sprache wird an alle TTS-Provider durchgereicht; Piper-Stimme folgt der
Sprache; Chatterbox mehrsprachig + cross-lingual.
- Native Referenz-Stimmen je Sprache (config/voices/<lang>.wav, FLEURS CC-BY),
loudness-normalisiert.
LLM-Sprache:
- Antwort folgt zuverlässig der gewählten Sprache (verstärkte Anweisung +
Erinnerung an der letzten Nutzer-Nachricht gegen History-Trägheit).
Admin / Auth:
- Wörterbuch: alle 8 Sprachen, Zeilen editierbar, alphabetische Sortierung.
- Web-UI hinter Auth-Gate (Redirect auf SSO_LOGIN_URL / 401); Favicons offen.
- Log-Tab: Hinweis, wenn der systemd-Dienst nicht aktiv ist.
- Einstellungen: Hinweis "pro Nutzer überschreibbar" bei Sprache/Modus/Qualität.
Doku (BEDIENUNGSANLEITUNG.md): Geräte-TTS §6.5.0, Fix/Flex §6.6, native
Stimmen §6.5.3, llama.cpp<->Ollama-Wechsel §4.7, Auth/SSO §7.4.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-20 13:12:04 +02:00
|
|
|
|
2026-06-17 01:48:56 +02:00
|
|
|
try:
|
|
|
|
|
trace, audio = await orchestrator.chat_text(
|
|
|
|
|
payload.text,
|
|
|
|
|
language=route.language,
|
|
|
|
|
voice=voice,
|
|
|
|
|
output=output,
|
2026-06-17 04:26:55 +02:00
|
|
|
history=llm_context,
|
feat: Geräte-TTS, native Stimmen, Favicon, Auth-Gate, UI-Fixes
Web-UI / TTS:
- Geräte-TTS ("📱 Gerät"): Antwort wird on-device vorgelesen (Web Speech
API), Server sendet nur Text (text_only) -> spart Bandbreite/Kosten.
Mobil-Default, geräte-lokale Speicherung, iOS-Autoplay-Freischaltung.
- Vorlese-Symbol (🔊) je Bubble: Hybrid-Replay (Assistent-PCM gecacht,
Eingabe via /api/speak); SVG-Icon mit kontrastreicher Farbe.
- Kombiniertes Sprachmenü (Flex + feste Sprachen) statt separatem Modus-Menü.
- "Neues Gespräch"-Button (frische Session gegen Sprach-Trägheit).
- Dark-Mode: lesbare <option>-Popups (Kontrast-Fix).
- Favicon (SVG + PNG-Fallbacks) aus mund.png.
TTS-Backend:
- Sprache wird an alle TTS-Provider durchgereicht; Piper-Stimme folgt der
Sprache; Chatterbox mehrsprachig + cross-lingual.
- Native Referenz-Stimmen je Sprache (config/voices/<lang>.wav, FLEURS CC-BY),
loudness-normalisiert.
LLM-Sprache:
- Antwort folgt zuverlässig der gewählten Sprache (verstärkte Anweisung +
Erinnerung an der letzten Nutzer-Nachricht gegen History-Trägheit).
Admin / Auth:
- Wörterbuch: alle 8 Sprachen, Zeilen editierbar, alphabetische Sortierung.
- Web-UI hinter Auth-Gate (Redirect auf SSO_LOGIN_URL / 401); Favicons offen.
- Log-Tab: Hinweis, wenn der systemd-Dienst nicht aktiv ist.
- Einstellungen: Hinweis "pro Nutzer überschreibbar" bei Sprache/Modus/Qualität.
Doku (BEDIENUNGSANLEITUNG.md): Geräte-TTS §6.5.0, Fix/Flex §6.6, native
Stimmen §6.5.3, llama.cpp<->Ollama-Wechsel §4.7, Auth/SSO §7.4.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-20 13:12:04 +02:00
|
|
|
text_only=bool(payload.text_only),
|
2026-06-17 01:48:56 +02:00
|
|
|
)
|
2026-06-17 04:16:35 +02:00
|
|
|
except Exception as exc:
|
|
|
|
|
raise HTTPException(status_code=502, detail=str(exc))
|
2026-06-17 01:48:56 +02:00
|
|
|
|
2026-06-17 05:29:30 +02:00
|
|
|
record_usage(user, store, len(payload.text) + len(trace.semantic_response or ""))
|
|
|
|
|
|
2026-06-17 04:16:35 +02:00
|
|
|
# Turn persistieren (User-Eingabe + semantische Antwort) fuer das Gedaechtnis.
|
|
|
|
|
if session_id:
|
|
|
|
|
store.append_message(session_id, user.id, "user", payload.text)
|
|
|
|
|
store.append_message(session_id, user.id, "assistant", trace.semantic_response)
|
feat(memory): automatische Erinnerungs-Extraktion aus Gespraechen
- app/core/memory_extractor.py: LLM destilliert nach je N Turns dauerhafte
Fakten/Vorlieben aus dem Verlauf, dedupliziert gegen vorhandene Erinnerungen
und legt sie ab - best-effort, nicht-blockierend (Hintergrund-Task), eigener
Extraktions-Prompt (JSON, Reasoning aus), Cap-Begrenzung
- Trigger in /api/chat und /ws/voice nach dem Persistieren des Turns
- Konfig: MEMORY_EXTRACTION_ENABLED/_EVERY_N_TURNS/_MAX/_PROVIDER
- Tests: Extraktion, Dedup, kaputtes JSON, Cap, leeres Gespraech, Scheduling
- Doku: README + Architektur-Roadmap (Punkt 3 erledigt)
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-18 03:15:08 +02:00
|
|
|
maybe_schedule_extraction(store, user.id, session_id)
|
2026-06-17 01:48:56 +02:00
|
|
|
|
2026-06-17 04:16:35 +02:00
|
|
|
if debug:
|
|
|
|
|
return JSONResponse(
|
|
|
|
|
content={
|
|
|
|
|
"ok": True,
|
|
|
|
|
"voice": voice,
|
|
|
|
|
"route": route.as_dict(),
|
2026-06-17 04:26:55 +02:00
|
|
|
"history_len": len(conversation),
|
|
|
|
|
"memories_len": len(memories),
|
2026-06-17 04:16:35 +02:00
|
|
|
"trace": {
|
|
|
|
|
"raw_transcript": trace.raw_transcript,
|
|
|
|
|
"cleaned_transcript": trace.cleaned_transcript,
|
|
|
|
|
"semantic_response": trace.semantic_response,
|
|
|
|
|
"spoken_response": trace.spoken_response,
|
|
|
|
|
"tts_ready_text": trace.tts_ready_text,
|
|
|
|
|
},
|
|
|
|
|
}
|
|
|
|
|
)
|
2026-06-17 01:48:56 +02:00
|
|
|
|
2026-06-17 04:16:35 +02:00
|
|
|
headers = {
|
|
|
|
|
"Content-Language": route.language,
|
|
|
|
|
"X-Audio-Format": "pcm",
|
|
|
|
|
"X-Audio-Sample-Rate": "24000",
|
|
|
|
|
"X-Audio-Channels": "1",
|
|
|
|
|
"X-Audio-Sample-Width": "16",
|
|
|
|
|
**_route_headers(route),
|
|
|
|
|
}
|
2026-06-17 05:29:30 +02:00
|
|
|
if emergency:
|
|
|
|
|
headers["X-Emergency"] = emergency["category"]
|
2026-06-17 04:16:35 +02:00
|
|
|
return StreamingResponse(BytesIO(audio), media_type="audio/pcm", headers=headers)
|
2026-06-25 03:02:52 +02:00
|
|
|
|
|
|
|
|
|
|
|
|
|
@router.post("/emergency")
|
|
|
|
|
async def trigger_emergency(payload: EmergencyRequest, user: User = Depends(require_user)):
|
|
|
|
|
"""Vom Nutzer bestätigter Notruf. Protokolliert + liefert den Hinweis (in Nutzersprache).
|
|
|
|
|
|
|
|
|
|
Die eigentliche Benachrichtigung von Angehörigen folgt später.
|
|
|
|
|
"""
|
|
|
|
|
store = get_store()
|
2026-06-25 17:24:36 +02:00
|
|
|
return await record_manual_emergency(
|
|
|
|
|
user, store, payload.language,
|
|
|
|
|
geo=payload.geo, geo_error=payload.geo_error, device=payload.device,
|
|
|
|
|
)
|