Voice Assistant

Lokaler, vollständig offline-fähiger Sprachassistent mit Wake-Word-Erkennung, GPU-Transkription, LLM-Antwortgenerierung und mehrsprachiger Sprachausgabe.

Features

Wake-Word „Hey Jarvis" via openwakeword
Spracherkennung via faster-whisper (large-v3, CUDA)
LLM-Backends: llama.cpp (lokal), Ollama, OpenAI-kompatible APIs
Text-to-Speech via Piper mit automatischer Spracherkennung
11 TTS-Sprachen (de/en/fr/es/it/nl/pt/ru/pl/uk/cs), Stimmen werden bei Bedarf automatisch heruntergeladen
5-Zustands-Maschine (LAUSCH → AUFNAHME → GENERATOR → VORLESE → DIALOG)
Steuer-Wörter während der Wiedergabe: Stopp, Pause, Weiter, Noch einmal, …
„Stopp" funktioniert in allen aktiven Zuständen (AUFNAHME, GENERATOR, VORLESE, DIALOG)
Wählbares Mikrofon: ReSpeaker XVF3800, MOTU M2, Kamera-Mikrofon, Bluetooth, Index
Wählbarer Ausgang: beliebiger PipeWire-Sink

Voraussetzungen

Hardware

Mikrofon (empfohlen: ReSpeaker XVF3800 mit Hardware-AEC)
NVIDIA GPU mit CUDA (für Whisper; llama.cpp kann separat konfiguriert werden)

Software

Python >= 3.12
faster-whisper
openwakeword
piper-tts
sounddevice
scipy
langdetect
openai          # Python-Client (auch für lokale Backends)

PipeWire + paplay müssen als Audio-Backend aktiv sein.

Schnellstart

# Verfügbare Mikrofone anzeigen
python3 assistant.py --list-mics

# Starten mit Standard-Einstellungen (ReSpeaker, llama.cpp lokal)
python3 assistant.py

# Ohne Wake-Word (direkt in Aufnahme-Modus)
python3 assistant.py --no-wakeword

# Mit Ollama-Backend
python3 assistant.py --backend ollama --model llama3.2

# Britisches Englisch als TTS-Variante
python3 assistant.py --en-variant gb

LLM-Backends

Der Assistent unterstützt jeden OpenAI-kompatiblen Endpunkt über --api-url und --api-key.

Ziel	Befehl
llama.cpp lokal (Standard, Port 8001)	`python3 assistant.py`
llama.cpp auf anderem Port/Host	`--backend llama --api-url http://host:8080/v1`
Ollama lokal	`--backend ollama --model llama3.2`
Ollama remote	`--backend ollama --api-url http://server:11434/v1 --model llama3.2`
OpenAI	`--backend openai --model gpt-4o-mini` + `OPENAI_API_KEY` setzen
OpenRouter	`--backend openai --api-url https://openrouter.ai/api/v1 --model mistralai/mistral-7b-instruct --api-key $OPENROUTER_API_KEY`
Groq	`--backend openai --api-url https://api.groq.com/openai/v1 --model llama-3.1-70b-versatile --api-key $GROQ_API_KEY`
LM Studio	`--backend llama --api-url http://localhost:1234/v1`
Together AI	`--backend openai --api-url https://api.together.xyz/v1 --model meta-llama/Llama-3-8b-chat-hf --api-key $TOGETHER_API_KEY`

Alle Provider, die die OpenAI Chat-Completions API implementieren, funktionieren mit --backend openai --api-url <endpoint>.

Dateien

Datei	Beschreibung
`assistant.py`	Hauptprogramm — Zustands-Maschine, LLM-Integration
`speak.py`	TTS-Modul — Piper-Wrapper, Spracherkennung, Sink-Auswahl
`mic.py`	Mikrofon-Modul — Geräteauflösung, Alias-Tabelle
`transcribe.py`	Standalone-Transkription zum Testen

Architektur

Mikrofon (PortAudio)
    │
    ▼
audio_q
    │
    ├─► LAUSCH:    openwakeword → "Hey Jarvis" → AUFNAHME
    ├─► AUFNAHME:  Stille/Stop-Wort/Stopp → record_buffer
    ├─► GENERATOR: whisper.transcribe → LLM-Stream → VORLESE
    ├─► VORLESE:   piper-synth (Thread) + paplay + ctrl_monitor
    └─► DIALOG:    5s-Fenster für Rückfrage ohne Wake-Word

Separate Tools

# Sprachausgabe testen
python3 speak.py --text "Hallo Welt" --out respeaker

# Verfügbare Ausgänge anzeigen
python3 speak.py --list

# Live-Transkription testen
python3 transcribe.py --mic respeaker

# Verfügbare Mikrofone anzeigen
python3 mic.py

4 KiB Raw Permalink Blame History