Ulrich Bittl

Gesamtkonzeption und Implementierung

LUMIVOX ist ein KI-basiertes System zur wissenschaftlich fundierten Stimmanalyse. Ziel des Projekts ist es, aus Sprachaufnahmen objektive akustische Merkmale zu extrahieren und diese mithilfe moderner KI-Modelle in eine individuelle, interpretierende Auswertung zu überführen.

Fachlicher Hintergrund

Grundlage der Analyse ist das etablierte Verfahren eGeMAPS (extended Geneva Minimalistic Acoustic Parameter Set), ein international anerkanntes Merkmalset aus der Sprach- und Emotionsforschung.
eGeMAPS wurde in Zusammenarbeit mehrerer europäischer Universitäten entwickelt, federführend an der Technischen Universität München (TUM).

Pro Sprachaufnahme werden 88 akustische Parameter extrahiert, darunter u. a.:

Grundfrequenz (Tonhöhe)
Lautstärke und Dynamik
Rhythmus und Sprechtempo
Melodie und prosodische Muster
feinste spektrale und zeitliche Stimmmerkmale
Für die Merkmalsextraktion kommt OpenSMILE zum Einsatz, eine in Forschung und Medizin verbreitete Open-Source-Software zur Audioanalyse.

Systemarchitektur & KI-Pipeline

Die technische Umsetzung von LUMIVOX folgt einer klar getrennten, skalierbaren Architektur:
1. Audioverarbeitung & Feature-Extraktion
Upload der Sprachaufnahme über Web-Frontend
Übergabe an einen Python-Worker
Extraktion der 88 eGeMAPS-Parameter mit OpenSMILE
Normalisierung und strukturierte Aufbereitung der Messdaten

2. KI-gestützte Interpretation
Übergabe der extrahierten Parameter an eine OpenAI-API
Nutzung eines spezialisierten Assistants mit domänenspezifischem Coaching- und Interpretationswissen
Erzeugung einer individuellen, nicht-wertenden Auswertung auf Basis objektiver Sprachmerkmale

Die KI übernimmt dabei nicht die Messung, sondern ausschließlich die kontextuelle, erklärende Interpretation der wissenschaftlich ermittelten Daten.

Technischer Stack

Backend & Infrastruktur
Node.js Backend
Fastify als performante API-Schicht
Asynchrone Verarbeitung über Python-Worker für Audioanalyse

Klare Trennung von:
Audioanalyse
KI-Interpretation
Geschäftslogik

KI & Datenverarbeitung
OpenSMILE (Open Source) für eGeMAPS-Extraktion
OpenAI API für textuelle Interpretation
Übergabe strukturierter Feature-Vektoren an den KI-Layer

Frontend & Monetarisierung
Eigener Next.js-Shop
Fastify-Backend für Shop-Logik
Integration von Stripe und PayPal
Standard- und Express-Checkout-Flows

Vollständig eigenständige Shop-Infrastruktur (kein Drittanbieter-Shop)

Meine Rolle: Systemarchitektur & technische Umsetzung

SoulGuide ist eine KI-basierte Mobile App (React Native), die Nutzer bei persönlichen Fragestellungen unterstützt.
Kern des Systems ist ein wissensbasierter KI-Coach, der auf einer kuratierten, domänenspezifischen Wissensbasis aufbaut und dieses Wissen kontextsensitiv in individuellen Dialogen anwendet.

Im Unterschied zu generischen Chatbots basiert SoulGuide nicht auf freier KI-Generierung, sondern auf der gezielten Anwendung eines definierten Coaching-Wissensfundus.

Technische Umsetzung & KI-Architektur
Mobile App: React Native
Backend: Node.js mit API-basierter Architektur
KI-Layer: OpenAI API mit speziell konfiguriertem Assistant

Wissensintegration:

Strukturierte inhaltliche Wissensbasis
Prompt- und Kontextsteuerung zur konsistenten Anwendung des Coachings
Nutzerverwaltung: Authentifizierung und Sitzungslogik
Monetarisierung: Abo-Modell mit Free- und Premium-Status
Statusverwaltung: Eigene Backend-Logik (kein externer Subscription-Broker)

Die KI fungiert als dialogbasierte Anwendungsschicht, die vorhandenes Wissen situationsabhängig anwendet, nicht als eigenständig lernendes System.

Systemcharakteristik

Klare Trennung von:
App-Logik
Backend-Services
KI-Dialogsteuerung
Fokus auf Stabilität, Konsistenz und langfristige Wartbarkeit
Geeignet für produktiven Dauerbetrieb, nicht nur als Prototyp