Entwicklung einer Live2D-Avatar Web-App

Projektbeschreibung: AI-gesteuerte Live2D Avatare mit OpenAI / ElevenLabs Audio & Realtime Interaktion
Ziel

Ich suche einen erfahrenen Entwickler oder ein kleines Team, das eine interaktive Web-App auf Basis von pixi-live2d-display
entwickelt.
Die Anwendung soll sprechende, lebendige Live2D-Avatare darstellen, die in Echtzeit mit einem Benutzer auf Deutsch oder Englisch sprechen und auf Basis des Gesprächskontextes Mimik, Kopf- und Körperbewegungen natürlich anpassen.

Funktionsumfang
1. Frontend (Avatar-Interaktion)

Nutzung von pixi-live2d-display zur Darstellung und Animation von Live2D-Charakteren (Modell-Dateien werden bereitgestellt).

Integration von OpenAI Realtime API oder ElevenLabs Realtime API für:

Sprachsynthese (TTS) → Ausgabe der Stimme.

Spracherkennung (STT) → Gespräch in natürlicher Sprache (Deutsch/Englisch).

Lippenbewegung synchronisieren

Entweder über viseme-Daten (falls verfügbar)

oder alternativ über den Audio-Level (Lautstärke-Amplitude).

Gesichts- und Körperanimationen abhängig vom Kontext und Emotionston:

„Ja“ → Kopf leicht auf/ab

„Nein“ → Kopf seitlich wackeln

„Lachen“ → leichtes Ganzkörperwackeln

„Traurig / Nachdenklich“ → langsame Kopfneigung

Optionale Idle-Bewegungen (z. B. Atmen, Blinzeln, leichtes Kopfpendeln).

2. Backend (Avatar-Management)

Ein Admin-Interface / Dashboard, um neue Charaktere und Szenen zu erstellen und zu verwalten:

Upload der Live2D-Dateien (.model3.json + Texturen)

Upload oder Auswahl eines Hintergrundes (statisch oder Loop-Video)

Eingabe von:

Charakterbeschreibung / Prompt-Basis (z. B. Deutschlehrerin, Märchenerzähler, Assistent, KI-Therapeut, etc.)

Begrüßungstext

Stimmenauswahl (z. B. aus ElevenLabs oder OpenAI-Voice)

Stimmbeschreibung (warm, freundlich, kindlich, sachlich, etc.)

Atmosphärenparameter (z. B. Hintergrundsound, Licht, Stimmung)

Speicherung aller Daten in Supabase (Datenbank + Storage).

Optional: Authentifizierung über Supabase Auth.

3. Frontend-Übersicht (Avatar-Auswahl)

Benutzer können aus einer Galerie gespeicherter Avatare wählen.

Nach Auswahl startet ein Realtime-Voice-Chat mit dem gewählten Avatar.

Anzeige von Name, Beschreibung und Kurzprompt (z. B. „Ich bin Lilli, deine freundliche Englischlehrerin“).

Technologien (Vorgabe / Empfehlung)

Frontend: TypeScript, Vite oder Next.js

3D / Rendering: PIXI.js + pixi-live2d-display

Realtime Audio: OpenAI Realtime API oder ElevenLabs Streaming

Backend: Node.js (Express, Fastify oder Next.js API routes)

Database / Storage: Supabase (Postgres + File Storage)

Deployment: Vercel oder Docker-basierte Lösung

Optionale Tools: LiveKit, WebRTC, Framer Motion für UI-Animationen

Zielsystem / Output

Eine vollständig lauffähige Web-Demo mit:

Mindestens 1 funktionierenden Avatar (mit Sprache & Lippenbewegung).

Backend-Dashboard für Charakterverwaltung.

Frontend-Avatar-Auswahl mit Live-Interaktion.

Der Code soll sauber strukturiert, dokumentiert und auf GitHub übertragbar sein.

Optional / Bonus

Emotionserkennung aus Gesprächsverlauf (z. B. Sentiment Analysis über OpenAI).

Speicherung des Gesprächsverlaufs in Supabase.

WebSocket-Verbindung für niedrige Latenz.

Integration mehrerer Sprachmodelle (OpenAI, Gemini, Mistral etc.).

Erwartete Skills

Erfahrung mit Live2D, PIXI.js, TypeScript / JavaScript

Erfahrung mit OpenAI / ElevenLabs Realtime APIs

Kenntnisse in WebRTC / Audio-Streaming

Erfahrung mit Supabase / Postgres / Cloud Functions

(Optional) Kenntnisse in Framer Motion, Next.js, Vercel Deployments

Lieferumfang

Vollständiger Sourcecode (Frontend + Backend)

Installationsanleitung (README.md)

Kurze Demo-Videoaufnahme (Avatar spricht und reagiert)

Optionale fortlaufende Zusammenarbeit (Erweiterungen, neue Charaktere, Integration mit LiveKit / RAG)

Budget / Zeitrahmen

Budgetrahmen: nach Aufwand (bitte mit Stunden- oder Pauschalangebot)

Zeitrahmen: 3–4 Wochen bis zur Demo-Version