KI-gesteuerte Klanginstallation von Markus Sepperer

Die Installation transformiert Sprache in Klavierklang durch eine mehrstufige technische und konzeptuelle Kette.

Ausgangspunkt ist die Audioaufnahme der menschlichen Stimme des Users. Diese wird mit OpenAI Whisper transkribiert und als Text an ein lokal laufendes KI-Sprachmodell (Ollama) übergeben, das mittels Retrieval-Augmented Generation (RAG) antwortet.
RAG ist ein Verfahren, das die Antwort eines Sprachmodells durch gezieltes Nachschlagen in einer großen Textsammlung verbessert. Dabei sucht das System zuerst relevante Textstellen aus einem zuvor erstellten Korpus heraus und nutzt diese als Grundlage, um präzisere und kontextbezogene Antworten zu erzeugen.