Foley-Maschine
Geräusche sind sehr wichtig, um Filme authentischer, plastischer und attraktiver zu machen. Schon länger ist es möglich, mit Hilfe von KI Töne zu reparieren und zu optimieren. Adobes Firefly macht es möglich, nun auch Soundeffekte für die Tonebene per Künstlicher Intelligenz zu generieren. Es klingt utopisch, ist aber bereits verfügbar,- mit dem Mund Geräusche imitieren und die KI ersetzt diese durch echte Sounds exakt im Rhythmus, den man vorgegeben hat.
Sicherlich wird das neue Tool Foley-Artists nicht gänzlich ersetzen können, doch es wird ihnen vermutlich einige Aufgaben wegnehmen. Mit dieser neuen Funktion liefert Adobe tatsächlich ein Werkzeug, das für Anwender das Vertonen deutlich einfacher macht. Firefly hat das Generieren von Inhalten auch auf die Tonebene erweitert. Man kann nun per Prompt bestimmte Tonereignisse wie "Schritte von Lederschuhen auf Parkettboden" oder "Turnschuhe auf Marmorboden" eingeben und anschließend mit dem Mund während das Video läuft Klickgeräusche in ein Mikrofon / Headset etc. sprechen.
Dabei kann man mit der Stimme das Timing, das Tempo und die Intensität der gewünschten Geräusche eingeben, die Stimme wird dabei nicht akustisch genutzt sondern eher als ein Eingabe-Interface, eine Referenz für Fireflys Tongenerierung. Anschließend liefert Firefly automatisch vier verschiedene Versionen zur Auswahl an. Das erinnert etwas an einen Urahn der Audio-Workstations, das Synklavier (1994), bei dem man Samples etwa von Schritten über eine Midi-Tastatur eingeben und damit nicht nur Tempo und Rhythmus sondern durch die Anschlagdynamik der Tasten auch die Intensität steuern konnte.
Textprompts plus akustisch mit dem Mund erzeugte Steuerung,- diese Kombination kann erstaunlich viele Dinge hervorbringen. Ganz gleich ob Motorengeräusche von Autos, Bremsenquietschen oder startende Flugzeuge, die Kombination aus Textprompt und akustischer Imitation führt schnell zu erstaunlichen Ergebnissen.
Weniger differenziert
Die Feinheiten und Differenzierungen, die normalerweise ein Foley Artist liefert, können hier mit dem Mund durch die persönliche Eingabe recht genau erzeugt werden. Man kennt das, wenn man versucht, mit dem Mund Geräusche nachzuahmen, Hundebellen, Katzenmiauen, Flugzeuge etc. Firefly übernimmt das Ein,- und Ausschwingverhalten des Sounds, Tonhöhenänderungen und mehr. Die Art und Weise, wie diese schnell erzeugten Sounds klingen, ist wirklich beeindruckend.
Sicherlich kommen diese Sounds nicht an das Niveau professioneller Geräuschemacher heran, doch die sprachgesteuerte Ton-Generierung hat echtes Potenzial, sich weiter zu entwickeln. Was nicht zu unterschätzen ist,- Firefly wurde nur mit Sounds trainiert, an denen Adobe die Rechte besitzt. Man ist also, im Gegensatz zu manch anderer KI, in einem rechtssicheren Bereich und verwendet keine illegal geraubten Inhalte.
Wer dennoch das Wahre und Echte sucht, kann im Netz zahllose kostenlose oder kostenpflichtige Tonarchive finden. Hier unser Fachartikel über kostenlose Tonarchive.
Damit greift die KI einen weiteren Filmjob, den des Geräuschemachens, an und es wird nicht lange dauern, bis Filmproduzenten hier ein Einsparpotenzial entdecken werden. Was für kleinere Indie-Projekte durchaus eine Option werden könnte um trotz Mini-Budget eine ordentliche Tonebene herzustellen, würde jedoch für hochwertige TV und Kinoproduktionen allerdings deutliche Qualitätseinbrüche bedeuten. Denn wie so oft, sind nicht nur die technischen Möglichkeiten, sondern auch die dramaturgische und emotionale Erfahrung wichtig, auf welche Weise man diese Möglichkeiten einsetzt.
