Neben meinem Studium entwickle und baue ich leidenschaftlich gerne technische Projekte, egal ob Software oder Hardware. Hier eine Übersicht meiner bisherigen Arbeiten:
Konstruktionskategorien
Idee
Beim Filmen von Choreografien zu vorproduziertem Audio entstehen große Ineffizienzen bezüglich Materialverbrauch und Synchronisation – besonders beim analogen Film, wo jeder zusätzliche Take unmittelbar Geld kostet. Gerade bei der Umsetzung von Schlüsselloch hatten wir massive Probleme. Im Rahmen meiner Masterarbeit an der HAW Hamburg, die ich mit der Note 1,15 abgeschlossen habe, habe ich deshalb den Einsatz von Timecode in Kombination mit einem Playbacksystem untersucht. Aufbauend auf den Vorarbeiten der digitalen Filmklappe ARC-Slate ist daraus das System „ARC-Play“ entstanden.
Konzept
Neben dem automatischen Synchronisieren bietet das System die Möglichkeit, über die User-Bits des SMPTE-Timecodes die einzelnen Clips eindeutig zuzuordnen und über einen Server die Metadaten wieder hinzuzufügen. Wenn das Musikvideo entsprechend durchgeplant wird, kann der Schnitt somit komplett automatisiert werden.
Technische Umsetzung
Im Rahmen der Arbeit habe ich sowohl die Hardware als auch die Software eines Prototyps entwickelt. Das System spielt die vorproduzierten Audiodateien einer Shotlist sequenziell ab und gibt dazu einen synchronen Timecode aus, der von der Kamera genutzt wird. Dadurch laufen Playback, Aufnahme und Timecode aus einer Quelle, wodurch die manuelle Synchronisation am Set entfällt. Für den Prototyp wurde mit KiCAD eine Platine mit u. a. einem ESP32-S3 entwickelt und in einem selbst erstellten 3D-Druck-Gehäuse verbaut. Die Steuerung erfolgt über ein Webinterface, das auf einem Node.js-Server läuft und sich mit ARC-Play verbindet.
Praxistest und Postproduktion
Durch iterative Praxistests wurde der Prototyp so optimiert, dass er ein sequenzielles Playback mit synchronem Timecode zuverlässig wiedergibt und Raw-Clips in der Postproduktion automatisch mit Metadaten versieht. Die Arbeit bestätigt das Potenzial von ARC-Play für choreografierte Produktionen und liefert die Basis für zukünftige Weiterentwicklungen, auch im Bereich klassischer Spielfilme.
Konzept
Im Rahmen meines Masterstudiums habe ich die digitale Filmklappe ARC‑Slate konzipiert und gebaut. Das System wurde entwickelt, um Abläufe am Set und in der Postproduktion zu automatisieren. Vor dem Dreh wird eine Shotlist auf die Klappe geladen, woraufhin das E‑Ink‑Display für jeden Take einen individuellen QR‑Code anzeigt. Dieser wird später in der Postproduktion ausgelesen, um Metadaten, Notizen und Timecodes automatisch mit dem jeweiligen Clip zu verknüpfen. Die Synchronisation des Timecodes erfolgt blitzschnell per Flash.
Im Unterschied zu einer traditionellen Filmklappe verlassen die Daten den digitalen Raum zu keinem Zeitpunkt. Das vermeidet menschliche Fehler und spart wertvolle Zeit.
Technische Umsetzung
Das Herzstück der Klappe ist ein Mikrocontroller, der die LED‑Matrizen für Timecode, Roll, Scene, Shot und Take steuert sowie den LTC generiert. Eine Real‑Time‑Clock minimiert dabei den Timecode-Drift. Um den Klappvorgang präzise zu erfassen, sind ein Hallsensor und ein Magnet in die Klappensticks integriert. Die Bedienung erfolgt über drei Tasten. Für die gesamte Elektronik habe ich eine maßgeschneiderte Platine entwickelt.
Bedienung
Die Steuerung der Klappe erfolgt über ein eigens entwickeltes Web-Frontend, das sich per WebSocket-Verbindung koppelt. Einzelne Shots lassen sich bequem in der Vorproduktion anlegen und über die Weboberfläche auf die Klappe übertragen. Bei jedem Klappvorgang erscheint der aktuelle Take sofort im Interface und kann dort direkt mit zusätzlichen Notizen dokumentiert und gespeichert werden.
Nachverarbeitung
Für die Postproduktion wurde eine Python-basierte Bilderkennungssoftware trainiert, die die Klappe im Filmmaterial zuverlässig identifiziert. Selbst wenn der QR‑Code einmal nicht sichtbar ist, ordnet das System die passenden Metadaten anhand der chronologischen Take-Reihenfolge korrekt zu. Dadurch funktioniert die Erkennung auch auf große Distanz oder bei schwierigen Lichtverhältnissen. Abschließend generiert die Software eine Metadatendatei für DaVinci Resolve, sodass alle Set-Informationen direkt für den Schnitt bereitstehen.
Funktionsumfang
Im Rahmen meiner Bachelorarbeit „Konstruktion und Umsetzung eines Scanners für analogen 35mm-Farbnegativfilm“ habe ich einen Filmscanner für das Regensburger Start-up cine.film.solutions entwickelt. Das System digitalisiert analogen Cinefilm in Schwarz-Weiß sowie Farbe im 16-mm- und 35-mm-Format. Die Arbeit umfasste die mechanische Konstruktion, die Programmierung der Hardwaresteuerung via Arduino (C++) und externem PC (Python) sowie die digitale Bildverarbeitung der Rohdaten. Der theoretische Teil beleuchtet zudem ausführlich die Grundlagen und Geschichte des analogen Films.
Technische Details
Im Scanner fotografiert eine Astrokamera (Altair 26M, monochrom, 26 Megapixel) mit einem 50-mm-Objektiv samt Balgensystem den Film Bild für Bild ab. Farbnegativfilm wird nacheinander mit roten, grünen und blauen LEDs durchleuchtet, um drei separate Aufnahmen zu speichern. Ein Mikrocontroller steuert die Antriebsmotoren für den Filmtransport sowie die LEDs, während ein Windows-PC die Kamera kontrolliert und Befehle an den Mikrocontroller sendet. Für die Elektronik wurden maßgeschneiderte Platinen in Hutschienengehäusen konstruiert. Python vereint die als 16-Bit-TIF gespeicherten Rohbilder zu einem Farbbild, schneidet sie automatisch zu und übernimmt die Farbkonvertierung. Abschließend werden die Bilder in DaVinci Resolve importiert und als 4K-Video gerendert.
Herausforderungen und Anwendungen
Die größten Herausforderungen lagen in der Stabilität des Bildstandes, der Scangeschwindigkeit und der präzisen Farbkonvertierung. Da die Motoren im Prototyp den Film nicht pixelgenau transportieren können, wird das Bild per Software automatisch anhand der Filmperforation ausgerichtet und zugeschnitten. Seit dem Abschluss meiner Bachelorarbeit haben wir den Scanner kontinuierlich weiterentwickelt, sodass die Scangeschwindigkeit pro Einzelbild inzwischen bei rund 1,2 Sekunden liegt. Seine Praxistauglichkeit bewies das System unter anderem beim Kurzfilm „Coma“, den wir mit cine.film.solutions auf analogem Schwarz-Weiß-Material gedreht haben. Alle acht Filmrollen wurden mit unserer selbst gebauten Entwicklungsmaschine verarbeitet und anschließend erfolgreich mit diesem Scanner digitalisiert.
Konzept
Für das Fotostudio für Irisfotografie Oculus Regensburg, in dem ich zuvor selbst als Bildbearbeiter gearbeitet habe, war der Fotografieprozess ein mehrstündiges Vorgehen: Rohdateien umbenennen, an einen externen Dienst zur Verarbeitung hochladen, Ergebnisse herunterladen, weitere Designs erstellen, Cloudordner anlegen, Auslieferungslinks verschicken und die Druckaufträge bestellen. Der Prozess war fehleranfällig, repetitiv und schlecht nachvollziehbar. Daraus entstand eine selbst entwickelte Webanwendung „Oculus Automation“, die den gesamten Ablauf von der Kundenerfassung bis zur Auslieferung übernimmt.
Technische Umsetzung
Über lokal liegende Flask-Server werden die Metadaten der Kunden, die sie selbst über ein iPad eingeben, zusammen mit den Rohdaten über Drive synchronisiert, sodass kein Server im dauerhaften Betrieb notwendig ist. Die Bearbeitungspipeline übergibt Rohdaten an einen externen KI-Dienst, verfolgt den Fortschritt, erstellt die Designs automatisch nach gewähltem Layout, erzeugt Druckversionen in exakter Größe und liefert sie via E-Mail aus. Der Status jedes Vorgangs ist live im Browser sichtbar, jeder Schritt auch einzeln auslösbar.
Ergebnis
Die Anwendung wird aktuell im Studiobetrieb getestet und übernimmt die Kundenerfassung, die Bearbeitung und die Auslieferung weitgehend selbstständig. Aus einem Prozess, der pro Auftrag mehrere Stunden manuelle Arbeit bedeutete, wurde ein Ablauf, dessen Fortschritt sich jederzeit nachvollziehen lässt. Offen ist aktuell noch die Anbindung der Druckabwicklung, die derzeit weiterhin manuell erfolgt und in einer kommenden Ausbaustufe automatisiert werden soll.
KI erfahrbar machen
Im Sommersemester 2024 entwickelte ich im Rahmen meines Masterstudiums an der HAW Hamburg die interaktive Installation „LivepAInting“, die künstliche Intelligenz durch Co-Kreation spielerisch erlebbar macht. Besucher*innen zeichneten über eine Weboberfläche einfache Skizzen, die mittels Stable Diffusion und ControlNet in Echtzeit in Kunstwerke im Stil berühmter Maler*innen transformiert wurden. Das Projekt begeisterte Fachpublikum und Kinder gleichermaßen. Durch die direkte Interaktion mit stilistischen Variationen und KI-Artefakten vermittelte die Installation einen authentischen Einblick in die Möglichkeiten und damaligen Grenzen generativer Bildsynthese.
