StoryWerk – Wenn aus Geschichten Bilder werden

Ein kleines Experiment mit lokaler KI, Geschichten und der Frage, wie sich Texte und Bilder miteinander verbinden lassen.

Seit einiger Zeit beschäftige ich mich wieder etwas intensiver mit künstlicher Intelligenz. Dabei interessiert mich vor allem, was sich mit lokal betriebenen KI-Modellen inzwischen alles machen lässt. Aus dieser Neugier heraus ist mein neuestes Projekt entstanden: StoryWerk.

Die Grundidee ist recht einfach: Eine Anwendung, mit der ich Geschichten schreiben, Texte mithilfe von KI bearbeiten und aus einzelnen Szenen passende Bilder erzeugen kann. Besonders spannend finde ich dabei die Möglichkeit, den Inhalt einer Erzählung direkt als Grundlage für die Bildgenerierung zu verwenden.

StoryWerk ist allerdings noch weit davon entfernt, eine fertige Anwendung zu sein. Im Moment handelt es sich um eine Machbarkeitsstudie und einen experimentellen Prototypen. Ich möchte damit verschiedene technische Möglichkeiten ausprobieren, Erfahrungen sammeln und sehen, was in der Praxis tatsächlich funktioniert und was vielleicht auch nicht.

Von der geschriebenen Szene zum Bild

Eine der Fragen, die mich bei StoryWerk besonders beschäftigen, ist, wie gut eine KI eigentlich versteht, was in einer Geschichte passiert.

Kann sie aus einem Absatz erkennen, welche Personen vorkommen, wo sich eine Szene abspielt und welche Stimmung der Text vermitteln soll? Und kann sie daraus eine Bildbeschreibung erstellen, mit der ein Bildgenerator auch etwas anfangen kann?

Genau das möchte ich herausfinden.

Die Idee ist, dass ich eine Textstelle auswähle und ein Sprachmodell daraus eine passende Beschreibung für die Bildgenerierung erstellt. Diese wird anschließend an ein Bildmodell weitergegeben. Im besten Fall entsteht daraus eine Illustration, die tatsächlich zu der beschriebenen Szene passt.

Ganz so einfach ist es natürlich nicht immer. Was in einem Text eindeutig erscheint, kann von einer KI ganz anders interpretiert werden. Dazu kommen Fragen wie die Wiedererkennbarkeit von Figuren, die Darstellung bestimmter Details, eine einheitliche Bildsprache über mehrere Szenen hinweg und so weiter.

Gerade solche Schwierigkeiten finde ich interessant. Schließlich geht es bei diesem Projekt nicht darum, möglichst schnell irgendwelche Bilder zu erzeugen, sondern zu verstehen, wie gut sich die einzelnen Technologien miteinander kombinieren lassen.

Alles möglichst lokal

Ein weiterer Punkt, auf den ich bei StoryWerk Wert lege, ist die lokale Ausführung der KI.

Ich möchte möglichst unabhängig von Cloud-Diensten und externen APIs arbeiten. Deshalb setze ich auf Sprachmodelle, die direkt auf dem eigenen Rechner laufen, und auf eine lokale Bildgenerierung mit Stable Diffusion.

StoryWerk selbst entwickle ich als Desktopanwendung. Sie soll die verschiedenen Funktionen unter einer gemeinsamen Oberfläche zusammenbringen, damit ich nicht ständig zwischen unterschiedlichen Programmen wechseln muss.

Der Prototyp verfügt inzwischen über einen Texteditor, erste Funktionen zur KI-Unterstützung beim Schreiben und Überarbeiten sowie einen Bereich für die Bildgenerierung.

Das alles befindet sich noch in der Entwicklung. Manche Dinge funktionieren schon ganz ordentlich, andere brauchen noch einiges an Arbeit. Aber genau dafür ist ein Prototyp schließlich da.

KI als Werkzeug, nicht als Ersatz

Mir ist bei StoryWerk auch wichtig, was das Projekt ausdrücklich nicht sein soll.

Ich möchte damit weder das eigene Schreiben von Geschichten noch das Zeichnen, Malen oder die manuelle Gestaltung von Bildern ersetzen. Und schon gar nicht möchte ich den kreativen Prozess einfach vollständig einer KI überlassen.

Wer gern selbst schreibt oder zeichnet, soll das auch weiterhin tun. Eine KI kann zwar Vorschläge machen, Formulierungen verändern oder Bilder erzeugen. Aber sie hat nicht die persönlichen Vorstellungen, Erfahrungen und Absichten, die ein Mensch in seine Arbeit einbringt.

Für mich ist KI deshalb in erster Linie ein Werkzeug. Vielleicht hilft sie dabei, eine Idee weiterzuentwickeln, eine andere Formulierung zu finden oder sich eine Szene bildlich besser vorstellen zu können. Ob ich einen Vorschlag übernehme, verändere oder komplett verwerfe, entscheide aber immer noch ich selbst.

Das gilt genauso für generierte Bilder. Sie können eine interessante Ergänzung sein, sind meiner Meinung nach aber nicht besser als etwas, das jemand selbst gezeichnet oder gestaltet hat.

Die eigentliche kreative Arbeit soll beim Menschen bleiben. StoryWerk ist für mich eine Möglichkeit, auszuprobieren, wie KI diese Arbeit unterstützen kann.

Mal sehen, was daraus wird

Wie weit ich StoryWerk entwickeln werde, kann ich im Moment noch nicht sagen.

Es gibt einige Ideen, die ich gern ausprobieren möchte, und auch genügend offene Fragen. Gerade bei längeren Geschichten, wiederkehrenden Figuren oder der passenden Umsetzung einer bestimmten Atmosphäre dürfte es noch einige Herausforderungen geben.

Ob daraus irgendwann eine Anwendung entsteht, die ich auch anderen zur Verfügung stelle, lasse ich bewusst offen. Einen Veröffentlichungstermin oder einen festen Funktionsumfang habe ich deshalb auch nicht geplant.

Im Augenblick macht es mir einfach Spaß, mit den verschiedenen Möglichkeiten zu experimentieren, neue Ansätze auszuprobieren und dabei ganz nebenbei wieder einiges dazuzulernen.

Und selbst wenn StoryWerk am Ende ein reiner Prototyp bleibt, war die Beschäftigung damit nicht umsonst. Denn manchmal ist bei einem solchen Projekt nicht das fertige Programm das Interessanteste, sondern das, was man auf dem Weg dorthin herausfindet.