Wie CLIP einer KI 'fröhlich' beibringt | MeinEigenesBuechlein
Tippt man “ein fröhliches Kind in gelber Regenjacke, klassischer Bilderbuchstil” in einen KI-Bildgenerator ein, erscheint innerhalb von Sekunden genau das. Nirgendwo im Code steht eine Zeile, die “fröhlich” wörtlich in hochgezogene Mundwinkel übersetzt. Trotzdem funktioniert es, immer wieder. Edwin, Data Engineer bei MeinEigenesBuechlein, erklärt, welches Modell das möglich macht, und warum das auch erklärt, warum wir bei unseren eigenen Stilbeschreibungen bewusst keine Namen von Illustratoren verwenden.
Das Modell, das Sprache und Bild verknüpft
Der Schlüssel heisst CLIP (Contrastive Language-Image Pre-training), entwickelt von OpenAI und beschrieben im Paper “Learning Transferable Visual Models From Natural Language Supervision” (Radford et al., 2021). CLIP wurde mit rund 400 Millionen Bild-Text-Paaren aus dem offenen Internet trainiert. Dabei lernt das Modell kein Wörterbuch, sondern einen geometrischen Raum: Jedes Bild und jeder Text wird in eine lange Zahlenreihe umgewandelt, ein sogenanntes “Embedding”. Bilder und Texte, die inhaltlich zusammengehören, liegen in diesem Raum nah beieinander.
Edwin: “Am einfachsten stellt man sich das als Landkarte mit Tausenden Dimensionen statt zwei vor. ‘Fröhliches Kind’ und ein Foto eines lachenden Kindes liegen auf dieser Karte nah beieinander. ‘Regnerischer Tag’ und das Foto einer nassen Straße ebenso. Das Modell hat nie eine Definition von ‘fröhlich’ bekommen, sondern nur Millionen Beispiele gesehen, in denen dieses Wort zu genau dieser Art von Bild passte.”
Warum Stilbeschreibungen ohne Namen funktionieren
Diese Eigenschaft CLIP-ähnlicher Modelle erklärt eine konkrete Entscheidung, die wir bei MeinEigenesBuechlein treffen. Bei unseren Stiloptionen verwenden wir bewusst Beschreibungen wie “klassische Märchenbuchillustrationen aus dem 19. Jahrhundert” oder “moderne Kinderbuchillustration”, niemals den Namen eines konkreten, lebenden Illustrators oder eines bekannten Animationsstudios.
Das ist zum Teil eine Sicherheitsentscheidung: Plattformen wie OpenAI trainieren Sicherheitsfilter, die empfindlich auf die Kombination eines konkreten Künstlernamens mit Kinderkontext reagieren. Es ist aber auch eine technische Beobachtung. Weil das Internet voller Texte ist, die Stile über Epoche, Technik und Tradition beschreiben (“Aquarell”, “neunzehntes Jahrhundert”, “handgezeichnete Linienführung”), hat das Embedding-Modell diese Stilkonzepte genauso präzise gelernt wie einzelne Eigennamen. Eine beschreibende Formulierung aktiviert oft einen ebenso starken, manchmal breiter anwendbaren Stilcluster wie ein einzelner Name es täte.
Wo Embeddings an ihre Grenzen stoßen
Diese Art von Modell ist keine Magie und schon gar keine exakte Wissenschaft. Embeddings sind statistische Assoziationen, kein Verständnis im menschlichen Sinn. Bei seltenen Kombinationen, also einer Stilbeschreibung, die in den Trainingsdaten selten zusammen mit einem bestimmten Thema vorkommt, wird das Ergebnis instabiler und weniger vorhersehbar.
Wichtiger noch: Wer eine exakte, pixelgenaue Nachahmung des Werks eines bestimmten Illustrators sucht, wird das mit keinem CLIP-gesteuerten System zuverlässig bekommen. Embeddings erfassen Stimmung und Stilfamilie, nicht die genaue Pinselführung einer einzelnen Person. Wer wirklich eine Replik eines bestimmten Künstlers möchte, findet nur bei einem menschlichen Illustrator mit genau diesem Portfolio eine zuverlässige Lösung, nicht bei KI.
Die Alternative: Finetuning statt Beschreiben
Es gibt einen anderen technischen Ansatz als den unseren. Statt sich auf das Wissen zu verlassen, das ein Modell wie CLIP bereits über Stile besitzt, kann man ein kleines zusätzliches Modell (Techniken wie DreamBooth oder LoRA) auf eine Handvoll Beispielbilder genau eines gewünschten Stils feinabstimmen. Das kann für diesen einen, engen Stil präziser ausfallen, ist aber auch langsamer, teurer pro Stiloption und weniger flexibel, wenn man wie wir Dutzende verschiedene Stile nebeneinander anbieten möchte. Beide Ansätze haben ihre Berechtigung; wir setzen auf beschreibende Prompts, weil uns Breite und Geschwindigkeit wichtiger sind als das exakte Klonen eines bestimmten Looks. Unsere Erklärung der gesamten gpt-image-2-Pipeline zeigt, wie sich diese Entscheidung zum Rest des Generierungsprozesses verhält, einschließlich der Frage, wie wir die Charakterkonsistenz über mehrere Seiten hinweg bewahren.
Was das für das Endergebnis bedeutet
Edwin, ebenfalls Vater von zwei Kindern: “Meine Kinder achten nicht auf die genaue Linienstärke einer Illustration. Sie reagieren auf die Stimmung: Ist es warm, ist es wiedererkennbar, fühlt es sich wie ein echtes Bilderbuch an? Genau auf dieser Ebene arbeiten CLIP-ähnliche Embeddings, Stimmung und Stilfamilie, nicht mikroskopische Präzision. Zufälligerweise ist das auch die Ebene, auf der ein Kind eine Illustration beurteilt.”
Dass das hochgeladene Foto deines Kindes anschliessend sorgfältig und nur vorübergehend verarbeitet wird, ist eine andere Ebene der Pipeline. Mehr dazu liest du in unserer Erklärung darüber, was mit einem hochgeladenen Foto deines Kindes passiert.
Die Mathematik hinter einer KI-Illustration bleibt unsichtbar, wenn man das Buch aufschlägt. Aber die Entscheidungen, die daraus folgen, beschreibende Stilsprache statt eines Namens, Geschwindigkeit statt exakter Nachahmung, bestimmen sehr wohl, wie eine Seite am Ende aussieht. Technik und Geschmack treffen sich genau dort.