Grundzüge einer visuellen Stilometrie

Was kennzeichnet visuellen Stil? Die Frage nach einer formalen Beschreibung hat die kunstgeschichtliche Forschung seit ihrem Beginn umgetrieben. Neuere Entwicklungen im Bereich des maschinellen Sehens lassen nun eine formale Beschreibung visuellen Stils greifbar werden. Diese basiert auf Repräsentationen in den tieferen Schichten sogenannter Convolutional Neural Networks (CNNs).

Hier zeigen wir am Beispiel einer Analyse verschiedener Corpora grafischer Literatur (Graphic Narrative Corpus, Manga109), das CNNs sich dazu eignen, stilistische Aspekte und kompositorische Aspekte wie Textur oder Layout zu repräsentieren. Durch Anpassung eines für die semantische Kategorisierung von Fotos vortrainierten XCeption-Netzes auf die Klassifikation von Illustratoren zeigen wir insbesondere, dass die Repräsentationen auf tieferen Netzwerkebenen so generisch sind, dass eine bloße Rekombination dieser vortrainierten Merkmale zu sehr guter Performanz in beiden Korpora führt. Wir stellen eine bildbasierte Suche vor, die auf diesen Repräsentationen basiert und zeigen Visualisierungen der diskriminativsten Merkmale auf verschiedenen Ebenen.