Welche Rolle spielte die Darstellung von Materialeigenschaften und Oberflächenqualitäten in den visuellen Kommunikationsstrategien des 14. und 15. Jahrhunderts? Welche Materialien kommen bei bestimmten Bildthemen häufiger vor und welche Veränderungen und Tendenzen zeigen sich während des 15. Jahrhunderts? Um Entwicklungsverläufe und Muster hinsichtlich der Repräsentation von Materialien in mittelalterlicher Malerei und Graphik auf einer breiten Quellenbasis untersuchen und Einzelphänomene detektieren zu können, braucht es Annotationsdaten. Nachdem eine manuelle Erstellung dieser Daten sehr aufwendig und zeitintensiv ist, werden im KIKI-Teilprojekt am Fachbereich Artificial Intelligence and Human Interfaces Computer-Vision-Verfahren mit und ohne Deep Learning für die automatische Erkennung von dargestelltem Material getestet und weiterentwickelt. Ziel ist es, künftig größere Annotations-Datenpools für Untersuchungen in der digitalen Kunstgeschichte zu schaffen.
Damit können auch Faktoren wie die Position und der Bildflächenanteil der Materialien oder Texturvergleiche berücksichtigt werden und Korrelationen zu bestimmten Bildthemen oder geografischen, gattungs- oder kontextspezifischen Charakteristika untersucht werden. Es lassen sich aber auch Beziehungen zu Bildannotationsdaten, wie sie etwa in REALonline zu Personen, Dingen, Handlungen etc. vorliegen, herausstellen.
Aufbauend auf den Ergebnissen kunsthistorischer qualitativer Untersuchungen – unter anderem zum Salzburger Missale, München, BSB, Clm 15708-15712 – wird in KIKI erarbeitet, wie und mit welchen Kategorien gemalte Oberflächeneigenschaften und Materialtexturen für kunsthistorische Analysen am besten erfasst werden können. In einem weiteren Schritt wird ein Normierungsprozess für eine Datenerhebung mit diesen entwickelten Kategorien in Form eines Leitfadens erstellt, um möglichst konsistente Ergebnisse zu ermöglichen. Im nächsten Arbeitspaket wird die manuelle Annotation eines ausgewählten Korpus durchgeführt und geprüft. Diese Bildannotationsdaten bilden einerseits die Ground Truth für die Untersuchungen der Computer Vision. Andererseits werden sie mit quantitativen Methoden aus den Digital Humanities im Sinne eines Distant Viewings ausgewertet, das den Vergleich dieser Bildelemente in vielen visuellen Quellen ermöglicht. Die letztgenannten Erkenntnisse, die aufgefundenen Muster und Spezifika im Datenmaterial, bilden wiederum den Ausgangspunkt für weitere qualitative Untersuchungen seitens der Kunstgeschichte.
