Prof. Dr. Raphael Rosenberg
Raphael Rosenberg ist in Mailand geboren und aufgewachsen. Nach dem Studium der Kunstgeschichte und Archäologie in München und der Promotion in Basel war er Assistent an der Universität Freiburg (i.B.) und am Collège de France in Paris. Von 2004 bis 2009 war er Inhaber des Lehrstuhls für Mittlere und Neuere Kunstgeschichte an der Universität Heidelberg, seit 2009 ist er Professor für Kunstgeschichte an der Universität Wien, wo er das Labor für empirische Bildwissenschaft leitet (CReA: Lab for Cognitive Research in Art History). Forschungsschwerpunkte liegen im Bereich der italienischen Renaissance und der Geschichte abstrakter Bilder. Sein besonderes Interesse gilt der Beziehung von Kunst und Betrachter und deren Geschichte. 2009 wurde er zum ordentlichen Mitglied der Heidelberger Akademie der Wissenschaften, 2014 wurde er in die Academia Europaea gewählt.
Saliency Maps: Die Verselbstständigung visualisierter Computersimulationen
Wir sehen mit den Augen, aber nicht alles. Dass sich Augen bewegen, dass ihre Ausrichtung mit Aufmerksamkeit korreliert, war bereits in der Antike aufgefallen. Erst seit dem späten 19. Jahrhundert versteht man allerdings, dass Sehen auf dem Wechsel von Fixationen und Sakkaden beruht (Wade & Tatler, 2005). Mit dem Bau von Geräten zur Messung von Augenbewegungen (erstmals Erdmann & Dodge, 1898) öffnete sich ein neues Forschungsfeld mit zahllosen Anwendungen. Stratton (1902), Buswell (1935) und Yarbus (1967) waren die ersten, die versucht haben, das Verhalten des Auges bei der Betrachtung von Bildern zu erkunden. Der Stand der Technik schränkte allerdings die Dauer und Genauigkeit von Aufzeichnungen ein. Mit der Digitalisierung hat die Blickbewegungsforschung einen enormen Aufschwung erlebt. Er beruht auf elektronische Aufzeichnungsverfahren und auf computergestützte Verarbeitung der gewonnenen Daten. Moderne Eye Tracker sind nicht mehr invasiv, sie können im Labor ohne Berührung der Versuchspersonen oder mobil in „ökologisch validen“ Umgebungen als Brille getragen werden. Damit sind die Anwendungsbereiche rasch gewachsen und vielfältig geworden: von der allgemeinen Verhaltensforschung mit Menschen und Tieren zur Kunstgeschichte, vom Marketing zur lebensrettenden Verhinderung von Sekundenschlaf in Automobilen.
Mein MECS Projekt untersucht die Geschichte der Saliency Maps, ein Nebenzweig der Blickbewegungsforschung. Diese werden seit zwei Jahrzehnte zur Vorhersage von Blickbewegungen in der Computer Vision eingesetzt. Ziel dieses Forschungszweiges ist, Algorithmen zu entwickeln, die das Verhalten des menschlichen Auges vorhersagen, bzw. reproduzieren, um im Sinne der künstlichen Intelligenz Maschinen zu bauen, die menschliche Wahrnehmung reproduzieren. Ausgangspunkt der Saliency Maps ist die Idee, dass das Auge und den ihn steuernden Cortex sich nach den elementaren Merkmalen wie Helligkeit- und Farbkontraste oder Kantenorientierung orientieren und diese elementaren Eigenschaften von Bildern können mit Algorithmen analysiert werden.
Die Computersimulation von Blickbewegungen auf Grundlage von Saliency Maps hat allerdings – soweit ich das Feld derzeit beurteilen kann – eine gravierende Schwachstelle: Die meisten Autor*innen suchen keine oder zumindest nur schwache Validierungen ihrer Algorithmen durch reale Blickbewegungsmessungen. Publikationen verbessern frühere Berechnungen und versuchen zusätzliche Bildeigenschaften zu berücksichtigen. Der Vergleich mit realer Wahrnehmung wird aber vermieden, weil er scheitern muss; weil Saliency Maps sich in aller Regel nur auf sog. low-level, bzw. bottom up Eigenschaften beziehen. Diese Eigenschaften entsprechen der Wahrnehmung von John Ruskins (1857, 6) unschuldigem Auge eines operierten Blindgeborenen, der Helligkeiten und Farben sieht, aber noch keine Menschen und Landschaften. Tatsächlich bedarf allein die Erkennung von Raumtiefe Übung. Für Neu- und Blindgeborene kann die Simulation von Saliency Maps sinnvoll sein. Alle anderen haben aber die Unschuld des Auges längst verloren. Ihr Verhalten lässt sich mittels Saliency Maps nicht vorhersagen.
Ziel des Projektes ist, eine kritische Geschichte der Erforschung von Saliency Maps zu schreiben. Eine Geschichte, die scheinbar in den frühen 1980er Jahren durch die Zusammenarbeit des Neurowissenschaftlers Christof Koch und des Informatikers Shimon Ullmann am MIT begonnen hat (Koch & Ullmann 1984). Sie entwarfen das Modell der Saliency Maps als Theorie der visuellen Verarbeitung im Gehirn von Säugetieren. Erst 2000 arbeitete Koch mit seinem Doktoranden Laurent Itti einen Algorithmus aus, um Saliency Maps im Sinne von Computersimulationen zu berechnen, die Blickbewegungen vorhersagen (Itti & Koch 2000). Ihr Aufsatz löste eine Forschungswelle mit über hundert Publikationen aus: Bis heute erscheinen jährlich mehrere Papers, die Verbesserungen der Algorithmen und die Berechnung weiterer Teilaspekte vorschlagen. Validierungen bleiben aber – soweit ich das überblicke – noch ein offenes Problem.