Paper auf der FAcct 2024 vorgestellt

31.07.2024

Am 4. Juni 2024 präsentierte Angelie Kraft ihr Paper "Knowledge-Enhanced Language Models Are Not Bias-Proof: Situated Knowledge and Epistemic Injustice in AI" (Situiertes Wissen und epistemische Ungerechtigkeit in der Künstlichen Intelligenz) zusammen mit ihrer Co-Autorin Eloïse Soulier (Universität Hamburg) auf der Conference on Fairness, Accountability, and Transparency (FAccT) 2024 in Rio de Janeiro, Brasilien. Diese interdisziplinäre Arbeit hinterfragt die unreflektierte Nutzung großer Wissensdatenbanken wie Wikipedia zur Verbesserung von Sprachmodellen aus Sicht der Informatik und der Philosophie.

Abstract:

Die faktischen Ungenauigkeiten („Halluzinationen“) großer Sprachmodelle haben in letzter Zeit vermehrt Forschung zu Knowledge-Enhanced Language Modeling (wissensangereicherter Sprachmodellierung) angeregt. Sprachmodelle, welche rein statistischer Natur sind, werden hier durch explizite, ggf. symbolische Wissensbasen erweitert, um so vermeintlich die Vertrauenswürdigkeit und Objektivität der Modelle zu erhöhen. Während Social Bias, d.h. reproduzierte soziale Vorurteile und Stereotypen, häufig als Problem großer Sprachmodelle problematisiert werden, geschieht dies im Kontext von Wissensbasen nur selten. Der Grund dafür könnte sein, dass KI-Entwickler*innen Wissen im Allgemeinen als objektiv und wertneutral verstehen. Hinweise darauf wurden schon vor ca. 30 Jahren in u.a. anthropologischen Arbeiten gegeben und wir argumentieren, dass sich die Neutralitätsannahme noch immer in den Praktiken von KI-Entwickler*innen widerspiegelt. Wir kontrastieren dieses Verständnis mit Literatur aus der sozialen und insbesondere der feministischen Erkenntnistheorie, welche argumentiert, dass die Annahme eines universellen, körperlosen Wissenden blind für die Realität von Wissensproduktion und -verbreitung ist. Diese Literatur stellt die Annahme der „Objektivität“ oder „Neutralität“ von Wissen in Frage. Knowledge-Enhanced Language Modeling verwendet üblicherweise Wikidata und Wikipedia als Wissensquellen, da sie umfangreich und öffentlich zugänglich sind und als vertrauenswürdig gelten. In dieser Arbeit dienen sie uns als Fallstudien, um den Einfluss sozialer Dynamiken und von Identitätsaspekten auf epistemische Prozesse zu untersuchen. Die Autor*innenschaft hinter Wikidata und Wikipedia ist bekanntermaßen männlich dominiert, und in den letzten zehn Jahren wurden viele Fälle von Anfeindungen gegenüber nicht-männlichen Autor*innen gemeldet. Diese Dynamiken wirken sich auch auf den Inhalt der Wissensbasen aus, welcher eine vornehmlich westliche und männliche Realität einfängt. Es ist daher fragwürdig, ob Wissensbasen wie Wikidata und Wikipedia zur Verringerung von Social Bias in Sprachmodellen beitragen können. Tatsächlich zeigen unsere empirischen Auswertungen von RoBERTa, KEPLER und CoLAKE, dass Knowledge Enhancement die Hoffnungen auf mehr Objektivität möglicherweise nicht erfüllt. In unserer Studie blieb die durchschnittliche Wahrscheinlichkeit für stereotype Assoziationen in zwei von drei Analysen auch nach dem Knowledge Enhancement erhalten. Daneben sind sowohl nicht-angereicherte als auch wissensangereicherte Modelle gleichermaßen weniger akkurat darin, Faktenwissen über männliche Personen zu reproduzieren als über weibliche. Ausgehend von diesen Ergebnissen und den Erkenntnissen aus einer umfangreichen Literaturrecherche kommen wir zu dem Schluss, dass Knowledge Enhancement das Risiko birgt, epistemische Ungerechtigkeit aufrechtzuerhalten. Zudem folgern wir, dass die Annahme von KI-Entwickler*innen, dass Wissen per se objektiv sei, diese Ungerechtigkeit verschleiert. Um uns der Entwicklung vertrauenswürdiger Sprachmodelle anzunähern, müssen wir im Kontext der KI-Forschung und -Entwicklung ein nuancierteres Verständnis von Wissen und Wissensproduktion fördern und eine Diversifizierung und kritische Hinterfragung durch Mitglieder von Randgruppen anstreben.