Ein (Reise-)Bericht von einer Winter School, einem Workshop und neu entfachter Begeisterung für die Forschung
15.04.2026
Kai Moltzen, wissenschaftlicher Mitarbeiter an unserem Institut, ist kürzlich von einer Reise zurückgekehrt, die er als möglicherweise die zwei inspirierendsten Wochen seiner bisherigen beruflichen Laufbahn beschreibt. Ende März nahm er an der ELLIS Winter School on Foundation Models in Amsterdam teil, gefolgt vom GeoExT-Workshop auf der ECIR 2025 – zwei Wochen voller neuer Ideen, anregender Diskussionen und wertvoller neuer Kontakte.
Die Winter School, ausgerichtet von der Amsterdammer Abteilung des Europäischen Exzellenznetwerks für KI-Forschung ELLIS, brachte ein herausragendes Aufgebot an Vortragenden aus der gesamten Forschungslandschaft zusammen. Saining Xie, Mitgründer von AMI Labs (derzeit eines der am höchsten bewerteten KI-Startups Europas, mitgegründet mit Yann LeCun), eröffnete die School mit einem Vortrag über Weltmodelle, die zu räumlicher Kognition und der Vorhersage von Weltzuständen fähig sind. Hinrich Schütze, einer der Gründungsväter der neuronalen Sprachverarbeitung an der LMU München, zog eine zum Nachdenken anregende Unterscheidung zwischen kreativer Generalisierung, Halluzination und Nicht-Antworten in LLMs. Wenn ein Modell nach einem unbekannten Fakt gefragt wird, gibt es möglicherweise eine plausible, aber nicht verifizierbare Antwort. Dies, so argumentiert Schütze, unterscheidet sich grundlegend von einer schlichten Halluzination eines bekannten Fakts. Pascal Mettes von der Universität Amsterdam präsentierte hyperbolische Foundation Models und argumentierte, dass hyperbolische Geometrie besser als der euklidische Raum geeignet sei, um Klassifikationshierarchien zu modellieren. Die Intuition dahinter: Wenn man aus dem Augenwinkel etwas auf einem Dach huschen sieht, hält man es mit ausreichender Sicherheit für ein „Tier"; mit mehr Gewissheit „Vogel"; mit noch mehr „Amsel." Dieses Framing hierarchischer Unsicherheit brachte Kai zum Nachdenken über eine mögliche Integration mit geografischen Zellhierarchien. Frank Hutter von der Universität Freiburg und PriorLabs hielt wohl einen der spannendsten Vorträge der School. Seine Arbeit an TabPFN stellt ein tabellarisches Foundation Model vor, das zur Inferenzzeit einen gesamten Datensatz aufnimmt, um In-Context-Learning durchzuführen, und Vorhersagen in unter einer Sekunde liefert; das zugehörige Paper war die meistzitierte Nature-Publikation des letzten Jahres. Angesichts der Menge wertvoller Daten in Industrie und Finanzwesen, die in tabellarischer Form vorliegen, fühlt sich dies wie ein Durchbruch mit enormer praktischer Wirkung an – made in Europe. Nuria Oliver von ELLIS Alicante teilte bemerkenswerte Erkenntnisse zur KI-Sicherheit: Das jüngste Paper ihres Teams in Nature Communications zeigte, dass große Reasoning-Modelle als autonome Agenten eingesetzt werden können, um andere LLMs zu jailbreaken – mit einer Erfolgsrate von nahezu 100 %, was ernsthafte Fragen zur Wirksamkeit aktueller Alignment-Ansätze aufwirft. Elisa Ricci von der Universität Trient rundete den Themenblock zu vertrauenswürdiger KI mit einer Präsentation zur Erklärbarkeit multimodaler Modelle ab, wobei der Fokus auf datenfreien Ansätzen lag, die Modellgewichte statt datengetriebener Aktivierungen analysieren. Dies ist besonders relevant, um gezielte Eingriffe zur Verbesserung der Vertrauenswürdigkeit von Modellen vorzunehmen.
Weitere Highlights waren Robin Rombach, Mitgründer von Black Forest Labs und Schöpfer der latenten Diffusionsmodelle, der auf der Bühne interviewt wurde; Ekaterina Shutova mit ihrer Arbeit zu multilingualen Modellen und der überraschenden Erkenntnis, dass bereits eine einzige Epoche des Fine-Tunings die kulturellen Werterepräsentationen eines Modells umstrukturieren kann; sowie Robert Geirhos von Google DeepMind, der einen aufschlussreichen Vortrag über Forschungsphilosophie hielt – denken Sie daran: „Gute Ideen scheitern ständig, aber gute Fragen nicht."
Über diese Vorträge selbst hinaus bot die School etwas mindestens ebenso Wertvolles: die Zeit und den Raum, nachzudenken, sowie die Gelegenheit, Ideen mit einer diversen Gruppe talentierter junger Forschender aus ganz Europa auszutauschen. Kai kam mit einer langen Liste von Forschungssträngen nach Hause, die er unbedingt weiterverfolgen möchte. Und, vielleicht am wichtigsten, mit einer erneuerten Begeisterung für exzellente Forschung und einer starken Überzeugung vom Potenzial Europas in der Forschung an den besten Foundation Models.
Im Anschluss an die Winter School nahm Kai am GeoExT-Workshop auf der ECIR 2025 in Delft teil, der sich der Weiterentwicklung der geografischen Fähigkeiten von Machine-Learning-Systemen widmet. Aktuelle Spitzenforschung in diesem spezifischen Bereich zu hören und sich mit gleichgesinnten Forschenden zu vernetzen, war für sich genommen ein Highlight, und er ist zuversichtlich, dass aus diesen neuen Kontakten fruchtbare Kooperationen entstehen werden.
Zwei Wochen, zwei Veranstaltungen, unzählige Ideen. Wir freuen uns darauf, zu sehen, wie diese Erfahrungen in die kommende Forschung einfließen!