VisInspecLLM – Visuell adaptive Inspektion mithilfe von Large Language Models im Remanufacturing

Im Projekt VisInspecLLM entwickeln wir gemeinsam mit unseren Projektpartnern ein KI-gestütztes System zur automatisierten Inspektion von Bauteilen im Remanufacturing. Dabei werden Bilddaten mit zusätzlichen Informationen wie Fehlerbeschreibungen, technischen Dokumentationen und Prozessdaten kombiniert. Multimodale Large Language Modelle (MLLM) sollen so Defekte an mechanischen und elektronischen Bauteilen zuverlässig erkennen und ihre Bewertung nachvollziehbar erklären.

Unsere Projektpartner

VisInspecLLM ist ein gemeinsames Forschungs- und Entwicklungsprojekt der Leuphana Universität Lüneburg (IPTS), der ISW Industrielle Sensorsysteme Wichmann GmbH und der KENBUN IT AG.
Die Partner bringen dabei unterschiedliche Kompetenzen in das Projekt ein: ISW verfügt über umfangreiche Erfahrungen in der industriellen Bildverarbeitung und Kameratechnik. KENBUN bringt seine Expertise in Sprachmodellen, Spracherkennung und KI-Systemintegration ein. Wir am IPTS übernehmen insbesondere wissenschaftliche Arbeiten in den Bereichen multimodale KI, Daten- und Wissensstrukturen sowie die Bewertung und Validierung des entwickelten Systems. 

Die Problemstellung

Die Inspektion zurückgeführter Bauteile erfolgt heute häufig manuell und ist stark vom Erfahrungswissen der Beschäftigten abhängig. Gleichzeitig unterscheiden sich die Bauteile hinsichtlich Verschleiß, Verschmutzung und Fehlerbildern teilweise erheblich voneinander.
Klassische Bildverarbeitung und herkömmliche KI-Systeme stoßen bei dieser hohen Variabilität schnell an ihre Grenzen. Gemeinsam mit unseren Partnern untersuchen wir daher, wie moderne multimodale KI-Systeme eine flexiblere und zuverlässigere Bewertung ermöglichen können.

Ziel und Methodik

Ziel des Projekts ist die Entwicklung eines adaptiven Inspektionssystems auf Basis eines MLLMs. Hierzu verknüpfen wir Bild- und/oder Videodaten mit technischem Wissen, Dokumentationen und Prozessinformationen. Mithilfe von RAG und GraphRAG sollen relevante Informationen gezielt in die Bewertung der Bauteile einbezogen werden.
Few-Shot-Verfahren sollen außerdem ermöglichen, neue oder seltene Fehlerbilder mit wenigen Beispielen zu berücksichtigen. Ergänzend entwickeln wir gemeinsam eine Mensch-Maschine-Schnittstelle, über die Beschäftigte Ergebnisse nachvollziehen, korrigieren und durch eigenes Erfahrungswissen ergänzen können.

Ablauf des Projektes

Zu Beginn analysieren wir gemeinsam mit unseren Partnern die Anforderungen und typische Inspektionsfälle aus der industriellen Praxis. Anschließend werden geeignete KI-Modelle untersucht und eine multimodale Daten- und Wissensbasis aufgebaut. Darauf aufbauend entsteht eine Systemarchitektur, in der Bildverarbeitung, MLLM, Wissensanbindung und Mensch-Maschine-Interaktion zusammengeführt werden.
In der abschließenden Projektphase werden die entwickelten Komponenten in einen Demonstrator integriert und unter realitätsnahen Bedingungen erprobt. Damit wollen wir untersuchen, wie adaptive und erklärbare KI dazu beitragen kann, Inspektionsprozesse im Remanufacturing effizienter, flexibler und zuverlässiger zu gestalten.