Wenn die KI zeigt, was sie sieht: Saarbrücker Forscher machen Bild-KI nachvollziehbarer

Bild der Pressemitteilung

Jonas Fischer, Forschungsgruppenleiter „Explainable Machine Learning“ am Max-Planck-Institut für Informatik. Bild: Philipp Zapf-Schramm/MPI INF


Ob Bilderkennung, Bildbeschreibung oder Bildanalyse, moderne KI-Modelle liefern beeindruckende Ergebnisse – doch wie diese zustande kommen, bleibt oft unklar. Ein Forschungsteam am Max-Planck-Institut für Informatik hat nun mit dem „Language-aligned Concept Foundation Model for Vision“ (CFM) einen Ansatz entwickelt, der leistungsstarken Bild-KI-Modellen eine Erklärungsebene hinzufügt: Das System begründet seine Ergebnisse auf eine Art, die Menschen verstehen können und zeigt im Bild, worauf es seine Ergebnisse stützt. Die Arbeit wurde im September 2026 bei einer der international führenden Fachkonferenzen im Bereich Visual Computing als „Spotlight-Paper“ vorgestellt.

Sogenannte Basismodelle (englisch „Foundation Models“) sind KI-Modelle, die mit enormen Datenmengen trainiert werden und sich anschließend für viele Aufgaben anpassen lassen, etwa vergleichbar mit einem Betriebssystem, auf dem unterschiedliche Programme laufen. Eine Variante sind „Language-aligned Vision Foundation Models“ (VLMs), die mit Millionen Bild-Text-Paaren trainiert wurden und so Bilder mit Sprache verknüpfen. Sie stecken heute in verschiedenen Anwendungen, von der Bilderkennung, über die Bildsuche, bis zur Bildgeneration und werden Kombination mit großen Sprachmodellen (LLMs) eingesetzt.

Doch diese Modelle haben eine entscheidende Schwäche: Ihre Ergebnisse sind für Menschen nicht nachvollziehbar. Ein Modell erkennt etwa, am Beispiel eines medizinischen Bildes, korrekt ein bösartiges Muttermal – aber warum es das erkannt hat und was es auf dem Bild tatsächlich „gesehen“ hat, ließ sich bisher für solche Modelle nur bedingt nachprüfen. Diese Intransparenz gilt als zentrales Hindernis für den flächendeckenden Einsatz KI-basierter Systeme, insbesondere in sicherheitskritischen oder sensiblen Bereichen wie der Medizin. „Nur wer versteht, worauf sich die Entscheidung eines Modells stützt, kann prüfen, ob es aus den richtigen Gründen richtig liegt, oder herausfinden, warum es im Fehlerfall versagt hat“, sagt Dr. Jonas Fischer, Leiter der Forschungsgruppe „Explainable Machine Learning“ am Saarbrücker Max-Planck-Institut für Informatik.

Genau hier setzt das Saarbrücker Team bestehend aus Kai Wittenmayer, Sukrut Rao, Amin Parchami-Araghi, Bernt Schiele und Jonas Fischer an – mit einem neuen Modellansatz, dem „Language-aligned Concept Foundation Model for Vision“ (CFM). Ein Bild wird dabei zunächst in Ausschnitte („Patches“) zerlegt. Anschließend übersetzt ein kleines, speziell trainiertes Netzwerk die im Modell repräsentierten Zahlenwerte (Vektordaten) in klar definierte Konzepte und verknüpft diese mit prägnanten, für Menschen verständlichen Namen. Weil jeder „Patch“ einzeln betrachtet wird, weiß das System zu jedem Konzept, wo im Bild es auftaucht. Aus dem gemeinsamen Auftreten von Konzepten in denselben Bildregionen leitet das Verfahren darüber hinaus Über- und Unterkategorien ab – etwa, dass „Segelboot“ ein Spezialfall von „Schiff/Boot“ ist.

Doktorand Kai Wittenmayer, Erstautor der Veröffentlichung. Foto: MPI-INF/Philipp Zapf-Schramm

Doktorand Kai Wittenmayer, Erstautor der Veröffentlichung. Foto: MPI-INF/Philipp Zapf-Schramm

Anders als bisherige Ansätze, die lediglich allgemeine Listen dessen liefern, was das Modell auf einem Bild zu erkennen scheint, begründet CFM die Entscheidung, indem genau angezeigt wird, wo im Bild die einzelnen Konzepte zu finden sind.

„CFM kann nicht nur sichtbar machen, welche Konzepte ein Modell in einem Bild erkennt, sondern diese auch gezielt beeinflussen. Bei Bildbeschreibungsaufgaben lassen sich beispielsweise einzelne Konzepte unterdrücken, sodass bestimmte Bildinhalte in der Bildbeschreibung nicht mehr erwähnt werden, während andere weiterhin beschrieben werden.“, erklärt Doktorand Kai Wittenmayer, Erstautor der Arbeit.

Die als Machbarkeitsstudie (Proof-of-Concept) angelegte Arbeit der Saarbrücker Max-Planck-Forscher eröffnet damit weitreichende Anwendungsmöglichkeiten: Language-aligned Vision Foundation Models sind oftmals die Basis, auf der LLMs Bilder und Text gleichzeitig verarbeiten können. Durch das neue Concept Foundation Model können die Bildkomponenten nun für den Menschen transparent und verständlich aufgeschlüsselt werden. Dadurch kann unsicheres oder fehlerhaftes Modellverhalten frühzeitig erkannt und korrigiert werden, ohne ein Modell von Grund auf neu trainieren zu müssen. Dies könnte wiederum einen Effizienz-Gewinn bedeuten, da zeit- und ressourcenaufwändiges Training wegällt.

CFM ist das erste Basismodell, das anhand verständlicher Konzepte Erklärungen für verschiedene nachgelagerte Aufgaben liefert: von der Klassifikation über die Bildbeschreibung bis zur Bildsegmentierung. Bisherige Erklärungsansätze beschränkten sich meist auf die Bildklassifikation. Die zusätzliche Erklärungsebene kostet dabei kaum Leistung. In Tests erreichte CFM bei den vorgenannten Aufgaben nahezu die Werte der zugrunde liegenden, intransparenten Modelle.

„CFM könnte dort nützlich sein, wo KI-Entscheidungen nachvollziehbar sein müssen. Künftig zum Beispiel in der Medizin, um sicherzustellen, dass ein Melanom anhand der diagnostischen Merkmale erkannt wurde, und nicht etwa, weil auf dem Bild Krankenhaushandschuhe zu sehen sind“, erklärt Direktor Bernt Schiele, Leiter der Abteilung „Computer Vision and Machine Learning“ am MPI für Informatik. Als nächsten Schritt planen die Forschenden, ihre Konzeptrepräsentation mit großen Sprach- und Bildmodellen zu kombinieren, etwa für visuelle Frage-Antwort-Systeme.

Die Arbeit wurde im September 2026 auf der European Conference on Computer Vision (ECCV), einer der international führenden Fachkonferenzen im Bereich Visual Computing, als Spotlight-Paper vorgestellt. Die 2026er Auflage der Konferenz fand in Malmö statt.

Originalpublikation:
Kai Wittenmayer, Sukrut Rao, Amin Parchami-Araghi, Bernt Schiele, Jonas Fischer: „CFM: Language-aligned Concept Foundation Model for Vision“. European Conference on Computer Vision (ECCV), Malmö, 2026. https://eccv.ecva.net/virtual/2026/spotlight/6025

Wissenschaftlicher Ansprechpartner:
Dr. Jonas Fischer
Forschungsgruppenleiter, Max-Planck-Institut für Informatik
Email: jonas.fischer@mpi-inf.mpg.de

Redaktion:
Philipp Zapf-Schramm
Gemeinsame Verwaltung
Max-Planck-Institut für Informatik
Max-Planck-Institut für Softwaresysteme
Tel: +49 681 9325 4509
E-Mail:
pzs@mpi-klsb.mpg.de