ERC Starting Grant: Michael Hahn will grundlegende Fehler großer Sprachmodelle korrigieren

Computerlinguist Michael Hahn wird jetzt mit einem ERC Starting Grant mit 1,5 Millionen Euro über fünf Jahre gefördert. Foto: © Thorsten Mohr/UdS

Im Alltag vieler Menschen und Unternehmen sind große Sprachmodelle (LLMs) wie ChatGPT nicht mehr wegzudenken. Sie werden etwa genutzt, um Informationen aus verschiedenen Quellen zu verknüpfen und komplexe Planungsschritte vorzubereiten. Doch genau hierbei passieren noch viele Fehler, die KI beginnt zu halluzinieren und kann nicht Schritt für Schritt Dinge logisch zusammenführen. Computerlinguistik Michael Hahn will daher die theoretischen Grundlagen für das so genannte „Reasoning“ der KI verbessern. Von der Europäischen Union wird er dafür jetzt mit einem ERC Starting Grant mit 1,5 Millionen Euro über fünf Jahre gefördert.

Die großen Sprachmodelle werden für immer komplexere Aufgaben genutzt, für die sie bisher aber nicht besonders gut geeignet sind. Fehler treten bei komplizierten Planungsaufgaben auf, wenn etwa Dienstpläne in einem Unternehmen mit Materiallieferungen, Produktionsabläufen und Lieferfristen koordiniert werden müssen. „Solche chronologischen, aber ineinander verschachtelten Informationsketten, die aus verschiedenen Quellen herrühren, sind für Sprachmodelle noch schwer lösbar. Wir wollen herausfinden, wie die theoretischen Grundlagen verbessert werden müssen, damit Sprachmodelle sich zum Beispiel Reihenfolgen besser merken können“, sagt Michael Hahn. Computerlinguistik-Professor der Universität des Saarlandes. Mit seinem Team will er anhand großer Datenbestände erforschen, welche Zusammenhänge sich die KI bereits gut erschließen kann und woran sie bisher scheitert.

„Schwierig wird es für die großen Sprachmodelle, wenn sich die Informationen stark ähneln. Das ist zum Beispiel in der biomedizinischen Forschung der Fall, wenn Moleküle und Zellprozesse beschrieben werden, die sich nur in Nuancen unterscheiden“, erklärt Michael Hahn. Dafür will der Forscher noch ein besseres wissenschaftliches Verständnis aufbringen, wie die KI lernt und Schritt für Schritt zu ihrem Ergebnis kommt. „Eine wichtige Rolle spielt dabei der induktive Bias, der auch als induktive Verzerrung bezeichnet wird. Damit ist die Menge an Annahmen und Vorwissen gemeint, die ein Algorithmus für maschinelles Lernen mitbringen muss, um von bekannten Trainingsdaten auf ungesehene Daten zu verallgemeinern“, erklärt Hahn. Hierfür wird er mit seinem Team tief in die mathematischen Modelle eintauchen und eine Theorie dafür entwickeln, unter welchen Trainingsbedingungen die KI bestimmte niedrig- oder hochrangige Fähigkeiten zur richtigen Schlussfolgerung, dem „Reasoning“, entwickelt. „Wir wollen die Theorie anhand realer Aufgaben erarbeiten, um Modellfehler sowohl vorherzusagen als auch zu verhindern. Damit wollen wir die Sprachmodelle zuverlässiger und kosteneffizienter gestalten und letztendlich den Weg für eine vertrauenswürdige KI ebnen“, sagt Michael Hahn.

Für sein Projekt „REALM: Foundations for Reliable Language Model Reasoning via Inductive Biases“ erhält Michael Hahn jetzt ein ERC Starting Grant, das mit 1,5 Millionen Euro über fünf Jahre gefördert wird. Im vergangenen Jahr bekam Michael Hahn bereits eine ähnliche Summe aus dem Emmy-Noether-Programm der Deutschen Forschungsgemeinschaft, um die grundlegende Architektur der Sprachmodelle besser zu verstehen und anders aufzubauen (siehe Pressemitteilung vom 19.11.2015). Im März wurde er zudem mit dem Heinz Maier-Leibnitz-Preis ausgezeichnet. 

Computerlinguist Michael Hahn ist Teil der Fachrichtung Sprachwissenschaft und Sprachtechnologie der Universität des Saarlandes, deren Forschung und Lehre sich an der Schnittstelle von Sprache, Kognition und Künstlicher Intelligenz auf hohem internationalem Niveau bewegt. Zugleich ist diese eng mit dem Saarland Informatics Campus vernetzt. Dort erhielten in der aktuellen Vergaberunde auch Yiting Xia und Thomas Leimkühler vom Max-Planck-Institut für Informatik einen ERC Starting Grant. Damit haben inzwischen 54 Forscherinnen und Forscher am Saarland Informatics Campus einen der verschiedenen ERC Grants der Europäischen Union eingeworben. Von den 421 aktuell genehmigten Anträgen für ein ERC Starting Grant beziehen sich 22 auf den Bereich Informatik, nur fünf davon gehen nach Deutschland und davon die drei genannten an den Saarland Informatics Campus.

Hintergrund Saarland Informatics Campus 

1000 Wissenschaftlerinnen und Wissenschaftler und rund 2800 Studierende aus mehr als 81 Nationen machen den Saarland Informatics Campus (SIC) zu einem der führenden Standorte für Informatik in Deutschland und Europa. Vier weltweit angesehene Forschungsinstitute, nämlich das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Max-Planck-Institut für Informatik, das Max-Planck-Institut für Softwaresysteme, das Zentrum für Bioinformatik, sowie die Universität des Saarlandes mit drei vernetzten Fachbereichen und 24 Studiengänge decken das gesamte Themenspektrum der Informatik ab. https://saarland-informatics-campus.de/

Weitere Informationen:

European Research Council: https://erc.europa.eu

Fachrichtung Sprachwissenschaft und Sprachtechnologie der Universität des Saarlandes

Persönliche Webseite von Professor Michael Hahn: https://www.mhahn.info

Fragen beantwortet:

Prof. Dr. Michael Hahn 

Lehrstuhl für Language, Computation, and Cognition

Tel. 0681 302-4343

Email: mhahn@lst.uni-saarland.de