Hintergrund

Derzeit erleben wir einen weltweiten Siegeszug des Maschinellen Lernens (ML), insbesondere der tiefen neuronalen Netze (TNNs), der sich nicht nur auf verschiedene Anwendungsbereiche, sondern auch auf mathematische Themen wie inverse Probleme auswirkt. Große vorhandene Datenmengen und die deutlich gestiegene Computerleistung machen die Anwendung und das erfolgreiche Training tiefer neuronaler Netzwerke möglich. Dabei wurden bisher meist sogenannte „end-to-end“-Lernansätze verwendet, für die in der Regel sehr große Mengen strukturierter Daten notwendig sind. Dies führt dazu, dass diese Ansätze in vielen realen Anwendungsfällen aus den Naturwissenschaften, der Medizin und der Industrie nur bedingt einsetzbar sind. Denn meist sind nur komplexe und heterogene Datenbestände vorhanden, und die Generierung zuverlässiger Daten ist teuer und aufwändig. Hier setzt MaGriDo an und verfolgt das Ziel, existierendes Domänenwissen zu integrieren, um so insbesondere die Anzahl der notwendigen Daten für ausreichend genaue TNNs substantiell zu reduzieren.

Im Fokus von MaGriDo stehen praxisrelevante Problemstellungen aus den Materialwissenschaften, vor allem Polymere und Gläser. Zum Beispiel werden Polyurethan-Lacke seit über 60 Jahren für Automobile, Möbel oder Parkett genutzt. Abhängig von den Anforderungen kommen mehrere Grundstoffen zum Einsatz. Gerade durch die große Variationsmöglichkeit dieser Komponenten sind die Eigenschaften (Härte, Lösungsmittelbeständigkeit, Kratzfestigkeit, Hydrolysebeständigkeit, Glanz) wie in einem Baukastensystem einstellbar. Die Vorhersage der Eigenschaften basiert bisher zum großen Teil auf Versuch-und-Irrtum-Methoden und auf jahrelanger Erfahrung der Hersteller und Anwender. Ein weiteres Beispiel ist die Herstellung von Gläsern. Auch hier gibt es eine Vielzahl einsetzbarer Grundstoffen und eine große Variationsmöglichkeit der Prozessparameter. Für diese Probleme sollen Lernverfahren weiterentwickelt, untersucht und auf Daten der Praxispartner angewendet werden. Ein Schwerpunkt liegt auf Regressionsproblemen.
 

Zielsetzung

Ziel von MaGriDo ist es, TNNs für Problemstellungen aus der Industrie (weiter) zu entwickeln und zu analysieren, die es erlauben, existierendes Domänenwissen in die Architektur der Netzwerke einzubauen. Solch ein hybrider Ansatz kann die komplementären Stärken von „end-to-end“-Lernansätzen und „a-priori-Modellen/Regeln“ nutzbar machen. Dieses Vorgehen verspricht effizientere Lösungen für viele Anwendungsfelder. Beispielsweise reduziert sich die benötigte Datenmenge, oder die Vorhersagen des ML-Modells sind konsistent zum vorhandenen Wissen.

Der Schwerpunkt der Forschung und Entwicklung in MaGriDo wird auf sogenannte Graphnetzwerke gelegt, da üblicherweise komplexe Systeme sehr gut als Zusammensetzungen von Entitäten und deren Wechselwirkungen repräsentiert werden können. Diese enthalten zum Beispiel konventionelle Fully-Connected-NN, Convolution-NN und Recurrent-NN als Spezialfälle, lassen sich auf relationalen Strukturen angewenden und ermöglichen eine hierarchische Prozessierung der Eingabedaten.
 

Mathematische Aspekte

Die mathematischen Untersuchungen im Vorhaben sollen letztlich zum besseren Verständnis der Architektur von TNNs beisteuern. Die mathematischen Beiträge des Vorhabens umfassen

• die Untersuchung und Erarbeitung einer Expressivitätsanalyse für Graphnetzwerke,
  
• die Erweiterung von Interpretierbarkeitsalgorithmen und deren Theorie auf Graphnetzwerke,
• die Untersuchung effizienter Lernverfahren für das Training von Graphnetzwerken,
• die Betrachtung von Graphnetzwerkarchitektur, Regularisierung und Optimierungsverfahren,
• die strukturierte Integration von Domänenwissen durch geeignete mathematische Formalismen,
• die Erarbeitung mathematischer Konzepte zum Transferlernen und aktiven Lernen,
• die Erarbeitung und Untersuchung systematisch verbesserbarer Wechselwirkungspotentiale,
• die Untersuchung generativer Graphnetzwerke.

Die mathematischen Methoden und Erkenntnisse von MaGriDo sind nicht auf das Feld der Materialwissenschaften beschränkt. Graphnetzwerke sind auf viele andere Anwendungsfelder übertragbar, beispielsweise um Wissengraphen in der Systembiologie und Biomedizin in TNNs einzubinden.
 

Wirtschaftliche Relevanz

Die wirtschaftliche Motivation für die in MaGriDo gewählten Ansätze spiegeln sich durch die am Vorhaben beteiligten Industriepartner wider. Neuentwicklungen in industriellen Anwendungen beruhen bisher meist entweder auf dem auszehrenden Ansatz von Versuch und Irrtum oder bewegen sich in den Bereichen, die von den jahrelangen Erfahrungen der Hersteller und Anwender abgesichert sind. Sie sind damit meist unverhältnismäßig teuer oder nur wenig innovativ. Die Herausforderung besteht darin, geeignete Strategien und Techniken zu entwickeln, die die Kosten durch die hohe Zahl von in-vitro- und in-silico-Experimenten reduzieren. Der Ansatz von MaGriDo, Domänenwissen in Graphnetzwerke zu integrieren und so konventionelle Ansätze der Materialforschung mit datengestützten Methoden und Multiskalenmodellierung zu kombinieren, verspricht einen substantiellen Beitrag. Lösungen, die MaGriDo exemplarisch hervorbringt, werden auf andere Anwendungen übertragbar sein. Die Beschleunigung und Flexibilität in Entwicklung und Produktion wird gestärkt, so dass bedarfsgerecht innovative und nachhaltige Produkte, Technologien und Anwendungslösungen von der Industrie bereitgestellt werden können.

Rolle von Fraunhofer SCAI

Fraunhofer SCAI bringt – gemeinsam mit den Projektpartnern aus der Industrie – die konkreten Anforderungen aus den Anwendungen in das Projekt ein. SCAI sichert ferner die Software-Engineering-Aspekte, die ingenieurmäßige Anbindung und die spätere Verwertung der Projektergebnisse.

Projektpartner, Förderung und Laufzeit

Projektpartner sind neben Fraunhofer SCAI die Universität Bonn (als Verbundkoordinator), die Technische Universität Berlin, die Technische Universität Braunschweig sowie – als assoziierte Partner aus der Industrie – die Covestro AG und die Schott AG.

MaGriDo wird im Rahmen des Programms »Mathematik für Innovationen« vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.

Laufzeit: 04/2020 – 03/2023