Was eine Gruppe Ende 2023 in der Fachzeitschrift »Nature« berichtete, klang spektakulär: Ein »autonomes Labor«, bestehend ausschließlich aus Syntheserobotern und gesteuert durch künstliche Intelligenz, sollte in 17 Tagen über 40 neue Materialien entdeckt haben. Doch so weit ist es mit den angeblichen Neuheiten nicht her, wie ein Team von der Princeton University in den USA und dem University College London jetzt ermittelt hat. Die Fachleute haben die Experimente und die beschriebenen Substanzen genau unter die Lupe genommen und kommen zu der vernichtenden Einschätzung, dass »in dieser Arbeit keine neuen Materialien entdeckt wurden«. Die gesamte Analyse hat das Team auf dem Preprint-Server ChemRxiv veröffentlicht.

Eine Gruppe um Yan Zeng und Gerbrand Ceder am Lawrence Berkeley National Laboratory in den USA hatte im November 2023 über das voll automatisierte »A-Lab« berichtet, das in Zusammenarbeit mit Google DeepMind entstanden ist. Ein maschinelles Lernsystem identifizierte dabei zunächst 58 Substanzen, die es herzustellen galt, und schlug die entsprechenden Experimente vor. Synthesemaschinen führten die Versuche durch; bei Fehlschlägen optimierte das KI-System die Herstellungsroute. Schließlich analysierten Modelle maschinellen Lernens die Ergebnisse und bestimmten die Struktur der erhaltenen Substanzen. Das Fazit des Autorenteams: 41 neue Materialien habe das automatische Labor gefunden.

Schon kurz nach der Veröffentlichung meldete der Materialwissenschaftler Robert Palgrave vom University College London auf der Plattform X Zweifel an: Mit der Analyse der Experimente gebe es »sehr ernsthafte Probleme«. Wie er dort zeigt, stimmen die analytischen Daten teilweise so schlecht mit der vorgeschlagenen Struktur überein, dass man eben nicht guten Gewissens von »Übereinstimmung« sprechen kann. In anderen Fällen deuten die Analysen auf Strukturen hin, die bereits hinlänglich bekannt sind – was die Algorithmen aber offenbar nicht bemerkten und stattdessen eine »neue« Struktur vorschlugen. Schließlich unterzogen Palgrave und die Materialwissenschaftlerin Leslie Schoop von der Princeton University das Paper mit einem gemeinsamen Team einer genauen Untersuchung.

Die bestätigte, was Palgrave anfangs vermutet hatte: Die Algorithmen haben die Experimente nicht ordentlich analysiert. In den allermeisten Fällen ordneten sie den hergestellten Materialien eine falsche Struktur zu. Und die wenigen Stoffe, die sie korrekt identifizierten, waren zum Zeitpunkt der Veröffentlichung bereits bekannt.

Die maschinellen Lernmodelle hatten offenbar Schwierigkeiten, mit Unordnung in Festkörpern umzugehen. Oder anders gesagt: Sie haben nicht berücksichtigt, dass innerhalb streng geordneter Kristalle verschiedene Defekte auftreten können, ohne dass sich die grundsätzliche Ordnung verändert. Solche Fehlordnungen treten sehr häufig auf. Materialien können etwa mit geringen Mengen von Fremdatomen dotiert sein, enthalten an einzelnen Stellen also Elemente, die nicht zur eigentlichen Kristallstruktur gehören. Dadurch können sich die Materialeigenschaften stark ändern, die grundsätzliche Ordnung bleibt aber bestehen. Ebenso »teilen« sich Teilchen im Kristall häufig die Plätze: An bestimmten Stellen ist dann nicht nur eine Sorte Element zugelassen, sondern mehrere Kandidaten haben in einem gewissen Rahmen freie Platzwahl.

Zu viel Ordnungssinn und schlampige Analysen

Weil die Algorithmen diese Formen der Unordnung nicht auf dem Schirm hatten, vermeldeten sie reihenweise die Entdeckung neuer, streng geordneter Materialien. Zwei Drittel davon liegen jedoch nicht in der von den Algorithmen vorgeschlagenen Ordnung vor, sondern sind bereits bekannte Verbindungen mit besagtem Maß an Unordnung.

Ein anderes Problem sehen die Autoren der Kritik in der Auswertung der Analytik. Um die Struktur eines Feststoffs zu bestimmen, untersucht man ihn mit der Methode der Röntgendiffraktometrie: Dabei ergibt sich je nach Art und Anordnung der Atome im Feststoff ein charakteristisches Muster. Diese Muster auszuwerten, sei den KI-Systemen nur schlecht gelungen, schreiben die Forschenden auf ChemRxiv und bescheinigen den Algorithmen Arbeit auf »Anfängerniveau«.

Zwei grundlegende Dinge müssten sich also ändern, bevor man die Entdeckung neuer Festkörpermaterialien automatisieren könne, schlussfolgert das Autorenteam: Erstens müsse man die maschinelle Auswertung von Röntgenstrukturanalysen verbessern, was auch bei menschlichen Entdeckungen sehr hilfreich wäre. Zweitens müsse man den Algorithmen beibringen, mit auftretenden Unordnungen in Kristallen umzugehen. Diese lassen sich derzeit noch sehr schwer berechnen.