Deep Reinforcement Learning: Forschungsteam entwickelt KI-gesteuerte »Cyborg-Würmer«
![Fadenwurm (Caenorhabditis elegans) mit grün eingefärbten Neuronen Fadenwurm (Caenorhabditis elegans) mit grün eingefärbten Neuronen](https://static.spektrum.de/fm/912/f2000x857/GettyImages-506877610_top.jpeg)
Ein interdisziplinäres Forschungsteam der Harvard University hat erstmals eine künstliche Intelligenz mit dem Nervensystem eines echten Lebewesens verbunden. Dadurch konnten die Forschenden mehrere Exemplare des Fadenwurms (Caenorhabditis elegans) systematisch manipulieren und auch in unbekannter Umgebung zu einem schmackhaften Ziel führen. Sie trainierten die KI mit einer Methode, die als Deep Reinforcement Learning bezeichnet wird, was auf Deutsch so viel heißt wie tiefes bestärkendes Lernen. Dabei erlernt ein Algorithmus selbstständig eine Strategie, um Belohnungen zu maximieren. Die Methode wurde in der Vergangenheit bereits dazu verwendet, einer KI das Spiel Go beizubringen. Das Team um die Hauptautorin und Biophysikerin Chenguang Li berichtet im Fachmagazin »Nature Machine Intelligence« von seinen Ergebnissen.
Das Verhalten von Lebewesen direkt über das Nervensystem zu steuern, ist seit Langem ein Traum von etlichen Neurowissenschaftlern und Robotik-Ingenieuren. Um jedoch die entscheidenden Neurone über Hirnschnittstellen zu stimulieren, müssen die Mechanismen sehr gut verstanden sein und die Aktivierungsmuster für eine bestimmte Aufgabe bekannt. In dem vorliegenden Fall waren die Würmer optogenetisch so manipuliert, dass bestimmte Neuronen als Reaktion auf Licht aktiv oder inaktiv wurden, was Bewegungen auslöste. Anschließend bestrahlten die Wissenschaftler ihre Versuchsobjekte fünf Stunden lang wahllos mit Licht und zeichneten das resultierende Verhalten auf. Mit den Daten fütterten sie eine Software, um Muster darin zu finden.
Mit den Ergebnissen trainierten die Forscher einen KI-Agenten – ein Programm, das zu einem eigendynamischen Verhalten fähig ist – darauf, die etwa ein Millimeter langen Würmer zu Bakterienkolonien zu dirigieren, die ihnen als Nahrung dienen. Insgesamt testete das Team sechs verschiedene genetische Linien der Fadenwürmer, bei denen die Zahl der lichtempfindlichen Nervenzellen von einer bis hin zu 302 reichte. Bei fünf der sechs Varianten, einschließlich der, bei der alle 302 Neurone auf das Licht reagierten, lernte der Algorithmus, den Wurm schneller zum Ziel zu führen, als wenn der Wurm allein gelassen worden wäre oder das Licht zufällig geblitzt hätte. Außerdem arbeiteten die Software und der Wurm Gewinn bringend zusammen: Führte die KI den Wurm auf einen Pfad, der zwar direkt zum Ziel führte, aber von kleinen Hindernissen übersät war, kroch der Wurm selbstständig um diese herum.
Als Nächstes wollen die Studienautoren herausfinden, ob ihre Methode die Tiefe Hirnstimulation zur Behandlung der Parkinsonkrankheit bei Menschen verbessern kann, indem die dabei verwendete Elektrodenspannung und das Timing mit KI-Methoden überprüft und angepasst werden. Eines Tages könnte, so hofft Li, eine auf Deep Reinforcement Learning basierende KI in Verbindung mit entsprechenden Implantaten uns möglicherweise auch dabei helfen, neue Fähigkeiten zu erlernen – wenn künstliche und echte neuronale Netze Gewinn bringend vereint werden.
Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.