Die KI »For The Win« (FTW) spielt eine vereinfachte Variante des legendären Computerspiels Quake nicht nur besser als menschliche Experten, sondern übertrifft diese auch in Sachen Teamplay. Das zumindest berichten die Entwickler der Firma DeepMind, einer Tochter der Alphabet-Holding, zu der auch Google gehört, auf ihrem Blog und in einem vorab veröffentlichten Fachartikel. Alle notwendigen Fertigkeiten habe sich die Software selbst erarbeitet; nicht einmal die Regeln des Spiels seien ihr vorab einprogrammiert worden.

Die DeepMind-Entwickler um Max Jaderberg ließen ihre Software eine grafisch überarbeitete Variante des Spiels Quake III im Spielmodus »Capture the flag« spielen: Zwei Teams mit je zwei Spielern treten dabei gegeneinander an, ihr Ziel ist es, die Flagge des Gegners aus dessen Basis in die eigene zu tragen, wobei Gegenspieler durch einen gezielten Schuss in ihre Heimatbasis zurück teleportiert werden können. Die labyrinthartige Spielarena ließen die Forscher immer wieder neu per Zufall generieren. Als Eingaben bekamen die Netzwerke lediglich den Bildschirminhalt zu sehen, den auch ein menschlicher Spieler sehen würde. Um ihre Figur zu steuern, verfügte die KI nur über die Knöpfe eines simulierten Gamecontrollers.

Dennoch gelang es FTW nach etwas mehr als 150 000 Partien, selbst starke Spieler zu besiegen. Jaderberg und Kollegen setzten dazu auf die Kombination zweier Lernverfahren: Zum einen nutzten sie das so genannte Reinforcement Learning, bei dem sich die KI nach Belohnung in Form von Punktständen richtet. Zum anderen verwendeten sie eine Art künstliche Evolution. Sie ließen mehrere, leicht unterschiedliche KIs (Agenten) gegeneinander antreten, wählten die jeweils besten aus und erzeugten aus ihnen minimal veränderte Kopien für den nächsten Durchgang. Diese Form der Selektion und Mutation führte dazu, dass die Strategien der einzelnen Agenten immer besser wurden.

Gleichzeitig gaben Jaderberg und Kollegen den Agenten die Fähigkeit, mit Hilfe künstlicher neuronaler Netze aus den abertausenden gespielten Partien herauszufinden, welche Spielzüge und Strategien lohnend sind. Diese Bewertung floss anschließend in die Suche nach Spielstrategien ein. Wie eine Auswertung zeigte, fokussierte sich das Netz mit der Zeit auf typische Spielaspekte, die auch ein menschlicher Spieler in seine Einschätzung einbeziehen würde – etwa »Wo befinde ich mich?«, »Wo befindet sich mein Partner?«, »Trägt dieser die Flagge?« und so weiter.

Auch die Strategien, die die KI mit der Zeit entwickelte, ähneln denen menschlicher Spieler: FTW kann beispielsweise dem eigenen Teamkollegen hinterherlaufen und ihn so abschirmen oder in der gegnerischen Basis »campen« und den Gegner jedes Mal abschießen, wenn er dorthin zurückversetzt wird.

Umfragen unter den 40 Spielern, die DeepMind mit und gegen FTW antreten ließen, bescheinigen der KI das bessere Teamplay. Gleichzeitig war der Computer selbst von erfahrenen Gamern kaum zu besiegen, insbesondere da sich die Arena, in der das Spiel ausgetragen wird, von Mal zu Mal änderte.

Bleibt die Arena immer gleich, hat auch der Mensch eine Chance. Allerdings kostete es zwei menschliche Spieler sechs Stunden, bis sie durch kontinuierliches Tüfteln und Experimentieren die entscheidenden Schwachstellen ihres Gegners identifiziert hatten. Dann aber gewannen sie jedes Mal.