Meta, der Mutterkonzern von Facebook, hat gemeinsam mit Microsoft die nächste Generation seines quelloffenen (Open Source) KI-Modells LLaMA vorgestellt. LLaMA steht für Large Language Model Meta AI und das neue Modell heißt schlicht LLaMA 2. Wie andere bekannte Sprach-KI-Systeme kann es alle Arten sprachbasierter Aufgaben ausführen, etwa Fragen beantworten, Text ergänzen und Zusammenfassungen schreiben. Dabei galt es bislang als weniger leistungsfähig als kommerzielle Modelle wie etwa ChatGPT von OpenAI und Claude von Anthropic.

Im Gegensatz zum Vorgänger LLaMA 1 hat Meta LLaMA 2 auch für den kommerziellen Einsatz frei gegeben, die Nutzung soll, so die Ankündigung, weiterhin kostenlos sein, auch für Geschäftskunden. Für das Training wurden laut Modellkarte rund 40 Prozent mehr Daten genutzt als bei LLaMA 1. Das neue Modell liegt in drei Varianten vor, die sich der Größe nach unterscheiden. LLaMA 2 soll jetzt mit der doppelten Kontextlänge zurechtkommen. Das neue LLaMA vermag über 4000 Token an Text sinnerfassend zu verarbeiten – im Englischen wären das annähernd 4000 Wörter, im Deutschen etwas weniger. Zuvor waren es nur rund 2000.

Seit einem Leak im März 2023 gilt LLaMA (damals noch Version 1) als das wohl verbreitetste KI-Modell, da seine Ableger auf vielen privaten Rechnern zum Laufen gebracht wurden. Bislang befanden sich diese Ableger großteils in einer rechtlichen Grauzone, da der Hersteller Meta die freie Nutzung nicht erlaubt hatte. Offiziell war LLaMA nur auf Anfrage verfügbar und ausschließlich für die Forschung vorgesehen. Interessierte Forschungseinrichtungen und Teams mussten sich unter Angabe des geplanten Einsatzzwecks bei Meta bewerben und registrieren.

Raubkopien von LLaMA 1 kursieren im Netz

Zugleich kursierten Raubkopien des Modells wild im Netz und wurden weiterentwickelt. Open-Source-Projekte wie RedPajama von der Universität Montreal aus Kanada haben bereits damit begonnen, LLaMAs Trainingsdatensatz zu reproduzieren, und planen, ein komplett offenes, transparentes, kommerziell nutzbares Modell zu trainieren. Durch solche Initiativen und durch den Wildwuchs an ungenehmigten Ablegern dürfte Meta zunehmend unter Zugzwang geraten sein, das eigene Modell eindeutig zu öffnen oder eine Bezahlversion einzuführen.

Mit der offenen Strategie geht Meta einen anderen Weg als die weiteren OpenAI-Konkurrenten aus dem Konzernumfeld. OpenAI ist das Unternehmen hinter dem KI-System ChatGPT. Der ehemalige britische Spitzenpolitiker und Liberaldemokrat Nick Clegg, der heute beim Meta-Konzern den Bereich Global Affairs leitet, erklärte gegenüber »BBC Radio 4«, man verfolge bewusst einen dezentralen Ansatz. Open Source werde die Modelle »sicherer und besser« machen, da man kritische Prüfung durch Dritte ermögliche.

Kein »singender, tanzender Chatbot für alle Gelegenheiten«

Man wolle keinen »singenden, tanzenden Chatbot für alle Gelegenheiten«, stellte Clegg klar. Stattdessen ginge es darum, KI-Fähigkeiten in das gesamte Produktportfolio des Meta-Konzerns integrieren. Durch das Verfügbarmachen der Basistechnologie für eine möglichst breite Nutzergruppe erhofft man sich offenbar, dass das Produkt rasch an Qualität gewinnt.

Gegenüber dem »Handelsblatt« nannte Clegg auch konkrete Zahlen: Allein 2023 investiere Meta über zehn Milliarden US-Dollar in die KI-Entwicklung, ähnlich viel, wie Microsoft bislang in OpenAI investierte. LLaMA 1 und 2 sind OpenAIs Sprachmodellen ChatGPT und GPT-4 zwar derzeit noch nicht ebenbürtig, sie gelten aber durchaus als wettbewerbsfähig. Mit der Veröffentlichung erzeugt Meta im Markt einen Preisdruck, der für die Entwicklung kostenpflichtiger Modelle durch andere Anbieter Folgen haben dürfte. LLaMA soll zudem in kleiner Version lokal auf Laptops und Smartphones verfügbar werden, wofür Meta mit dem Chipanbieter Qualcomm zusammenarbeitet.

LLaMA 2 ist ein offenes KI-Modell – Konkurrent ChatGPT ist geheim

Wie die Vorgängerversion ist LLaMA 2 Open Source, der Programmcode des vortrainierten Modells liegt also offen vor und kann weiterentwickelt sowie angepasst und leichter in eigene Anwendungen eingefügt werden. Zudem ist es transparent hinsichtlich seiner Architektur, der verwendeten Trainingsdaten und -methoden. Beim Hauptkonkurrenten GPT-4 von OpenAI, dem Herausgeber von ChatGPT, ist das nicht der Fall: Dessen Quellcode, Größe, Informationen zum Training, zur Datengrundlage und zur Architektur werden von OpenAI weiterhin geheim gehalten – und das, obwohl OpenAI das »Open« eigentlich schon im Namen trägt.

Sam Altman und Elon Musk hatten OpenAI ursprünglich mit dem Ziel gegründet, KI für die Allgemeinheit zu entwickeln. Das wurde 2015 vor allem mit dem Sicherheitsgedanken begründet: Quelloffene Software und offene KI-Modelle seien unabhängigen Sicherheitsforschern zugänglich, die leichter Schwachstellen finden und im Schwarm mithelfen können, die Modelle sicherer zu machen. Entsprechend waren auch die KI-Modelle von OpenAI bis GPT-2 offen und wurden gemeinsam mit transparenten Forschungsberichten veröffentlicht, andere Anbieter konnten versuchen, sie nachzubauen. Die Transformerarchitektur, die den heutigen großen Sprachmodellen zu Grunde liegt, hatte Google entwickelt und die Forschungsergebnisse ebenfalls offen geteilt. Dann stieg Microsoft 2019 mit einer Milliarde US-Dollar als Hauptgeldgeber bei OpenAI ein. Seither verbirgt das KI-Start-up seine Arbeit weitgehend vor der Öffentlichkeit. Begründet hat der Konzern das erneut mit Sicherheitsbedenken, wie beim ursprünglichen Open-Source-Ansatz. Allerdings dürften in Wahrheit wohl eher wirtschaftliche Interessen der beiden KI-Partner und das Streben nach Vorsprung und Vorteilen im Wettbewerb den Ausschlag gegeben haben.

Unterschiede zwischen offener und geschlossener KI-Forschung

Microsoft hat 2023 seine Beteiligung an OpenAI erhöht und insgesamt 11 Milliarden US-Dollar für das KI-Start-up bereitgestellt und hält seit diesem Frühjahr 49 Prozent der Unternehmensanteile. Damit sichert sich Microsoft weiterhin exklusive Nutzungsrechte an den KI-Entwicklungen des ChatGPT-Herstellers. Im Gegenzug nutzt OpenAI für das kostspielige Training und den Betrieb seiner Systeme die Superrechner-Hardware und die Cloud-Infrastruktur des Großkonzerns aus Redmond, der mit Microsoft Azure einer der wenigen weltweit dominierenden Cloud-Anbieter ist. Microsoft hingegen hält sich mehrere Türen offen, wie nun deutlich wird.

Metas Parole, dass ein offener Zugang zu KI-Modellen sicherer sei, steht im Kontrast zu Microsofts Politik beim kleineren Partner OpenAI

Der Umstand, dass Microsoft zusätzlich mit Meta eine KI-Partnerschaft eingeht, ist interessant: Die in der Ankündigung ausgegebene Parole des Facebook-Konzerns, dass ein offener Zugang zu KI-Modellen sicherer sei, steht im Kontrast zu der Ausrichtung, die Microsoft bei seinem kleineren Partner OpenAI verfolgt. In der Ankündigung von LLaMA 2 bekennt sich Meta demonstrativ zum Open-Source-Gedanken, dieser sei besonders bei generativer KI und der sich rasch weiterentwickelnden Technik hilfreich. Ein wesentlicher Faktor beim Erstellen großer KI-Modelle ist weiterhin das Vorhandensein starker Hardware zum Durchführen der Milliarden von Machine-Learning-Rechenvorgängen im Training. Das übersteigt die Ressourcen vieler Institutionen, Start-ups, Unternehmerinnen und Forscher.

Konfrontationskurs für KI-Sicherheit

Der Vorteil offener Forschung sei laut technischem Bericht, dass zahlreiche Expertinnen und Experten die offenen KI-Modelle Tests unterziehen können, die Werkzeuge verbessern und Schwachstellen schließen. Der Prozess des intensiven Austestens mit aggressiven Textanweisungen (Prompts), die das Modell angreifen, nennt sich Red Teaming und ist an LLaMA 2 ausgiebig durchgeführt worden. Beim Red Teaming handelt es sich um eine erprobte Methode der Sicherheitsprüfung zum Feinabstimmen der Modelle. Interne und externe Teams seien mit dem Durchführen negativer Tests beauftragt worden, um Leistungslücken zu ermitteln.

Meta kündigt an, künftig weitere, aktualisierte Modellversionen zu veröffentlichen. Die gefundenen Schwachstellen listet das Meta-Team im Rahmen eines Transparenz-Schemas auf, das im begleitenden Forschungspaper zu finden ist. Darin erläutert das Team die bekannten Probleme, an denen noch gearbeitet wird, und legt die bereits getroffenen oder für die Zukunft geplanten Maßnahmen zur Abhilfe offen.

Meta veröffentlicht mit LLaMA 2 auch einen Leitfaden zur verantwortungsvollen Nutzung von KI-Modellen, der sich an Entwickler und Entwicklerinnen wendet und Best Practices zum gegenwärtigen Forschungsstand nennt, um verantwortungsbewusstes Handeln beim Erstellen, Anpassen und Nutzen offener KI-Modelle wie LLaMA 2 zu gewährleisten. Eine Richtlinie zur akzeptablen Nutzung liegt ebenfalls vor, die eine Reihe von Anwendungsfällen verbietet.

Frei verfügbare Modelle gelten als schwerer beherrschbar

Das ist vor allem deshalb wichtig, weil frei verfügbare Programme und Modelle eine Eigendynamik entwickeln, die vor allem in den Händen der Community und einzelner Nutzer und weniger in denen der ursprünglichen Anbieter liegt. Allerdings lässt sich das Erstellen etwa von Desinformationskampagnen auf LLaMA 2 wohl ebenso wenig ausschließen wie das Generieren von Deepfakes mit Midjourney oder Stable Diffusion (Letzteres ist ein quelloffener Bildgenerator, von dem seit dem Erscheinen im Sommer 2022 in kürzester Zeit zahlreiche Ableger für fast alle denkbaren Ausrichtungen erschienen). Dezentrale, offene Modelle lassen sich nicht so einfach regulieren – hier können höchstens die Repository-Anbieter wie GitHub und Hugging Face, bei denen Quellcode öffentlich zugänglicher Software und KI-Modelle hinterlegt wird, gesetzlichen Vorgaben zum Inhalt ihrer Ablageordner unterworfen werden.

Meta hat laut eigenen Angaben seit dem Frühjahr 2023 mehr als 100 000 Anfragen für Forschungszugang zu LLaMA 1 erhalten. Die Veröffentlichung von LLaMA 1 umfasst die Modellgewichte und den Ausgangscode für das vortrainierte Modell sowie dessen für Konversation feinabgestimmte Versionen. Durch die Partnerschaft mit Microsoft ist LLaMA 2 ab sofort auch Teil des offiziellen KI-Angebots der Microsoft Azure-Cloud. Wer bereits Kunde ist und seine Dienste in der Azure-Cloud betreibt, kann LLaMA 2 etwa zum Filtern von Inhalten und für Sicherheitsfunktionen nutzen. LLaMA 2 lässt sich auch lokal in der eigenen Umgebung betreiben und ist für den Einsatz im Betriebssystem Windows optimiert. Auch über den Cloud-Anbieter Amazon Web Services (AWS), Hugging Face und weitere Anbieter ist LLaMA 2 verfügbar.

Wer die Infrastruktur anbietet, entscheidet über das Angebot

KI-Systeme wie große Sprachmodelle (auf Englisch: Large Language Models, LLM) stellen enorme Anforderungen an die Rechenkapazität. Ohne Verarbeitungskapazitäten und starke Hardware wie Rechenzentren oder Zugang zu Cloud-Anbietern mit mietbaren Rechenkapazitäten ist das Betreiben der Modelle im Umfang mehrerer Milliarden Parameter gar nicht möglich. Der Stuttgarter KI-Sicherheitsforscher Mirko Ross gibt deshalb anlässlich der aktuellen Veröffentlichungen großer Modelle zu bedenken, dass die bestehenden Cloud-Oligopole beim Erstellen und Betreiben von KI-Basismodellen (Foundation Models auf Englisch) die Schlüsselmacht in den Händen halten als Gatekeeper. Das macht die Partnerschaft zwischen Meta und Microsoft bedeutsam, da sich hier zwei Oligopolisten zusammentun und ihre Marktmacht nutzen könnten.

Cloud-Oligopole halten als Gatekeeper bei KI-Basismodellen die Schlüsselmacht in den Händen

Ein Nebenaspekt von Open-Source-Modellen, die große Konzerne anbieten, ist, dass sie kleineren Anbietern die Geschäftsgrundlage entziehen und das Aufkommen von Konkurrenz durch die Hintertür behindern, also den Wettbewerb verzerren könnten. Im Cloud- wie im KI-Geschäft gehört ein Großteil des Marktes drei Anbietern, neben Microsoft Azure und AWS der Google Cloud. Im Hardwaremarkt bei den Grafikprozessoren (GPUs), die zum Betreiben der Machine-Learning- und KI-Prozesse nötig sind, dominiert der Anbieter NVIDIA. Alle vier sind nicht nur Infrastrukturanbieter, sondern entwickeln aktiv generative KI mit Foundation Models und streben einen möglichst großen Marktanteil an. In einem Blogpost zur Veröffentlichung von LLaMA 2 schreibt Microsoft hingegen vom Ziel einer »Demokratisierung von KI«.

Damit ist aus Microsoft-Sicht vor allem die Optimierung auf das Betriebssystem Windows gemeint. Microsoft hat mittlerweile begonnen, seine Office-Produkte mit KI-Funktionen, unter anderem von OpenAI, zu durchsetzen: Die Einführung eines sprachaffinen »Copiloten« zur Assistenz in sämtlichen Office-Anwendungen wie E-Mail, Word, Excel, PowerPoint stehe unmittelbar bevor.

Partnerschaft zwischen Microsoft und Meta nicht ganz neu

Ganz neu ist die Partnerschaft zwischen Microsoft und Meta übrigens nicht: Im KI-Bereich haben sie gemeinsam mit der Entwickler-Community einige KI-Frameworks wie das verbreitete PyTorch entwickelt, mit dem viele Teams heute ihre KI-Anwendungen erstellen. Mit dem kostenlosen Angebot seines Sprach-KI-Systems erhöht Meta den Druck auf die anderen Anbieter im Markt. Mitte Juli hatte »Financial Times« berichtet, dass auch bei Meta erwogen worden sei, Unternehmen gegen Bezahlung angepasste Modellversionen herzustellen.

Das ist offenbar (erst einmal) vom Tisch, in der jetzigen Ankündigung steht zumindest nichts mehr von solchen Plänen. Einige Großanbieter mit mehr als 700 Millionen aktiven Nutzern wie Telegram müssen hingegen eine Lizenz mit Meta vereinbaren, wenn sie die KI aktiv nutzen wollen. Ähnlich wie beim OpenAI-Konkurrenten Anthropic, der Anfang Juli 2023 sein neues KI-Modell Claude 2 vorstellte, strebt wohl auch Meta an, individualisierte KI-Agenten anzubieten. Beim Einblenden von Werbung kommen die hauseigenen KI-Systeme schon länger zum Einsatz.