Jetzt wurde eine Software entwickelt, die in der Lage sein sollte, den Inhalt von Aufsätzen genau so gut wie ein menschlicher Gutachter zu beurteilen. Vorgestellt wurde dieses System von Darell Laham von der University of Colorado in Boulder und Peter Foltz von der New Mexico State University auf dem Jahrestreffen der American Educational Research Association in San Diego am 16. April 1998.

Das neue System verwendet die "latente semantische Analyse", einen neuen Typ künstlicher Intelligenz, die einem neuronalen Netz sehr ähnlich ist. "In gewisser Weise wird versucht, die Funktion des menschlichen Gehirns zu imitieren", sagte Laham.

Zunächst wird die Software mit Informationen über ein bestimmtes Thema in der Form von 50 000 bis 10 Millionen Wörtern aus Online-Lehrbüchern oder anderen Quellen "gefüttert". Das Programm lernt anhand des Textes und weist dann der Bedeutung eines Wortes und eines beliebigen anderen Wortes einen mathematischen Grad der Ähnlichkeit oder "Entfernung" zu. Dadurch können Studenten verschiedene Wörter mit derselben Bedeutung verwenden und trotzdem die gleiche Note erhalten. Sie könnten zum Beispiel "Doktor" anstelle von "Arzt" schreiben.

Beim Einsatz der Software können zwei verschiedene methodische Ansätze gewählt werden. Der erste besteht darin, daß zunächst Lehrer oder Professoren genügend Aufsätze bewerten, um eine brauchbare statistische Probe zu erhalten und um dann die Software zur Benotung der verbliebenen Aufsätze zu nutzen. "Das Programm nimmt die Wortkombinationen im Aufsatz des Studenten und berechnet die Ähnlichkeit mit der Wörterkombination im Vergleichsaufsatz", erläuterte Laham. Danach erhält der Student die gleiche Note wie jene vom Lehrer auf herkömmliche Art benoteten Aufsätze, denen er am ähnlichsten ist.

"Das Programm geht bei der Bewertung unglaublich konsequent vor – eine Eigenschaft, die menschliche Bewertung fast nie zeigt", sagte Laham. "Dem System wird nie langweilig, es ist nie in Eile, schläfrig, ungeduldig oder vergeßlich." Bei einem Versuch haben sowohl der Intelligent Essay Assessor als auch Fakultätsmitglieder Aufsätze von 500 Psychologiestudenten der University of Colorado in Boulder bewertet. "Die Übereinstimmung bei den Noten war sehr hoch ...", bemerkte Landauer.

Den Forschern zufolge benotet die Software nur inhaltliches Wissen. Sie soll nicht dazu dienen, Aspekte wie Grammatik und Rechtschreibung einzubeziehen. Diese Funktionen können durch schon existierende Programme abgedeckt werden.

Die zweite Methode zur "Intelligenten Aufsatzbewertung" vergleicht alle Studentenaufsätze mit einem einzigen, sog. "goldenen Standard" – einem von einem Professor oder Experten verfaßten Aufsatz.

Die Software kann sogar die Studenten darüber informieren, welche wichtigen Themenbestandteile in ihren Werken fehlten und wo diese im Lehrbuch zu finden sind.

Nach Meinung der Wissenschaftler gibt es eine enge Verbindung zwischen jenen Studenten, die besonders lange Texte verfassen und jenen, die besonders gute Noten erzielen: Wer viel weiß, schreibt viel. Auch beim Intelligent Essay Assessor zählt der Inhaltsumfang, doch wird dieser anhand von Konzepten, nicht nach der Wörterzahl gemessen. Die Forscher empfehlen, für die Wortanzahl im Aufsatz einen Grenzwert anzusetzen, um die Länge als Faktor auszuschließen.

Da das System nicht die Satzstrukturen und -zusammenhänge analysiert, könnte man den Forschern zufolge im Aufsatz alle richtigen Wörter völlig durcheinandergewürfelt schreiben und so eine gute Note erzielen. Aus diesem und anderen Gründen markiert das System ungewöhnliche Aufsätze, so daß sie von einem Lehrer geprüft werden können. Doch das Team entdeckte sogar eine noch bessere Schutzmethode, während es versuchte, das Programm auszutricksen: "Es stimmt, wenn man einen guten Aufsatz schreibt und dann die Wörter durcheinanderwürfelt, bekommt man eine gute Note", sagte Landauer. "Doch versuchen Sie mal, die guten Wörter zu finden, ohne einen guten Aufsatz zu schreiben! Wir haben versucht, schlechte Aufsätze zu schreiben und dafür gute Noten zu bekommen, und manchmal ist es uns auch gelungen – wenn wir den Stoff wirklich gut kannten. Die leichteste Methode, das System auszutricksen, besteht darin, fleißig zu lernen, den Stoff zu beherrschen und einen guten Aufsatz zu schreiben!"