Die Ampel von Mina Schütz hat vier Farben: Grün, Gelb, Orange und Rot. Sie regeln nicht den Verkehr, sondern signalisieren, ob bestimmte Informationen verkehrstauglich sind oder eher nicht – weil es etwa Zweifel an ihrem Wahrheitsgehalt gibt. Das Farbsystem ist Teil eines digitalen Werkzeugs, das Schütz während ihrer Doktorarbeit an der Hochschule Darmstadt entwickelt hat. Es soll künftig vor allem professionellen Anwendern helfen, Fake News oder Hassrede in großen Textmengen besser zu erkennen.
Das System namens Disdetect, das Schütz konzipiert hat, unterscheidet sich nach den Worten der Wissenschaftlerin von anderen Modellen dieser Art durch seine Differenziertheit. Es fälle nicht einfach ein Urteil, ob es sich bei einer bestimmten Botschaft etwa in den sozialen Medien um Hetze oder Desinformation handele. Stattdessen gebe es eine auf mehreren Kriterien beruhende, abgestufte Einschätzung des Textes ab, die dann in einer Farbstufe zusammengefasst werde – von „vertrauenswürdig“ (grün) bis „kritisch“ (rot)
Geliefert wird diese Beurteilung von Künstlicher Intelligenz. In Disdetect arbeiten 19 KI-Modelle zusammen, die eingespeiste Texte anhand von 50 Merkmalen analysieren. Bewertet wird unter anderem, wie emotional die Beiträge formuliert sind, ob sie Anspielungen auf Verschwörungsmythen enthalten oder Anzeichen von Clickbaiting aufweisen, also darauf optimiert sind, möglichst viele Leser im Internet zu gewinnen. Ein Indiz dafür ist nach Schütz’ Worten zum Beispiel, wenn die Überschrift eines Artikels Erwartungen weckt, die vom Text nicht eingelöst werden.
Wahrscheinlichkeit für Fehler wird angezeigt
„Desinformation ist komplex“, sagt die Informatikerin. „Ein Text kann faktisch korrekt sein und trotzdem manipulativ wirken – oder umgekehrt.“ Die Kombination verschiedener Kriterien erlaube dem Nutzer von Disdetect eine fundierte Einschätzung. Das Modell gebe für jedes Ergebnis zudem ein Konfidenzintervall an, das anzeige, wie hoch die Fehlerwahrscheinlichkeit sei. Letztlich entscheide immer der Mensch, ob er einen bestimmten Beitrag tatsächlich als Desinformation einstufen wolle.
Was ein KI-Modell als „Fake News“ oder „Hassrede“ ansieht, hängt davon ab, mit welchen Informationen es trainiert wurde. Für dieses Anlernen werden sogenannte annotierte Datensätze benötigt, also Texte, die von Menschen bewertet und mit Labeln versehen wurden, die die Künstliche Intelligenz verstehen kann. Schütz hat für ihre Promotion zwei derartige Datensätze selbst erstellt, aber auch auf solche zurückgegriffen, die von anderen Wissenschaftlern angefertigt wurden.
Abhängig davon, aus welchen Quellen eine KI sich speist, kann ihr Urteil verzerrt sein – es können zum Beispiel rassistische Stereotype reproduziert werden. Könnte ein Modell auch kritische Statements zum Beispiel zur Flüchtlingspolitik als „Hetze“ oder „Falschinformation“ einstufen, weil die annotierten Datensätze, auf die es zurückgreift, womöglich eine politische Schlagseite haben? „Die Gefahr, dass eine KI problematische Wertungen trifft, kann man nie komplett ausschließen“, sagt Schütz. Sie hält das Risiko aber für überschaubar: Bei der Annotierung werde jeder Text von mehreren Personen bewertet.
Noch ist Disdetect nur ein Prototyp und nicht frei verfügbar. Schütz hat es zunächst einmal entwickelt, um zu zeigen, dass das Modell grundsätzlich funktioniert. Bis es für Anwender geeignet sei, müsse noch einiges an Entwicklungsarbeit investiert werden. Als künftige Nutzer kann sich die Forscherin Wissenschaftler, aber auch Journalisten und andere Akteure vorstellen, die mit großen Datenmengen zu tun haben.
Schütz hat ihre Doktorarbeit am Promotionszentrum Angewandte Informatik geschrieben, an dem außer der Hochschule Darmstadt drei weitere hessische Hochschulen für angewandte Wissenschaften beteiligt sind. Da sie auf diesem Fachgebiet als forschungsstark gelten, dürfen sie Doktortitel dort eigenständig vergeben. Mit der Betreuung ist Schütz nach eigenen Angaben sehr zufrieden gewesen. Während der Promotion kooperierte sie zudem mit dem Austrian Institute of Technology in Österreich. Diese Zusammenarbeit hat sich für Schütz auch persönlich gelohnt: Sie ist jetzt an dem außeruniversitären Forschungsinstitut beschäftigt.
