Die Verführung liegt in der Sprache. Künstliche Intelligenz liefert im Ton der Gewissheit, was oft nur Vermutung ist. Der Lernkiosk aus dem Projekt KARL stellt sich gegen diese Blindheit: mit einem Faktencheck, der sichtbar macht, wie zuverlässig eine KI wirklich ist. Beim RoundTable im CyberForum am 30. September können Mitglieder den Lernkiosk live erleben und erfahren, wie sich KI-Tools in der Praxis verlässlicher einsetzen lassen – mit konkreten Best Practices für die eigene Arbeit.
Robin Weitemeyer von der Hochschule Karlsruhe im Gespräch mit Ariane Lindemann
Robin, KI kann uns heute in Sekunden Texte liefern – aber woher weiß ich eigentlich, ob das alles stimmt?
Sehr gute Frage. Auf die reine KI-Ausgabe sollte man sich erstmal nicht verlassen. Ob man den generierten Texten vertrauen kann oder nicht, hängt maßgeblich davon ab, welche weiteren Informationen die KI-Anwendung dazu bereitstellt. Bezieht sich die KI nur auf ihr eigenes Wissen oder zieht es externe Quellen heran? Von wo stammen die Informationen? Wie werden sie verarbeitet? Viele KI-Anwendungen beantworten diese Fragen leider nicht ausreichend. Aber auch wenn sie es würden, sollte man den Aussagen der KI nicht einfach blind vertrauen, sondern sie selbst gegen die Quellen prüfen.
Was man auch nie vergessen darf: KI-Anwendungen werden von Konzernen, von Menschen entwickelt. Wie die KI antwortet hängt stark von dem vordefinierten Prompt des Anbieters ab. Das kann dessen Ansichten und Agenden widerspiegeln oder auch ungewünschte Informationen zensieren. Man sollte generierte KI-Texte daher immer kritisch hinterfragen und nicht einfach als die Wahrheit ansehen.
Warum ist diese Frage nicht nur für Journalist:innen oder Forschende relevant, sondern auch für Unternehmen, Schulen und jeden von uns?
Diese Frage ist natürlich auch für Unternehmen und Schulen kritisch. Falsche Informationen können zu falschen Entscheidungen und zu einer Verschlechterung des Know-hows der Angestellten führen. Beides kann schwere Folgen für die Unternehmen haben. Schüler:innen und Studierende nutzen heute bereits KI, um sich auf Prüfungen vorzubereiten oder Aufgaben zu bearbeiten. Lernen sie falsche Informationen von der KI, kann das ihren erfolgreichen Abschluss gefährden.
Aber jeder sollte vorsichtig damit sein, einer KI blind zu vertrauen. Nicht nur können falsche Informationen auch privat zu falschen Entscheidungen führen, wenn man nicht kritisch hinterfragt und überprüft, übernimmt man mit der Zeit die möglicherweise versteckten Ansichten und Meinungen der KI-Anbieter.
Ihr habt im Projekt KARL den Lernkiosk entwickelt. Wie würdest du in einem Satz erklären, was der Kern dahinter ist?
Die Kernidee hinter dem Lernkiosk ist es, die Möglichkeiten großer Sprachmodelle für das Lernen durch Transparenz und Kontrolle auf eine möglichst verlässliche und vertrauensvolle Art und Weise zu nutzen.
Der Faktencheck ist das Herzstück des Lernkiosks. Wie überprüft ihr Informationen, die aus einer KI kommen?
Wir weisen die KI darauf an, nur die Informationen zu nutzen und an den Benutzenden weiterzugeben, die sie vom Lernkiosk erhält. Dabei werden aber nicht einfach irgendwelche Internetquellen herangezogen, sondern nur Dokumente, die als vertrauenswürdig und korrekt angesehen werden. In unserem Fall sind das Dokumente, die direkt von Dozenten bereitgestellt werden. Im nächsten Schritt überprüfen wir dann noch einmal, ob die KI die bereitgestellten Informationen auch korrekt wiedergegeben und keine eigenen hinzugefügt hat. Die Ergebnisse dieser Überprüfung und auch die dafür herangezogenen Quellen, werden dem Nutzenden zusammen mit dem KI-Text ausgegeben. Der Nutzer kann also alles einfach nachverfolgen und selbst prüfen.
Kannst du uns ein Beispiel nennen, wie der Faktencheck in der Praxis funktioniert und welchen Unterschied er macht?
Die KI soll aus einem Dokument Statistiken auflisten und zusammenfassen. Sie betrachtet das Dokument dabei allerdings ganzheitlich oder zumindest viele Textabschnitte gleichzeitig. Dabei bringt sie ein paar Zahlen durcheinander. Sie klingen weiter logisch, sind aber falsch. Würde man jetzt nicht selbst das Dokument durchgehen und alle Zahlen überprüfen, würde das nicht auffallen. Diese manuelle Prüfung ist aber ein großer Aufwand.
Unsere automatische Faktenprüfung extrahiert auf einer detaillierteren Ebene Aussagen aus dem Dokument und vergleicht diese mit dem KI-Text. Die Zahlendreher werden damit erkannt und dem Nutzenden mitgeteilt, zusammen mit der originalen Textpassage im Dokument. Man sieht also auf einen Blick, ob der KI-Text falsch ist und wo man die korrekten Informationen nachlesen kann.
Gleichzeitig wird so auch geprüft, ob die KI Informationen hinzufügt, die nicht aus dem Dokument stammen.
Für wen ist der Lernkiosk besonders hilfreich und wie unterscheidet sich der Einsatz bei Schüler:innen, Unternehmen oder in der Weiterbildung?
Zur Veranschaulichung haben wir den Lernkiosk als KI-Demonstrator für den Hochschulkontext entwickelt. Er ist daher für den Einsatz im Vorlesungsbetrieb konzipiert. Das Erklären eines Sachverhalts durch die KI auf Basis von vertrauenswürdigen Quellen und das anschließende Überprüfen des KI-Textes ist aber universell anwendbar. Egal ob Schüler:innen eine KI für die Internetsuche nutzen oder Unternehmen damit auf ihren internen Dokumenten arbeiten. Unsere Faktenprüfung und Nachvollziehbarkeit der Quellen ist direkt auf andere Kontexte übertragbar. Das führt dabei zwar zu einem erhöhten Rechenaufwand, vor allem bei wissensintensiven Arbeiten sollte deswegen aber nicht darauf verzichtet werden.
Im Falle einer KI-gestützten Internetsuche sollten zusätzlich aber auch immer die angegebenen Quellen selbst kritisch betrachtet werden.
Wo liegen aktuell noch die größten Fallstricke, wenn Menschen ChatGPT oder andere KI-Tools nutzen?
Bei vielen Menschen fehlt immer noch das ausreichende Verständnis, wie man diese KI-Tools am besten nutzen sollte. Nicht nur für welche Aufgaben, sondern auch wie man mit damit interagiert. Die heutigen KI-Tools sind sehr mächtig und haben teils eine große Auswahl an zusätzlichen Funktionalitäten. Man sollte sich also ausreichend mit der KI-Anwendung auseinandersetzen. Vielleicht liefert das Tool ja Quellen zu seinen Texten, das muss man allerdings erst aktivieren. Statt die KI selbst zu fragen kann man vielleicht eine Internetsuche hinzuschalten oder auf eigenen Dokumenten arbeiten.
In jedem Fall sollte man aber nicht zu bequem werden und immer auch die angegebenen Quellen prüfen. Existieren diese wirklich und enthalten sie auch genau die Informationen aus dem KI-Text oder haben sie einfach nur etwas mit demselben Thema zu tun? Teilweise verkommen diese Quellenangaben nämlich zu reinem Make-Up. Sie suggerieren eine Vertrauenswürdigkeit, passen aber gar nicht unbedingt genau zum KI-Text.
Wo stoßt ihr mit dem Faktencheck heute noch an technische oder inhaltliche Grenzen?
Aufgrund der Komplexität der Aufgabe werden dafür ebenfalls große Sprachmodelle benötigt. Das ist dieselbe Art KI, mit der auch schon die zu überprüfenden Texte generiert wurden. Das funktioniert zwar gut, ist aber natürlich nicht perfekt. Genauso wie man den KI-Texten nicht blind vertrauen kann, darf man es auch der automatischen Faktenprüfung nicht. Unser Ziel war es deswegen, dem Nutzenden die Informationen der Prüfung verständlich zu vermitteln, damit man sie auf einen Blick selbst nachvollziehen kann.
Wohin geht die Reise – was wäre aus deiner Sicht der nächste große Schritt für verlässliche KI-Ausgaben?
Das Problem der Korrektheit der KI-Texte und einer mangelnden Vertrauenswürdigkeit ist natürlich auch den Anbietern dieser KI-Tools bekannt. Die Nutzung und Verlinkung externer Quellen ist daher in diesen KI-Anwendungen inzwischen verbreitet. Die genaue Umsetzung ist aus meiner Sicht jedoch noch mangelhaft. Der nächste große Schritt wäre für mich, dass die Quellenangaben Standard werden, aber dabei nicht nur auf ganze Dokumente oder Webseiten verlinken, sondern dem Nutzenden daraus die konkret verwendeten Textzitate angeben. Die Benutzeroberflächen müssen außerdem dementsprechend designt werden, damit sie diese Informationen einfach und verständlich vermitteln und den Nutzenden dazu ermutigen in den verlinkten Quellen weiterzulesen.
Ende September sprichst du beim RoundTable im CyberForum genau über diese Themen. Worauf dürfen sich die Teilnehmenden freuen?
Im RoundTable wird man den Lernkiosk in Aktion sehen und erfahren, wie genau unsere Faktenprüfung funktioniert. Wir werden uns aber auch andere KI-Tools anschauen. Wie vertrauenswürdig sind diese und wie kann man bei ihnen weitere Informationen und Quellen einfordern?
Die Teilnehmenden sollen Best-Practices beim Umgang mit KI-Tools zur Wissensarbeit erlernen und sich miteinander austauschen, um bisherige Erfahrungen zu teilen.
Mehr Informationen zum RoundTable & Anmeldung: https://www.cyberforum.de/veranstaltungen/lets-fact-check-gpt-30-09-2025
Robin Weitemeyer
studierte Informatik mit dem Schwerpunkt auf künstlicher Intelligenz (KI) und ist seit 2020 am ILIN im Bereich der großen Sprachmodelle sowie der transparenten und erklärbaren KI tätig. Neben der Entwicklung veranschaulichender KI-Demonstratoren und unterstützender Angebote, bringt er Unternehmen diese Themen auch in Vorträgen und Workshops näher.
Wer steckt hinter KARL?
KARL ist eines von aktuell 13 regionalen Kompetenzzentren und zwei wissenschaftlichen Begleitprojekten, das die Auswirkungen von Künstlicher Intelligenz (KI) auf die Lern- und Arbeitswelt untersucht. Ziel von KARL ist es, menschenzentrierte, transparente, lernförderliche und KI-unterstützte Arbeits- und Lernsysteme zu konzipieren und in konkreten Praxisanwendungen vorzeigbar zu machen.
Die Region Karlsruhe mit dem nationalen Digital Hub für angewandte KI und einem der führenden IT-Cluster in Europa bietet dafür großes Entwicklungspotenzial. Konsortialführer ist die Hochschule Karlsruhe.
Zum Projektkonsortium gehören neben neun Forschungs- und Transferpartnern auch elf regionale Unternehmen sowie das CyberForum, das eine zentrale Rolle in der Öffentlichkeitsarbeit, im Community-Management sowie im Nachhaltigkeitskonzept übernimmt.
Bis 2026 wird KARL vom Bundesministerium für Bildung und Forschung (BMBF) mit knapp zehn Millionen Euro gefördert.