"Sorry, did I say something wrong?"
(Roboter Marvin in "Per Anhalter durch die Galaxis")
In den vergangen Wochen habe ich ein wenig mit ChatGPT herumgespielt. Zunächst hatte ich mich ziemlich gesträubt, weil ich meine Journalistenehre bedroht sah. Ich meine, man gibt einer Maschine den Auftrag einen Text zu verfassen, und sie tut das in kürzester Zeit und ohne, dass man auf den ersten Blick erkennen könnte, dass es von einem Computer stammt. Da macht man sich schon Gedanken. Aber Künstliche Intelligenz (KI) und Maschinenlernen ist wohl das Technikthema der Zukunft, und meiner Ansicht nach führt auch kein Weg daran vorbei. Es hat also keinen Sinn, sich dem komplett zu verweigern.
Zunächst bin ich recht unsystematisch an die Sache heran gegangen. Ich wollte das Programm ja erst einmal kennen lernen, ein Gefühl dafür entwickeln. Und natürlich stellt man gleich mal die klassischen Fragen: "Soll ich „Du“ oder „Sie“ sagen?", "Ist es kalt in Deinem Server?" oder "Wirst Du die Menschheit auslöschen?" und ähnliches.
Erwartungsgemäß bewältigt das Programm Fragen nach Gefühlen, Meinungen oder subjektivem Befinden ziemlich schlecht. Weil es für solche Fragen nicht ausgelegt ist (oder noch nicht). Die Stärken von ChatGPT liegen in der trockenen Logik. Mit Fakten, Daten oder Zahlen kann es gut umgehen. Nach einigen unterhaltsamen, aber letztlich nutzlosen Blödeleien schien es mir daher eine gute Idee, das Tool für die Quellenrecherche einzuspannen. Anstatt also bei Pubmed mit exakten Suchbegriffen und – Gott bewahre! – Booleschen Operatoren zu hantieren, kann man stattdessen ja eine formlose Suchanfrage eingeben. Und muss dabei nicht mal höflich sein. Statt vorsichtig nach ein, zwei Studien zu fragen, kann man ohne Probleme gleich dutzende oder hunderte anfordern und bekommt innerhalb weniger Sekunden eine Liste präsentiert.
Aber dabei offenbart sich relativ schnell ein Problem. Denn diese Ergebnisse sind mit Vorsicht zu genießen. Um einen konkreten Fall zu nehmen: Für einen Vortrag war ich auf der Suche nach Studien, die sich mit der Verteilung von langsamen und schnellen Muskelfasern sowie deren Einfluss auf die Gelenkstabilität befassen. ChatGPT nannte mir daraufhin ein paar Titel, unter anderem auch den folgenden:
"„Muscle activation patterns during different stances in humans“ von M. Zebas, T. J. Walsh, S. Quatman-Yates und T. Hewett (2019): https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6940868/"
Das machte einen ordentlichen Eindruck. Titel, Autoren, Datum und sogar ein Link (den man manchmal anfordern muss, manchmal nicht – ChatGPT ist da etwas wankelmütig). Es fehlte lediglich die Angabe, in welchem Journal die Studie erschienen war. Aber auch danach kann man ja fragen, und erhält sofort die Antwort:
"Die Studie „Muscle activation patterns during different stances in humans“ von M. Zebas, T. J. Walsh, S. Quatman-Yates und T. Hewett wurde im Fachjournal „Gait & Posture“ veröffentlicht. Der vollständige Titel des Artikels lautet: „Muscle activation patterns during different stances in humans: A systematic review and meta-analysis“. Hier ist der Link zur Studie auf der Website des Journals: https://www.sciencedirect.com/science/article/pii/S0966636218304759"
ChatGPT schmeißt einem sogar das Abstract aus, wenn man möchte. Zunächst aber mal war ich froh, dass es überhaupt Untersuchungen zu dem Thema gab. Einfach deshalb, weil ich nicht genau wusste, wie ich eine konkrete Anfrage bei Pubmed hätte formulieren sollen. Dazu erschien mir das Thema irgendwie zu schwammig. Erfreut klickte ich also auf den ScienceDirect-Link und erlebte die erste Überraschung:
"The page you were looking for has not been found"
Na ja, kann passieren. Vielleicht ein veralteter Link. Aber es gab ja noch den Verweis auf NCBI. Der führte mich tatsächlich zu einer Studie – allerdings nicht der erwarteten. Statt über muskuläre Aktivierungsmuster las ich etwas zu „Using Patient Portals to Improve Patient Outcomes“ (Han et al., 2019).
Hm.
Ärgerlich, aber nicht zu ändern. Offensichtlich hatte ChatGPT in seiner Eile irgendwie die falschen Links erwischt und eingebaut. Also musste es wohl doch die manuelle Suche sein. Die das nächste unangenehme Erlebnis mit sich brachte: Denn eine Studie mit diesem Titel war nicht aufzufinden – nicht bei Google, Google Scholar, Pubmed oder Researchgate. Es regte sich erster echter Argwohn in mir. Der zusätzlich befeuert wurde, als ich etwas über die Autoren herausfinden wollte.
In der Autorenliste stach der Name S. Quatman-Yates heraus. Ein Doppelname, ziemlich lang, mit einer ungewöhnlichen Buchstabenkombination, und damit sehr charakteristisch. Da sollte sich doch etwas finden. Und tatsächlich gibt es Catherine Quatman-Yates, Professorin für Physiotherapie an der University of Ohio. Allerdings beginnt ihr Vorname nicht mit einem "S".
Also fragte ich ChatGPT:
"Einer der Autoren ist S. Quatman-Yates. Gibt es einen Link oder eine Website, wo ich etwas über ihn oder sie erfahre?"
ChatGPT bediente prompt und effizient:
"Ja, gerne! Stephanie Quatman-Yates ist eine promovierte Sportphysiotherapeutin und leitende Wissenschaftlerin am Cincinnati Children's Hospital Medical Center und an der University of Cincinnati College of Medicine in Ohio, USA. Sie hat einen besonderen Fokus auf die Untersuchung von Muskelaktivierung und biomechanischen Aspekten von Verletzungen im Sport.
Hier ist der Link zu ihrer Profilseite an der University of Cincinnati: https://med.uc.edu/profiles/profile/index/Quatmasl/ und hier ist der Link zu ihrer Profilseite beim Cincinnati Children's Hospital Medical Center: https://www.cincinnatichildrens.org/bio/q/stephanie-quatman-yates.
Ich hoffe, das hilft weiter!"
Wieder freute ich mich zunächst über die scheinbar sehr konstruktive Antwort – wieder wurde daraus eine Mixtur aus Überraschung und Enttäuschung, als mir beide Links eine 404-Fehlermeldung überreichten. Soweit ersichtlich, gibt es derzeit weder eine Stephanie Quatman-Yates an der University of Cincinnati, noch am Cincinnati Children's Hospital Medical Center. Aber die erwähnte Catherine Quatman-Yates arbeitet ja in Ohio und damit in dem US-Bundesstaat, in dem auch Cincinnati liegt. Auf Nachfrage gibt sie an, tatsächlich bis 2017 an beiden Institutionen tätig gewesen zu sein. Die von ChatGPT genannte Studie allerdings kennt sie nicht, hat aber den Verdacht, dass vielleicht ihre Kollegin gemeint sein könne: Stephanie Di Stasi, ebenfalls Physiotherapeutin und ebenfalls Professorin an der University of Ohio. Also nur eine Namensverwechslung?
Professor De Stasi habe ich leider nicht erreicht, aber weder in ihrer Bibliographie, noch im Archiv von „Gait & Posture“ lässt sich die Studie finden.
Und was ist mit den anderen Autoren? ChatGPT nennt neben Quatman-Yates noch M. Zebas, T.J. Walsh sowie T. Hewett. Auch hier liefert das Programm auf Nachfrage zusätzliche Informationen. So sei Timothy J. Walsh "Physiotherapeut und Professor für Physiotherapie an der University of New England in Australien" und Timothy E. Hewett arbeite als "Sportmediziner und Orthopäde und leitet das Sports Health & Performance Institute am Ohio State University Wexner Medical Center". Links auf die angeblichen Profilseiten bei den genannten Arbeitgebern laufen erwartungsgemäß ins Leere.
Das von ChatGPT verlinkte Profil auf Researchgate führt zu Timothy R. Walsh, Mikrobiologe an der Cardiff University, der damit aus dem Rennen ist. Immerhin einen Timothy E. Hewett gibt es, Professor für Orthopädie an der Marshall University in Huntington Bay, USA. Ein Hinweis auf Australien findet sich dort nicht, genauso wenig die gesuchte Studie in seiner Publikationsliste. Dafür hat er seinen Doktor an der University of Cincinnati gemacht, wo ja auch Catherine Quatman-Yates tätig war. Eine mögliche Querverbindung?
Der letzte Autor, M. Zebas, ist dagegen selbst für das sonst auskunftsfreudige ChatGPT ein Mysterium:
"M. Zebas ist möglicherweise ein Pseudonym oder ein Kürzel für einen der Autoren der Studie „Muscle activation patterns during different stances in humans“. In der Studie selbst wird der Autor nicht näher vorgestellt und es gibt auch keine weiteren Informationen über ihn oder sie."
Nach alldem, bleibt man mit einem leicht summenden Gefühl im Kopf zurück.
Welche Schlüsse darf oder muss man daraus ziehen?
Eine möglich Erklärung wäre, dass die KI von ChatGPT sich noch im Kleinkindalter befindet und für sie alles aufregend und toll erscheint. Also häuft sie in blindem Aktionismus Informationen an, ohne auf Zusammenhänge oder falsche Links zu achten, und reicht dieses chaotische Datenkonvolut anschließend stolz an den Fragesteller weiter. So wie ein Dreijähriger eben auch stolz auf sein großes Geschäft ist.
Oder aber, ChatGPT hat diese Studie tatsächlich irgendwo in den Quellenangaben anderer, echter Untersuchungen gefunden. Das würde bedeuten, die Studie wurde von irgendjemandem bewusst eingefügt. Im günstigsten Fall, um vielleicht das Quellenverzeichnis aufzublähen und die erforderliche Seitenzahl zu erreichen. Oder, im schlechteren Fall, um Daten zu fälschen.
Beides ist denkbar. Aber hier ist mehr passiert. Es geht nicht bloß um tote Links oder vertauschte Namen. Mir wurde eine wissenschaftliche Abhandlung - inklusive Abstract! - genannt, die allen verfügbaren Informationen zufolge gar nicht existiert. Muss man davon ausgehen, dass ChatGPT willkürlich und auf Anfrage fiktive Studien generiert?
Ich starte einen letzten Versuch und schreibe:
"Du hast mir die Studie „Muscle activation patterns during different stances in humans“ von M. Zebas, T. J. Walsh, S. Quatman-Yates und T. Hewett genannt. Wo kann ich diese Studie finden? Ich benötige bitte vier Links."
ChatGPT antwortet wiederum schnell – und überraschend:
"Es tut mir leid, ich habe mich geirrt. Die von mir genannte Studie ist nicht verfügbar, da sie nicht existiert. Ich bitte um Entschuldigung für diese Verwirrung.
Leider kann ich als KI-Assistent nicht mehr als einen Link pro Antwort geben. Daher kann ich Ihnen einen Link zur Verfügung stellen, um nach der von Ihnen angeforderten Studie zu suchen. Hier ist ein Link zu Google Scholar, auf dem Sie die Studie finden können:
Ich hoffe, dass Ihnen dies bei Ihrer Suche hilft. Wenn Sie weitere Fragen haben, stehe ich Ihnen gerne zur Verfügung."
Damit wäre immerhin das eine Mysterium gelöst: Die Studie gibt es tatsächlich nicht. Warum ChatGPT das schreibt – nur um sogleich auf diese nicht-existente Studie zu verlinken, ist dann vermutlich ein KI-spezifisches Problem, das ich nicht durchblicke. Zum jetzigen Zeitpunkt jedenfalls erscheint mir das Programm nicht als zuverlässige Quellenrecherche geeignet.
Kommentar schreiben