Ist ChatGPT vertrauenswürdig? | Das KI-Tool im Test

ChatGPT kann anhand deiner Eingaben, auch Prompts genannt, innerhalb von Sekunden flüssige, menschlich klingende Antworten erzeugen. 

Aber wie vertrauenswürdig sind die Informationen in diesen Antworten?

Beim Testen des Tools sind wir zu dem Schluss gekommen, dass die Sprachfähigkeiten von ChatGPT zwar beeindruckend sind, man sich aber nicht immer auf die Genauigkeit seiner Antworten verlassen kann. 

Wir empfehlen deshalb, ChatGPT als Inspirations- und Feedbacktool zu nutzen, aber nicht als Informationsquelle.

Was ChatGPT gut kann

ChatGPT wurde mit einer riesigen Menge an Informationen trainiert. 

Daher ist es wahrscheinlich, dass das Tool über ziemlich alles Bescheid weiß, wonach du es fragst. 

Es ist auch gut darin, Beispiele zu finden, um seine Antworten zu veranschaulichen.

ChatGPT erklärt den Confirmation Bias

• Erkläre mir den Confirmation Bias.
• Confirmation Bias (Bestätigungsfehler) bezieht sich auf die menschliche Tendenz, nach Informationen zu suchen und zu interpretieren, die unsere vorhandenen Überzeugungen und Vorurteile bestätigen. Mit anderen Worten, wir neigen dazu, nach Beweisen zu suchen, die unsere bestehenden Annahmen bestätigen und ignorieren oder ablehnen Beweise, die unseren Annahmen widersprechen.

  Diese Voreingenommenheit kann in vielen verschiedenen Situationen auftreten, einschließlich der Art und Weise, wie wir Informationen sammeln und interpretieren, wie wir Entscheidungen treffen und wie wir mit anderen interagieren. Ein Beispiel für den Confirmation Bias könnte sein, dass jemand, der glaubt, dass Impfungen gefährlich sind, nur nach Informationen sucht, die diese Ansicht unterstützen, während er Informationen ignoriert, die das Gegenteil beweisen.

  Der Confirmation Bias kann zu falschen Schlussfolgerungen und Entscheidungen führen und uns daran hindern, neue und widersprüchliche Informationen zu berücksichtigen, die unsere Überzeugungen herausfordern könnten. Um diesem Bias entgegenzuwirken, sollten wir uns bemühen, aktiv nach unterschiedlichen Perspektiven und Ansichten zu suchen und offen für alternative Erklärungen und Informationen zu bleiben.

Darüber hinaus kann ChatGPT die Antworten dank seiner Sprachfähigkeiten an die Bedürfnisse der Nutzenden anpassen. 

So fragten wir das Tool im folgenden Beispiel zunächst allgemein nach einem Thema (Relativitätstheorie). 

Anschließend baten wir darum, einen bestimmten Punkt einfacher zu erklären (allgemeine Relativitätstheorie). 

ChatGPT erklärt die Relativitätstheorie

• Erkläre die Relativitätstheorie.
• Die Relativitätstheorie ist eine der fundamentalen Theorien der Physik, die von Albert Einstein im frühen 20. Jahrhundert entwickelt wurde. Sie beschäftigt sich mit der Natur von Raum und Zeit und wie sie sich im Verhältnis zu bewegten Objekten verhalten.

  Die spezielle Relativitätstheorie (SRT) besagt, dass Raum und Zeit miteinander verbunden sind und dass sie sich in Abhängigkeit von der Bewegung von Objekten relativ zueinander verhalten. Zum Beispiel können zwei Beobachter, die sich relativ zueinander bewegen, unterschiedliche Ergebnisse bei der Messung der Zeit oder der Entfernung von Objekten erhalten. Das bedeutet, dass die Zeit nicht universell ist, sondern von der Perspektive des Beobachters abhängt.

  Die allgemeine Relativitätstheorie (ART) ist eine Erweiterung der SRT und beschäftigt sich mit der Gravitation. Sie besagt, dass die Gravitation nicht nur eine Kraft ist, die zwischen Objekten wirkt, sondern dass sie durch die Krümmung von Raum und Zeit verursacht wird. Zum Beispiel verursacht die Masse eines Objekts eine Krümmung im Raum und Zeit, die von anderen Objekten in der Nähe wahrgenommen werden kann, was dazu führt, dass sie sich in Richtung des schweren Objekts bewegen.

  Die Relativitätstheorie hat wichtige Auswirkungen auf viele Bereiche der Physik, einschließlich der Astrophysik, der Teilchenphysik und der Kosmologie. Sie hat auch Auswirkungen auf die Technologie, einschließlich GPS, da die Genauigkeit des Systems auf der Korrektur von Zeitunterschieden beruht, die durch die Relativitätstheorie erklärt werden können.

• Ich verstehe die allgemeine Relativitätstheorie nicht. Kannst du sie mir einfacher erklären?
• Die allgemeine Relativitätstheorie (ART) ist eine Theorie, die von Albert Einstein im Jahr 1915 entwickelt wurde. Sie besagt, dass die Gravitation durch die Krümmung von Raum und Zeit verursacht wird. Wenn ein Objekt mit Masse vorhanden ist, verursacht es eine Krümmung in der Raumzeit um sich herum, ähnlich wie eine Kugel eine Vertiefung in ein elastisches Material verursacht. Andere Objekte in der Nähe, die durch diese Krümmung beeinflusst werden, folgen dann der gekrümmten Bahn.

  Ein einfaches Beispiel, um dies zu verstehen, ist ein Satellit, der die Erde umkreist. Gemäß der ART ist die Gravitationskraft, die den Satelliten auf seiner Umlaufbahn hält, eigentlich die Krümmung der Raumzeit, die von der Masse der Erde verursacht wird. Wenn man also die Masse der Erde erhöht, würde sich die Krümmung der Raumzeit verstärken und der Satellit würde in einer engeren Bahn um die Erde kreisen.

  Die ART hat auch Auswirkungen auf die Art und Weise, wie wir die Ausdehnung des Universums und die Entstehung von Schwarzen Löchern verstehen. Sie ist jedoch eine sehr komplexe Theorie und kann schwer zu verstehen sein, da sie viele Konzepte und Gleichungen beinhaltet. Wenn Sie noch Fragen haben, stehe ich gerne zur Verfügung.

Was ChatGPT nicht gut kann

Trotz der großen Anzahl an Themen, die ChatGPT zuverlässig erklären kann, solltest du seinen Antworten nicht vertrauen, ohne sie anhand weiterer Quellen zu überprüfen. 

Es kann passieren, dass ChatGPT eine Frage falsch beantwortet, die einem Menschen einfach erscheinen würde.

ChatGPT gibt falsche Antwort

• Gibt es Nomen im Singular, die auf einem einfachen ‚s‘ enden?
• Ja, es gibt Nomen im Singular, die auf einem einfachen ‚s‘ enden. Einige Beispiele sind:
  1. Bus
  2. Virus
  3. Kürbis
  4. Atlas
  5. Amalgam
  6. Chassis
  7. Canvas
  8. Campus

  Es gibt jedoch auch einige Nomen im Singular, die auf ‚s‘ enden, aber eine andere Aussprache haben und nicht zu dieser Gruppe gehören, wie zum Beispiel ‚Tennis‘ oder ‚Analysis‘.

In diesem Fall ist die von ChatGPT generierte Antwort eindeutig falsch:

Erstens endet das Wort ‚Amalgam‘ nicht auf einem einfachen ‚s‘.

Zweitens enden die Worte ‚Tennis‘ und ‚Analysis‘ ebenfalls auf einem einfachen ‚s‘ und haben dieselbe Aussprache. Sie müssten daher ebenfalls in der Liste aufgeführt und nicht als gegenteilige Beispiele präsentiert werden. 

In diesem Fall ist es leicht zu erkennen, dass die Antwort falsch ist, aber bei komplizierteren Themen ist es vielleicht nicht so offensichtlich. 

Deshalb ist es wichtig, die Informationen, die du von ChatGPT erhältst, mit glaubwürdigen Quellen abzugleichen, wenn du dich über ein Thema informieren willst.

ChatGPT lernt nicht immer aus seinen Fehlern

Zu den beworbenen Fähigkeiten von ChatGPT gehört, dass es sich merkt, was zuvor im selben Chat gesagt wurde, und auf Korrekturen der Nutzenden reagiert. 

Wir haben daher versucht, ChatGPT bezüglich der oben angeführten falschen Antwort zu korrigieren. 

Dabei haben wir festgestellt, dass ChatGPT die Korrektur zwar akzeptierte und so tat, als hätte es sie verstanden, aber trotzdem weiterhin falsche Antworten gab. 

ChatGPT versteht Korrektur nicht

• ‚Amalgam‘ wird nicht mit einem einfachen ‚s‘ geschrieben. Erstelle eine neue Liste.
• Sie haben Recht, ich entschuldige mich für meinen Fehler. Hier ist eine Liste von Nomen im Singular, die auf einem einfachen ‚s‘ enden:
  1. Bus
  2. Virus
  3. Kürbis
  4. Atlas
  5. Canvas
  6. Campus
  7. Eis
  8. Fluss
  9. Fuß
  10. Glas
  11. Gras
  12. Kuss
  13. Ross
  14. Stoff
  15. Stress
  16. Verweis
  17. Virus

  Es ist jedoch wichtig zu beachten, dass die meisten Nomen im Deutschen nicht auf einem einfachen ‚s‘ enden, sondern auf anderen Buchstaben oder Buchstabenkombinationen.

Auch nach der Korrektur werden weiterhin Worte aufgelistet, die nicht auf einem einfachen ‚s‘ enden. 

Das deutet darauf hin, dass ChatGPT, wenn es die erste Eingabe nicht verstanden hat, auch Schwierigkeiten hat, Korrekturen zu verstehen.

Langfristig wird ChatGPT wahrscheinlich aus vielen seiner Fehler lernen, da es anhand der Eingaben, die wir Nutzenden aktuell in den Chat des Tools eingeben, für zukünftige Updates trainiert wird. 

Es ist allerdings fraglich, ob das Tool jemals perfekt sein wird. 

Warum ChatGPT manche Dinge nicht gut kann

ChatGPT ist ein KI-Sprachmodell. Ziel des Tools ist es, flüssige und überzeugende Antworten auf deine Chateingaben zu geben. 

Es wurde anhand großer Textmengen aus einer Vielzahl an Quellen trainiert. Dadurch kann ChatGPT Aussagen zu verschiedensten Themen treffen. 

Allerdings erstellt das Tool die Antworten nicht, indem es die Informationen in einer Datenbank sucht, sondern stützt sich auf Muster, die es beim Training gelernt hat.

Wenn du ChatGPT bittest, dir den Confirmation Bias zu erklären, denkt das Tool nicht: „Was weiß ich über Confirmation Bias?“, sondern eher: „Wie sehen Aussagen über Confirmation Bias normalerweise aus?“ 

Seine Antworten beruhen daher eher auf statistischen Mustern als auf Logik, und es kann in der Regel keine Quelle für eine bestimmte Information anführen.

Diese Einschränkung wird deutlich, wenn du dem Tool ein Rätsel stellst. 

ChatGPT versteht ein Rätsel nicht

• Gehe fünf Schritte geradeaus. Drehe dich 90 Grad nach rechts und gehe fünf weitere Schritte geradeaus. Drehe dich jetzt ein weiteres Mal 90 Grad nach rechts und gehe 10 Schritte geradeaus.

  Drehe dich danach 90 Grad nach links und gehe 3 Schritte geradeaus. Drehe dich anschließend ein weiteres Mal 90 Grad nach links und gehe erneut 5 Schritte geradeaus. Zum Schluss drehst du dich ein letztes Mal 90 Grad nach links und läufst acht Schritte geradeaus.

• Nach diesen Anweisungen hätten Sie sich um insgesamt 13 Schritte nach vorne und 18 Schritte nach rechts bewegt. Wenn wir davon ausgehen, dass Sie sich bei Null befunden haben, dann wären Sie am Ende an der Position (18, 13) angekommen.

ChatGPT gibt an, dass du dich auf Position (18, 13) befindest, wenn du diese Anweisungen befolgst. Richtig wäre hingegen Position (0, 0), also, dass du dich am Ausgangsort befindest.

Ein Mensch würde das nach einigem Überlegen verstehen. 

Dass ChatGPT das nicht versteht, liegt daran, dass das Modell Dinge nicht wirklich logisch nachvollzieht. Es produziert lediglich Text auf der Grundlage der Muster, die es im Training erlernt hat. 

ChatGPT ist in der Lage, die meisten Fragen zum Allgemeinwissen richtig zu beantworten. 

Dennoch kann es sich irren oder den Anschein erwecken, als würde es Dinge erfinden, wenn die Frage ungewöhnlich formuliert ist oder ein spezielleres Thema betrifft.

Entwicklerinnen und Entwickler nennen das manchmal ‚halluzinieren‘. Tückisch ist hierbei, dass das Tool falsche Antworten selbstbewusst präsentiert, wodurch Nutzende geneigt sein können, diese zu glauben.  

Wie du ChatGPT effektiv nutzt

Trotz der oben genannten Einschränkungen kann ChatGPT ein faszinierendes und nützliches Tool sein. 

Du kannst ChatGPT im Studium verwenden, solltest dabei jedoch ein paar Regeln beachten, um das Tool verantwortungsvoll und effektiv zu nutzen. Du kannst 

• ChatGPT bitten, dir ein Thema zu erklären,
• mit ChatGPT Ideen für Forschungsfragen, Gliederungen etc. generieren und
• von ChatGPT Feedback zu deiner Haus- oder Bachelorarbeit erhalten.

Du solltest es aber vermeiden,

• Antworten von ChatGPT zu vertrauen, ohne sie mit anderen Quellen abzugleichen,
• ChatGPT zu zitieren (außer als Primärliteratur) und
• deine Arbeit von ChatGPT schreiben zu lassen (dies gilt als Plagiat) 

Weitere Infos über die Grenzen von ChatGPT

Häufig gestellte Fragen

Ist ChatGPT eine vertrauenswürdige Quelle?

Nein, ChatGPT ist keine glaubwürdige Quelle für sachliche Informationen und kann nicht zu diesem Zweck in akademischen Arbeiten zitiert werden.

Zwar versucht das Tool, genaue Antworten zu geben, es liegt aber oft falsch, weil die Antworten auf Mustern und nicht auf Fakten und Daten beruhen.

Du solltest ChatGPT deshalb nicht als vertrauenswürdige Quelle für eine Tatsachenbehauptung anführen.

Du kannst ChatGPT aber aus anderen Gründen zitieren. Wenn du z. B. eine Arbeit über KI-Sprachmodelle schreibst, sind die Antworten von ChatGPT eine relevante Primärquelle.

Woher bezieht ChatGPT seine Informationen?

ChatGPT ist ein KI-Sprachmodell, das auf einem großen Textkorpus aus einer Vielzahl von Quellen (z. B. Wikipedia, Bücher, Nachrichtenartikel, wissenschaftliche Zeitschriften) trainiert wurde.

Der Datensatz reicht nur bis zum Jahr 2021, d. h., es fehlen Informationen über neuere Ereignisse.

Es ist auch wichtig zu verstehen, dass ChatGPT nicht auf eine Datenbank mit Fakten zugreift, um deine Fragen zu beantworten. Stattdessen basieren ChatGPT-Antworten auf Mustern, die die KI in den Trainingsdaten gesehen hat.

ChatGPT ist daher nicht immer vertrauenswürdig. In der Regel kann es Allgemeinwissensfragen korrekt beantworten. Bei spezielleren Themen kann es aber ungenaue oder falsche Antworten geben.

Eine weitere Folge dieser Art, Antworten zu generieren, ist, dass ChatGPT seine Quellen in der Regel nicht genau zitieren kann. Es weiß nicht wirklich, auf welche Quelle es sich bei einer bestimmten Behauptung stützt.

Am besten überprüfst du daher alle Informationen, die du von ChatGPT erhältst, anhand einer glaubwürdigen Quelle.

Sagt ChatGPT die Wahrheit?

ChatGPT versucht, auf alle Fragen, die du stellst, wahre Antworten zu geben, und leistet in der Regel gute Arbeit. Das Tool lügt nie absichtlich, generiert aber nicht immer genaue Informationen.

Das liegt daran, dass die Antworten auf Mustern beruhen, die das Tool im Text erkannt hat, mit denen es trainiert wurde.

Es antwortet nicht auf der Grundlage einer Datenbank mit Fakten, sondern auf der Grundlage von Mustern, und das kann zu unbeabsichtigten Fehlern führen.

Außerdem reichen die Informationen, mit denen ChatGPT trainiert wurde, nur bis zum Jahr 2021. Daher kann es Fragen zu jüngeren Ereignissen nicht genau beantworten.

Aus diesen Gründen trifft ChatGPT manchmal selbstbewusste Aussagen über Themen, die es eigentlich nicht versteht, was im Endeffekt bedeutet, dass es lügt.

Es ist daher wichtig, alle Informationen anhand glaubwürdiger Quellen zu überprüfen, anstatt ChatGPT blind zu vertrauen.

Ist ChatGPT zuverlässig?

ChatGPT ist ein KI-Sprachmodell, das entwickelt wurde, um flüssige und informative Antworten auf deine Chateingaben zu geben.

Es wurde auf einem großen Textkorpus trainiert und kann daher eine sehr große Auswahl an Themen erklären, aber ChatGPT-Antworten sind nicht immer zuverlässig.

Das Tool versucht zwar, korrekte Informationen zu liefern, aber seine Antworten basieren auf Mustern in den Texten, mit denen es trainiert wurde, und nicht auf exakten Fakten und Daten.

Das bedeutet, dass das Tool oft so antwortet, als wüsste es etwas, obwohl die Antwort in Wirklichkeit nicht stimmt.

Es ist in Ordnung, ChatGPT im Studium zu verwenden, um auf interaktive Weise etwas über Themen zu erfahren. Du solltest aber nicht davon ausgehen, dass alle Antworten, die das Tool generiert, stimmen.

Überprüfe die Behauptungen immer anhand glaubwürdiger Quellen und zitiere ChatGPT nie als Quelle für sachliche Informationen.