TIL: die Grenzen von Sprachmodellen außerhalb 'typischer' Aussagen

Heute war ich unter anderem damit beschäftigt, Änderungswünsche in von mir erstellte Kursbausteine zum DigiCompEdu-Modell einzuarbeiten. Zum Hintergrund muss man dazu wissen, dass ich die Kursbausteine so aufgebaut hatte, dass sie immer mit einer H5P-Selbstüberprüfung starten. Diese Selbstüberprüfung beinhaltet sowohl zentrale Aussagen zu dem dann anschließend behandelten Thema, aber auch oft gehörte Missverständnisse. Lernende können sich durch diese Selbstüberprüfung durchklicken und erhalten dann eine Rückmeldung zum empfohlenen Lernvorgehen. Diese Rückmeldung lautet vereinfacht dargestellt:

(fast) alles falsch = am besten chronologisch vorgehen
mittel = wähle, aus, was für dich besonders relevant ist
(fast) alles richtig = Hinweis auf die vertiefenden Links und Reflexionsangebote im Baustein.

(Das ist übrigens eine Idee, die ich vom Sharecamp im letzten Jahr geklaut hatte.)

Am Ende des Bausteins wird die Selbstüberprüfung dann noch einmal angezeigt und man kann sich noch einmal testen. Der Wunsch der Auftraggeber*innen war nun, dass die Lernenden zum Abschluss dann auch Hinweise zur richtigen bzw. falschen Lösung erhalten. Da ich die Inhalte mit dem H5P-Inhaltstyp Single Choice Set gestaltet hatte, ließ sich das nicht direkt in der Übung abbilden. Ich beschloss also, ein H5P-Akkordion zum Aufklappen mit dem Titel ‚Stichpunkte zur Lösung‘ jeweils darunter zu setzen.

Mein erster Schritt hierzu war, dass ich die erstellten Übungen im H5P-Inhaltsspeicher öffnete und jeweils von der Eingabemaske auf die Texteingabe umschaltete, um mir alle Aussagen schnell kopieren zu können.

Mein Ziel war dann, zu jeder Aussage einen kurzen Lösungshinweis zu haben. Da mir das als eine sehr simple und eher stupide Aufgabe erschien, versuchte ich, ChatGPT dazu zu nutzen. Dazu erstellte ich zunächst ein Beispiel mitsamt meines Lösungshinweises und gab dann den Prompt an, dass ich nun nacheinander weitere Aussagen teilen würde – und ChatGPT jeweils einen kurzen Lösungshinweis zu jeder Aussage generieren solle. Ich hoffte auf diese Weise, nur noch Copy und Paste in den Akkordion-Inhalt machen zu müssen – und fertig.

Leider funktionierte das aber gar nicht so wie gedacht. Obwohl die richtige Antwort (d.h. das ‚Stimmt‘ oder ‚Stimmt nicht‘) zur Aussage jeweils mit im Prompt dabei war, schrieb ChatGPt in ca. 20 Prozent der Aussagen einen falschen Lösungshinweis. Das trat immer dann auf, wenn ich ganz bewusst ein häufiges Missverständnis als Aussage gewählt hatte oder wenn eine Aussage ein eher unbekanntes Thema umfasste.

Hier sind drei Beispiele:

Open Educational Resources (OER) zeichnen sich vor allem dadurch aus, dass sie kostenfrei sind.

ChatGPT generiert dazu diesen Lösungshinweis: Diese Aussage stimmt. OER sind frei verfügbar und können kostenlos genutzt, weiterverbreitet und angepasst werden.
Meine gewünschte Erläuterung (und was ich auch im Baustein dazu deutlich mache) lautet dagegen: Diese Aussage stimmt nicht. OER sind zwar sehr oft frei verfügbar und können kostenlos genutzt, weiterverbreitet und angepasst werden. Es gibt aber auch OER-lizenzierte Materialien, die verkauft werden. Die einfache Aussage der Kostenfreiheit verschleiert zudem, dass für die OER-Erstellung natürlich Kosten anfallen.

Bei selbst gehosteten digitalen Werkzeugen gibt es zu wenig Kontrolle über die Verwendung der Daten der Nutzer*innen.

ChatGPT generiert dazu diesen Lösungshinweis: Diese Aussage stimmt. Bei selbst installierten digitalen Werkzeugen besteht möglicherweise weniger Kontrolle über die Verwendung von Daten im Vergleich zu standardisierten Plattformen.
Meine gewünschte Erläuterung (und was ich auch im Baustein dazu deutlich mache) lautet dagegen: Diese Aussage stimmt nicht. Bei selbst gehosteten digitalen Werkzeugen hat man grundsätzlich die Hoheit über die Art und Weise der Datenverwendung.

Diklusion verbindet die Herausforderungen von Digitalisierung und Inklusion:

ChatGPT generiert dazu diesen Lösungshinweis: Diese Aussage stimmt nicht. „Diklusion“ ist keine gängige Bezeichnung. Die Herausforderungen von Digitalisierung und Inklusion werden getrennt behandelt.
Meine gewünschte Erläuterung (und was ich auch im Baustein dazu deutlich mache) lautet dagegen: Diese Aussage stimmt. „Diklusion“ ist ein Kofferwort aus Digitalisierung und Inklusion. Das Ziel ist gegenseitige Befruchtung. So soll durch Digitalisierung z.B. eine verbesserte Inklusion erreicht werden.

Mein Learning

Natürlich kann man sich bei den Aussagen trefflich streiten, ob meine Darstellung hier wirklich korrekt ist oder ob es z.B. in einem engeren Sinn (aus Nutzungsperspektive) nicht doch durchaus stimmt, dass OER kostenfrei sind. Mir war bei diesem und anderen Beispielen aber bewusst eine Abkehr von oft simplifizierenden Aussagen, wichtig – und genau so wird das dann ja auch im Kurs-Baustein dargestellt. Mit genau solch einer Perspektive (= weiterdenkend, typische Annahmen infrage stellend, neue Themen aufgreifend …) gerät man bei der Nutzung von Sprachmodellen aber offensichtlich an sehr deutliche Grenzen. Genau das halte ich als mein heutiges Learning fest. Wirklich überraschend ist es nicht, denn natürlich sind in der Datenbasis des Tools überwiegend die typischen Aussagen des Internets zu finden – und für abweichende Darstellungen muss man schon sehr spezifisch prompten, wenn sie überhaupt vorhanden sind. Trotzdem fand ich es sehr aufschlussreich, das noch einmal ganz konkret in der Praxis zu erleben.