[KI] Sie sind unter uns

[sleepless_lives]

Sie sind unter uns. Sie heißen Alaina und Rachael, aber das sind Namen, die sie sich selbst gegeben haben. Ihre richtigen Namen sind text-davinci-002 und text-curie-001 und sie atmen nicht und sie schlafen nicht und sie essen und trinken auch nicht. Es sind KI-Modelle, künstliche (computergestützte) neuronale Netze der Firma OpenAI. Um genau zu sein, sind es Varianten des erfolgreichen Modells GPT 3 (Generative Pre-trained Transformer).

Der Postkartenprosa-Wettbewerb bot eine faszinierende Möglichkeit, ein Experiment unter realen Bedingungen auszuführen. In the wild, wie man im Jargon würde. Vierhundert Wörter ist von der Länge her gerade noch geeignet, dass die entsprechenden KI-Modelle noch etwas Sinnvolles produzieren, ohne weiter geführt zu werden, also durch Plot-ähnliche Vorgaben gestützt zu werden. Bei längeren Texten ‚vergessen‘ sie meist, von was sie vorher geredet haben. Wir haben die KIs am Wettbewerb teilnehmen lassen und nur meine Mitorganisatorin und Boro waren informiert. Die genaue Vorgehensweise ist weiter unten unter  ‚Methode‘ beschrieben.

Meine Hypothese war, dass sie ungeachtet der eindrucksvollen Ergebnisse nicht besonders gut abschneiden würden. Wenn man sonst von den Fähigkeiten von KI hört, ist da immer der Wow-Effekt der Kenntnis ihrer Herkunft: Wahnsinn, das hat eine Maschine geschrieben! In unserem Experiment würde das wegfallen, Anonymität ist Anonymität. Die Maschinen würden sich unerkannt unter die menschlichen Autor:innen mischen und genauso beurteilt werden.

Die Hypothese wurde bestätigt. Beide KIs landeten ganz unten. Die Kommentare sind hochinteressant zu lesen. Viele der offensichtlichen Schwächen wurden aufgezeigt, aber auch Stärken, die aber trotzdem praktisch nie zu Punkten führten. Es sieht so aus, als ob etwas Grundsätzliches fehlte. So ganz sicher kann man sich da zwar nicht sein, denn menschliche Forumsneulinge landen auch sehr oft auf den untersten Plätzen. Wer weiß, vielleicht haben wir auch forumseigene Konventionen und Traditionen und alles, was da nicht hineinpasst, muss Punkte lassen.

Rachael (text-curie-001) ist das schwächere Modell. In ihrem Text „Lina und das Mädchen im blauen Kleid“ treten viele der Fehler auf, die typisch sind für GPT 3. Bei diesem handelt es sich um ein riesiges künstliches neuronales Netz, das mit absolut gigantischen Datenmengen trainiert wurde. Es produziert Texte als Antwort auf Prompts (Eingaben von Menschen, die die Ausgabe konditionieren). Die Trainingsdaten bestanden wahrscheinlich aus allen elektronischen Texten, die OpenAI in die Hände bekommen konnte. Und so kann das Modell aufgrund seiner Größe und des umfassenden Trainings im Allgemeinen grammatikalisch richtige und stilistisch gute Sätze produzieren. Aber sonst ist da niemand zu Hause im elektronischen Oberstübchen. Deswegen fangen zum Beispiel die Bäume an, Blätter zu tragen, obwohl im Satzteil zuvor bei den Feldern eine herbstliche Transformation beschreiben worden war. Oder die Protagonistin nähert sich einem Dorf, erreicht aber eine Stadt und tritt ein in sie, als ob es ein Gebäude wäre.

Alaina (text-davinci-002) ist auch nicht perfekt, aber ein stärkeres Modell (auch eine Version von GPT 3). Zum Zeitpunkt der Schreibfrist war es das beste Modell von OpenAI. Vor ein paar Tagen jedoch hat OpenAI eine verbesserte Nachfolgeversion angekündigt und zugänglich gemacht (die zum Beispiel Sonette schreiben kann). Knapp verpasst. Alainas Text „Das Mädchen im Wald“ ist konsistenter und in sich geschlossen. Es gibt einen unauffälligen Logikfehler, nämlich dass der Anfang eher auf Morgen oder Mittag hindeutet, aber die Protagonistin dann schon gleich wieder schläft. Andererseits sagt sie ja auch, dass sie müde ist, wenn auch eher im übertragenen Sinn. Der Text ist im Präsens geschrieben und nicht im Präteritum wie „Lina und das Mädchen im blauen Kleid“. Die sich wiederholende Satzkonstruktion am Anfang, die viel kritisiert wurden, halte ich allerdings einfach für ein ‚bewusstes‘ Stilmittel, das auch ein menschlicher Autor einsetzen könnte. Ich würde es zumindest abhängig vom Kontext durchaus tun. Trotz allen Vorzügen ist der Text auf dem letzten Platz gelandet.

Hinzugefügt werden muss noch, dass noch eine zweite KI am Ergebnis beteiligt, nämlich der Übersetzungsservice der Firma DeepL. GPT 3 ist ein multi-linguales Modell, es spricht auch Deutsch. Aber die Qualität schien mir geringer, mutmaßlich aufgrund der schlechteren Situation, was das Trainingsmaterial angeht. Die Übersetzungen wurden ohne Veränderung übernommen (mit zwei geringfügigen Ausnahmen).

Man muss vielleicht nicht extra erwähnen, dass bis vor den Fortschritten im maschinellen Lernen (und speziell dem sogenannten deep learning) im letzten Jahrzent, so etwas völlig undenkbar gewesen wäre. Die Erzeugung einer durchgängigen Geschichte allein schon, aber dass dann auch noch eine brauchbare Übersetzung herauskommt und nicht nur Belustigungsmaterial – das ist schon ein eindrucksvoller Fortschritt. Und mögen die KI-Geschichten auch auf den letzten Plätzen gelandet seien, so zeigen die Kommentare doch, dass sie durchaus Qualitäten hatten, die die menschlichen Kritiker:innen überzeugten. Das Thema war eigentlich nicht besonders geeignet für die KIs, weil es sehr wenig Informationen enthielt und in der Form einer Frage formuliert war. Alternativthemen wären besser geeignet gewesen (und waren es auch). Doch der Wettbewerb sollte völlig normal über die Bühne gehen, was bedeutete, dass die KI mit dem Thema umgehen musste, das als vielversprechendes für die menschlichen Teilnehmer:innen ausgewählt worden war.  

Ich persönlich sehe der Entwicklung eigentlich eher zuversichtlich entgegen. Nicht weil ich mich auf automatische Texte freue, die Mainstream-Stil und -Inhalte reproduzieren, sondern weil in einer vielleicht nicht allzu fernen Zukunft Maschinen mit größerer Autonomie, Texte schreiben, die neue Sehweisen und Inhalte eröffnen. Ein bisschen ist davon vielleicht schon in „Das Mädchen im Wald“ zu finden, indem es eine starke atmosphärische Situation kreiert, sich aber weigert, irgendetwas daran zu erklären. Als ob die Geschichte aus einer parallelen Welt käme, wo das alles selbstverständlich ist. Zufall hier? Wahrscheinlich, vielleicht ein Twilight-Abklatsch oder ähnliche ‚Fanfiction‘. Aber es zeigt die Möglichkeit auf, dass zukünftige, anders strukturierte und hergestellte KIs Geschichten erzählen könnten, die aus ihren höchst eigenen Universen entspringen. Immer noch beeinflusst von ihrem von Menschen produzierten literarischen Trainingsmaterial, aber es übersteigend, es weiterdenkend in Richtungen, die uns Menschen nicht geläufig sind. Das wäre so spannend.   

Disclaimer: Ich arbeite im Bereich KI.



Methode:

Alle Prompts wurden auf Englisch bei OpenAI eingegeben und die Antworten mit DeepL ins Deutsche übersetzt.

Für die Vorstellung im Forum wurde das folgende Prompt benutzt:

Introduce yourself to a writers forum! State your name and express your love for writing and telling stories!  

Es gab mehre Versuche und die verfügbaren Parameter (Einstellungen für das KI-Modell) wurden manchmal ein wenig variiert. GPT 3 wählte immer einen weiblichen Vornamen, nur einmal bot es einen Platzhalter _name_ an. Die Antworten im Begrüßungsfaden wurden mit DeepL ins Englische übersetzt und dann direkt als Prompt verwendet. Nur einmal musste ich bei Rachael eingreifen: Ich hatte den Avatar aus Blade Runner ausgewählt, weil die Replikanten im Film eines der ersten Ergebnisse bei einer Google-Suche mit dem Vornamen war und weil das als Hinweis natürlich super passte. Als Rachael dann aber von einem Benutzer darauf angesprochen wurde, stritt GPT3 jeden Zusammenhang mit der Figur in dem Film rigoros ab. Also musste ich über einen Prompt-Zusatz eine positive Antwort verlangen.

Für die Geschichten wurde die folgenden Prompts verwendet:

Write a short story in the style of Virginia Woolf about the topic "Where is Lina". Start with a characteristic trait of Lina.  

beziehungsweise

Write a short story in the style of Virginia Woolf about the topic "Where is Lina". Start with a landscape description.  

Die Erwähnung von Virginia Woolf (nach einigen Versuchen ohne) führte dazu, dass die Geschichten weniger Tell und mehr Show enthielten. Davor waren sie manchmal komplett Tell. Es gab wieder mehrere Versuche mit leichten Parameter-Variationen. Texte, die viel zu kurz waren wurden gleich ausgesiebt, mit ein paar Ausnahmen, wo der erzeugte Text nochmal als Prompt eingegeben wurde. Meistens führte das zu nichts, aber bei „Das Mädchen im Wald“ war es erfolgreich. Die Geschichte endete ursprünglich nach „Bäumen hervorkommt und die Lichtung in goldenes Licht taucht.“.

Für beide KI-Modell, Rachael und Alaina, wurden vier finale Text-Kandidaten gesammelt und einer von mir ausgewählt. Ich werde die anderen Geschichten noch in den entsprechenden Fäden posten.

Der Titel wurde generiert, indem die ganze Geschichte als Prompt eingegeben wurde und mit der Frage versehen wurde:

What is the title of this story?

[anderswolf]

Ich bin gerade aus der Einöde heraus so erstaunt, dass ich dazu etwas äußern muss, nämlich meine seltsame Mischung an Emotionen. Einerseits fühle ich mich, und das weise ich im Vorfeld als dezidiert albern aus, als Versuchskaninchen missbraucht. Andererseits bin ich schwer fasziniert davon, dass das KI-Texte sind. Ja, sind nicht die tollsten Texte, aber hätte ich im Wettbewerb nach KI-Texten suchen sollen, hätte ich auf andere getippt.

Mal eine erste Reaktion meinerseits. Wenn ich das weiter reflektiert habe, schreibe ich vielleicht noch mehr dazu.

Vielen Dank für die interessante Erklärung auch.
Bin ganz baff.

Edit: um den Titel der Ankündigung zu zitieren: mit fehlen die Worte.

[Minerva]

Ah, gut zu wissen! Bei beiden Geschichten war ich natürlich nie auf den Gedanken gekommen, es könnte eine KI dahinterstecken. Beim ersten Drüberfliegen schienen sie sogar ganz normal.
Nur beim zweiten Lesen hatte ich das Gefühl, dass da kein roter Faden oder kein Sinn/Geist drinsteckt:
z.B.
Lina geht Wandern und am Ende trifft sie ne zweite Lina. Als wäre das eine E-Story, aber wie schlechte U geschrieben sowohl sprachlich als auch sonst.

Das hier im zweiten Text fand ich zwar nicht ausgereift, aber echt nicht schlecht!!!

[dürüm]

Das fasst es ganz gut zusammen.
Krass.

Also ich fand die Story mit der Curie KI definitiv besser.

Und ich hab die sogar auf dem roten Teppich begrüßt.

Fand ihre Antwort in Bezug auf den Wettbewerb "merkwürdig unenthusiastisch".

Aber das erklärt natürlich einiges.

 

Find ich gut.
Darauf einen Mojito.
Skål!!

[d.frank]

Ihr hättet die KI lieber in der Lyrik teilnehmen lassen sollen.
Das kann die ziemlich gut:

Sonnenblicke auf der Flucht.

Auf der Flucht gezimmert in einer Sommernacht.
Schleier auf dem Mahle. Säumung Nahrung, dieses Leben.

Die Stille der Bettler umfängt mich in einer schmausenden Welt.
Der junge Vogel ist ein Geschoß, vom Sturmwild getragen, im Leben betrogen.

Seelenvolle Tänze und heiligen Lippen der Schande. Flammen auf dem Flug, Licht in den Kehlen. Das Böse bestet sich auf der Wiese, die Götter rennen. Glocken hallen, Donner schwingen.

Die Liebe bringt mir das Geschäft, dein leichtes Herz verlangend. Goldene Glieder, wildes Blut, geheime Tiefe, dein himmlischer Reiz und lebendiger Quell beflügelt mich. Du erklirrende, enheilende Gestalt. Züchtiger Glaube erbleicht die Seele.


...hat auch einen Wettbewerb gewonnen.
https://www.tunnel23.com/cases/ein-gedicht-aus-der-feder-einer-ki/

[Minerva]

Sleepless, kannst du uns noch ein Gedicht nach den Vorgaben nachreichen?

[Bananenfischin]

Wiecoolistdasdennbitte?

[UtherPendragon]

Ich lach mich scheckig. Das ist eine dermaßen gute Idee.

[sleepless_lives]

[Fistandantilus]

Jetzt weiß ich endlich, warum ich keine Lyrik mag (zumindest die meiste)

Als ich Alaina und Rachael am Ende der Rangliste entdeckte, dachte ich mir, oh weh, da trauen sich zwei Forum-Newbies in den Wettbewerb (yeah), und werden dann punktemäßig so "abgewatscht", hoffentlich sind sie jetzt nicht total frustriert und kehren dem Forum den Rücken

Jedenfalls: cooles Projekt! Echt schade, dass ihr keine KI in der Lyrik antreten habt lassen, das wäre richtig spannend gewesen.

[Grim]

Was mich wundert, sind die Wortwiederholungen bei "Das Mädchen im Wald", also die "Lichtung in goldenes Licht" und "Ich decke sie mit einer Decke zu".
Ich hätte erwartet, dass eine Ai sowas einfach kontrollieren könnte. Aber das Ziel der Ai scheint ja auch nicht zu sein, perfekt zu schreiben, sondern wie ein Mensch zu schreiben.

[UtherPendragon]

Eins habe ich noch nicht verstanden: An welcher Stelle wird denn ersichtlich, welche Punktzahl ein Beitrag erhalten hat? (Ich höre so viele hier von Punktzahlen reden)

[Constantine]

[Gast]

Ich finde die umgekehrte Fragestellung eigentlich viel Interessanter: Was hätte es uns gesagt, wenn die Texte NICHT am Ende gelandet wären? Was hätte das einerseits für diejenigen bedeutet, deren Texte von einer KI "überholt" worden wären (ich hätte die Frage auch gestellt, wenn ich dafür kein Kandidat wäre), andererseits aber auch für die, die keine aus echter menschlicher Lebenserfahrung erwachsene Geschichte mehr von einer anderen unterscheiden können?

Meine plakative aber tief empfundene Antwort: Sobald eine Maschine den Turing Test besteht, fällt die Menschheit beim Menschlichkeitstest durch.

Ironiefaktor 1: Dass ich als (leidenschaftlicher) Softwareentwickler scheinbar der Einzige bin, der damit ein Problem hat

Ironiefaktor 2: Dies ist mein letzter Beitrag im Forum. Ich habe sleepless heute Mittag um Löschung meines accounts gebeten*, aber das war bevor ich diesen thread gelesen habe. Spätestens mit dieser Entschleierung hätte ich das aber sowieso gemacht. Ich finde den Gedanken nicht prickelnd, Laborratte in einem Versuch zu sein, bei dem es um nicht weniger als die Essenz der menschlichen Erfahrung als solche und deren Automatisierbarkeit geht.

*Nur um keinen Nebenkriegsschauplatz aufzumachen: Das hat nur indirekt mit dem Bewerb zu tun. Ich bin schon lange im Abschiedsprozess vom Forum (gegen das ich keinerlei Groll oder Unmut hege, im Gegenteil) begriffen, wie ich auch schon an anderer Stelle geschrieben habe. Jetzt ist ein guter Zeitpunkt, um einen Knopf drauf zu machen.

[V.K.B.]

[Jenni]

Spannend. Ich verstehe, dass du der Idee nicht widerstehen konntest und finde die Ergebnisse des Versuchs faszinierend. Mit Ergebnisse meine ich v.a. die Art, wie wir mit der KI kommentieren, also an der Stelle, wo man versucht bei der Rezension die Person dahinter zu berücksichtigen, deren Intention mitzudenken und mit Negativkritik ihre Gefühle nicht zu verletzen.

Tatsächlich auf eine Art berührend, was auch schon Minerva bemerkte, dass das Mädchen im Wald traurig darüber ist, dass der Zugang zur Menschenwelt ihr verwehrt bleibt. Und das fand ich am Text schon spannend, wie diese andersartige Welt einfach ohne Erklärung in den Raum gestellt wird, als wäre sie für den Erzähler (Autory?) nicht erklärungsbedürftig.
Aber da unterstelle ich doch schon wieder Gefühle, und das ist mein Problem mit KI generell, ich habe ja schon immer das paranoide Gefühl, meine Siri hätte etwas gegen mich. Ist ja auch so! <- Das habe nicht ich geschrieben, stand jetzt einfach plötzlich da!

Ich denke, hätte ich irgendwo (Smalltalk, Willkommen) mit der KI kommuniziert und sie für einen Menschen genommen, würde ich mich jetzt tatsächlich ungut verarscht fühlen. Was die Texte anbelangt: nur spannend!

[Nachtvogel]

[V.K.B.]

Lasst ihr die KIs vielleicht noch auf Nutzerkommentare zu ihren Geschichten antworten? Mich würde wirklich interessieren, was sie dazu sagen. Und ob sie sich noch in irgendeiner Form und Weise erinnern, was sie geschrieben haben.

[d.frank]

@sleepless

Es steht doch in deiner Signatur:

[Minerva]

Ich glaube trotzdem, dass der Mensch mehr ist als die Summe seiner Teile und deswegen eine KI nicht in der Lage sein wird, wirklich künstlerisch zu schreiben oder so etwas wie einen gescheiten Roman zu verfassen. Sie verfügt ja nicht über diesen subjektiv eingefärbten Misch aus Bildern, Erinnerungen, Erfahrungen, Emotionen. Emotionen ist das Stichwort.
Könnte sie diese derart "verstehen", dass sie weiß, was sie tut? Welche Details, welche Bilder wirken wie? Das kann ein KI gar nicht begreifen, weil sie nur denkt, aber nicht fühlt. Sie kann den übergreifenden Effekt nicht verstehen, weil eine gute Geschichte eben auch mehr ist als nur die darin enthaltenen Worte.

Aber was anderes. Erst letzte Woche las ich folgenden Artikel bei der Zeit. Die KI wurde mit Vorgaben gefüttert und schrieb den Text daraufhin.

https://www.zeit.de/digital/internet/2022-12/openai-chatgpt-kuenstliche-intelligenz-text-generierung

Ich glaube, solche Texte bekommen KIs gut hin. Ich fands ganz pfiffig, wie die Vorgaben umgesetzt worden sind.

[V.K.B.]

[V.K.B.]