Vorlieben-Statistik

[sleepless_lives]

Hier ist wieder der statistische Blick auf die Texte mit Hinsicht auf Bewertertendenzen. Ich recycle wieder einmal für die Erklärung weitgehend das, was ich bei früheren Wettbewerben geschrieben habe:

Es handelte sich um eine statistisches Verfahren, das Bewertungen analysiert.  Die Methode heißt MDPREF (Jackson, J.E. (1991). A User's Guide to Principal Components. John Wiley & Sons) und ist Teil einer Gruppe von statistischen Verfahren, die als Multidimensionale Skalierung bezeichnet werden (die Details spare ich uns hier).

Die Methode versucht, rein rechnerisch Faktoren zu bestimmen, die das Verhalten der Bewerter ausgemacht haben, indem sie Übereinstimmungen und Kontraste im Bewerterverhalten analysiert. Die Faktoren muss man aber selbst interpretieren. Hätten wir 47 verschiedene Schokoladenarten bewertet, hätte sich z. B. herausstellen können, dass der entscheidendste Faktor die Süße <---> Bitterkeit-Achse ist. Manche Leute bevorzugen süße Schoklade und lehnen bittere ab, bei anderen ist es umgekehrt. Das statistische Verfahren hätte die Schokoladensorten einfach nur auf der horizontalen Achse in der Graphik in einer bestimmten Weise angeodnet, aber irgendein Experte würde sicher feststellen, Moment mal, je bitterer die Schokolade ist, desto weiter rechts steht sie, je süßer, desto weiter links (oder umgekehrt).

Leider kann man graphisch nur zwei Faktoren gut darstellen. Den ersten auf der horizontalen Achse, den zweiten auf der vertikalen. Vor mehr Erklärungen hier erstmal die Graphik mit der Legende darunter.






a: Himmel_Ohnemond                      1: Nihil
b: Auf_dem_Tisch                        2: Lorraine
c: Der_Nachtfahrer                      3: Nemo
d: Und_immer_Nacht                      4: Literaettin
e: Selina_und_ich                       5: Constantine
f: Seite_der_Pflanzen                   6: firstoffertio
g: Wenn_Lichter                         7: Lilly_Winter
h: Violinenkoffer                       8: type
i: Ein_Feuer_inmitten                   9: crim
j: Affenliebe                           10: Akiragirl
k: Der_Schlund                          11: rieka
l: Neumond                              12: Mermaid
m: Licht_im_Dunkel                      13: Jenni
n: Aloysius_trinkt                      14: hobbes
o: Es_werde_Dunkel                      15: Jack_Burns
p: Koenigin_der_Nacht                   16: Ruebenach
q: Enantiodromia                        17: Bananenfischin
r: Das_Oelbild                          18: Einar_Inperson
s: Fremdwelt                            19: weltensegler
t: Seitenseiltanz                       20: Seraiya
u: Zwielicht                            21: Ketam
v: Vier_Tage                            22: Laurids_Anders
w: Nimm_die_Nacht                       23: Ithanea
x: Abs_laesst                           24: Stimmgabel
y: In_den_Schatten
z: Freischwimmer                        26: Babella
α: Dr_Hyde                              27: Lapidar
β: Gemeinsame_Sache                     28: nebenfluss
γ: Inseln                               29: holg
δ: Augen_zu                             30: anuphti
ε: Der_Faenger_von                      31: Tjana
ζ: Aequinoktium                         32: Piratin
η: Klinisch_und
θ: Traumgefluester                      34: Ashcloud
ι: Irgendwo                             35: tronde
κ: Schlafstoerungen                     36: Oktoberkatze
λ: Endymion_im                          37: V_K_B
μ: VeraenderteTatsachen                 38: Kopfkino
ν: Andererseits                         39: shatgloom
ξ: Traumlande
ο: Sie                                  41: nothingisreal
π: Nachtseite_in                        42: gold
ρ: Veni_vidi_vici                       43: Amaryllis
ς: Nachtlauf                            44: lunapinki
σ: Endlosschleife                       45: Giesskanne
τ: Die_Schlucht                         46: HerbertH
υ: Nachtlos                             47: hypnobader
                                        50: Gefuehlsgier
                                        51: Abari
                                        52: Aneurysm
                                        53: Heidi
                                        54: drusilla


Erst einmal zu den Texten:
Texte, die nahe beieinander liegen, wurden von den Bewertern offensichtlich als ähnlich angesehen, zumindest was die ersten beiden Faktoren angeht.  Die Faktoren selbst sind nicht einfach zu interpretieren. Der erste gibt (nicht überraschend) zum Teil die finale Rangfolge wieder. Für die Interpretation wirft man am besten einen Blick auf die Extreme, also für Faktor 1 (horizontal), was ganz rechts und ganz links steht.  Texte a, b, c und d haben etwas, das viele Bewerter schätzen, und das die Texte ganz links eher umgekehrt machen. Man erinnere sich an das Beispiel von oben mit der Schokolade für eine Analogie. Faktor 2 (vertikal) unterscheidet zwischen auf der einen Seite der Gruppe a, b,  i und auf der anderen Seite den Texten c, e h und schon weniger deutlich n und g.
Im Zentum gibt es eine Wolke von Texten, deswegen hier ein Ausschnitt mit den Details:



Das Verfahren kann diese Texte nicht mehr richtig trennen, was im Wesentlichen wohl daran liegt, dass wir zwar 49 Bewerter haben, also genug für 47 Texte, aber nur die besten 10 Texte bewertet werden konnten. Es spiegelt also in gewisser Weise das ungute Gefühl wider, das viele Bewerter geäußert haben, dass sie nicht genügend differenzieren konnten und zu vielen Texten 0 Punkte geben mussten.

Die Interpretation von Faktor 1 (horizontal) ist schwierig. Es scheint einfach erfolgeiche von nicht erfolgreichen Texten zu trennen. Aber wir würden ja gerne wissen, was das ist, ohne weitere Hinweise ist es trivial, wir kennen es ja schon von der Punktereihenfolge. Der zweite Faktor (vertikal) hingegen ist aufschlussreich: Zumindest was die Texte a bis h angeht scheint er mir komplexe Texte ohne direkt nachvollziehbare Handlung von eher linearen Geschichten mit direkter emotionaler Wirkung zu trennen. Das ist aber nur eine Meinung und diskutabel.  


Nun zu den Bewertern:
Die grünen Pfeile geben eine Richtung an. Das ist die Richtung, in die der entsprechende Bewerter den idealen PKP-2016-Text zum gegebenen Thema sehen würde. Es fällt auf, das manche Bewerter in ihrem Urteil sehr nahe beieinander liegen, aber insgesamt gibt es eine beachtliche Streuung, jedoch mehrheitlich nur über eine Hälfte des Kreises. Bei denen, die sehr nahe nebeneinander sind, würde ich jetzt nicht gleich eine Seelenverwandtschaft annehmen, aber doch sehr ähnliche Vorlieben, was die Geschichten dieses Wettbewerbs angeht. Klarerweise gewinnt der Text, der in die Richtung geht, die die meisten vorziehen. Im Gegensatz zum letzten Zehntausend-Wettbwerb scheint es diesmal zwei erkennbare Richtungen zu geben: Südost und Ostnordost, wenn man die Kompassanalogie benutzt. Zusammen mit auch noch recht zahlreichen Bewertern zwischen den beiden Gruppen, haben sie über den Gewinn entschieden.



Einschränkend muss Folgendes gesagt werden:  

(1) Der erste Faktor erklärt 16,1 % der Varianz, der zweite 8,8 % der Varianz. Zusammen machen sie also weniger als 25 % der Variabilität in den Bewerter-Urteilen aus. Das ist lausig. Der dritte Faktor, den ich nicht mehr einfach graphisch darstellen kann, liegt bei 7,1. % und ist damit nur wenig wichtiger wie der zweite und das macht es nicht gerade besser. Danach kommen noch jede Menge andere sehr kleine Faktoren.  
Das bedeutet,  
a) wie wir sowieso schon wissen, dass die Bewerter sich kaum mit ein paar wenigen Kriterien über einen Kamm scheren lassen. Das mehrdimensionale Gesamtbild wäre um einiges komplexer oder in anderen Worten, es gibt noch eine Menge Unterschiede innerhalb der Texte und der Bewerter, die mit nur zwei Faktoren nicht erfasst werden.   
b) wie schon oben erwähnt, wegen der vielen erzwungenn 0-Punkte-Bewertungen gerät das Verfahren in zusätzliche Schwierigkeiten. Es hat einfach nicht genug Material bei den Texten in der unteren Häfte der Punkterangordung.

(2) Ich musste eine Bewertung bestimmen, die die Bewerter, die auch Autoren sind (die meisten), ihren eigenen Texten geben würden (es darf keine fehlenden Werte geben). Man könnte natürlich sagen 14 Punkte, denn sie haben ihren Text so geschrieben, wie sie ihn gern hätten. Das trifft es aber nicht, denke ich. Viele wollen anders schreiben, als sie können. Also habe ich einen Durchschnittswert angenommen (Bewertungssumme geteilt durch Anzahl der Texte) = 1,23. Unterschiede im Ergebnis je nach Wahl dieses Wertes sind vorhanden.

[Nihil]

Das habe ich ja völlig übersehen. Da schau ich gleich mal genauer hin. Danke für die Arbeit, die du dir gemacht hast, sleepless.

Im Vergleich zum letzten 10k finde ich interessant, dass der erstplatzierte Text (a) ungefähr an der gleichen Stelle positioniert ist (und dass ich wieder Texte gemocht habe, die so gerade unter der horizontalen Linie liegen). Man darf aber wohl kaum davon ausgehen, dass die entsprechenden Faktoren jeweils reproduzierbar sind, oder? Man könnte ja durchaus auch die Meinung vertreten, dass zum Beispiel „Stimmigkeit“ oder der „Grad zwischen Detail und Lücke“ bei jeder Bewertung eine Rolle spielen.

[Jenni]

Interessant, dass die meisten Texte eine Nullwolke bilden und dann einzelne so hervorstechen. Ist das bezüglich aller Faktoren so (liegt also einfach nur am Bewertungssystem in Anwendung auf die Vielzahl an Texten)?
Auch interessant: dass Faktor eins so praktisch einstimmig positives Qualitätsmerkmal ist, bzw. Texte auch nur in eine Richtung deutlich vom Durchschnitt abweichen, während bei Faktor 2 die Vorlieben sehr variieren. Faktor 1 muss also etwas klarer zu definierendes sein als Faktor 2?

Aber du hast recht, interpretieren lässt sich das wohl eh kaum, wo so viele Bewerter so stark unterschiedliche Favoriten hatten.