Wie benote ich fair? FAQ zum Bewertungssystem.

[Postkartenprosa]

Die hohe Kunst der Befederung

F: Was sind Federn?
A: Federn spiegeln die Wertung des Textes von 1 bis 9; wenig Federn schlechter Text, viele Federn guter Text.


F: Wie erfahre ich welcher Text von wem ist?
A: Während des Wettbewerbs bleiben alle Text anonym, d.h. alle werden vom Anonymhelfer "Guy Incognito" veröffentlicht. Erst nach Bewertungsende, erfährst Du welches Werk aus wessen Feder stammt.

F: Ab wann kann ich werten?
A: Sind alle Beiträge online können sie erst nach Abgabe eines Kommentars befedert werden.


F: Gibt es eine Legende, wieviele Federn was bedeuten?
A: Nicht konkret. Eine einzelne Feder könnte deine Aussage sein für „grottenschlechter Text“. Welcher Text und ob überhaupt ein Text das verdient hat, liegt im Auge des Betrachters. Genauso wie neun Federn für den einen bedeuten können „bester Text in diesem Wettbewerb“; ein anderer Werter sieht hingegen die erbrachte Leistung losgelöster vom Wettbewerb und verleiht mit neun Federn die Auszeichnung „wahrlich perfekt, veröffentlichungswert, ausgezeichnet“. Daher ist ein allgemeingültiges Raster schwer möglich, da jeder anders an die Beurteilungen herangeht.

F: Kann ich meinen eigenen Text bewerten?
A: Selbstverständlich nicht. Einige lassen es sich aber nicht nehmen, ihren eigenen Text zu kommentieren, der Gaudi halber und um vor allzu genauen Beobachtern zu verschleiern, welcher einzige Text unbewertet bleibt - könnte ja ein Hinweis auf den eigenen Text sein. Ums Eck gedacht. Kurz: Eigenen Text bewerten nein, kommentieren ja

Verdachtsmomente auf strategische Abwertungen von Konkurrenztexten werden von der Administration und dem Wettbewerbsteam übrigens genauestens verfolgt, genauso wie mögliche Zweitnicks überprüft werden.

F: Ich habe nicht selbst mitgeschrieben – kann ich trotzdem bewerten?
A: Man muss nicht selbst beim Wettbewerb mitgeschrieben haben, um bewerten zu können. Im Gegenteil, wir möchten alle Mitglieder des DSFo auffordern, mit kritischem Blick zur Ermittlung der Sieger beizutragen.

F: Ich habe mich verklickt oder möchte meine Wertung korrigieren – geht das?
A: So lange die Bewertungsfrist nicht abgelaufen ist, kann man die schon vergebene Federnzahl mehrmals ändern. Nicht aber den Kommentar, falls bereits ein weiterer nach dem deinen hinterlassen wurde. Möchtest du noch etwas hinzufügen, hinterlasse einfach einen weiteren Kommentar.

F: Kann ich die abgegebenen Federn anderer Bewerter sehen?
A: Im laufenden Wettbewerb sind aus Gründen der Fairness weder die abgegebene Federnanzahl noch die hinterlassenen Kommentare sichtbar. Erst nach Ablauf der Bewertungsfrist werden die Kommentare eingeblendet.

F: Bis wann habe ich Zeit die Texte zu lesen und zu bewerten?
A: Die Bewertungsfrist endet am Sonntag, den 8. April 2012 um 19.00 Uhr.



Regeln, Kriterien und alles was man besser weiß


F: Gibt es Bewertungskriterien die ich beachten muss?
A: Jeder Wettbewerb bringt erneut die Diskussionen der Bewertungskriterien auf den Tisch. Wie viel der Vorgabe muss im Text verarbeitet sein? Gibt’s Disqualifizierungsgründe? Wie gewichte ich meine Federn? Teilweise können Texte, die die eigentlichen Anforderungen nicht oder nur knapp nicht erfüllen (etwa durch falsche Einbindung von Pflichtwörtern) vom Organisationsteam aus Kulanz doch zugelassen werden. In diesen Fällen bitten wir die Bewertenden, Fehler mit drastischem Federabzug zu strafen.



F: Mach ich auch alles richtig?
A: Bestimmt. Löst Euch auch dieses Mal von allen Zwängen. Schließt die Augen, vergesst für einen kurzen Moment wo ihr seid, horcht in Euch hinein, ringt Schweinehunde und innere Klugscheißer nieder.



Der Ton macht die Musik


F: Die Anonymität hemmt mich / verleitet mich.
A: Kritisiere mindestens in den Worten, in denen Du selbst kritisiert werden möchtest. Vulgärsprache hat hier nichts verloren. Ein selbstgefälliges „Und jetzt?“ oder „Was bitte soll das sein?“ ist weder nett, noch konstruktiv. Kommentare dieser oder ähnlicher Art lassen keine Rückschlüsse auf Kompetenz oder Souveränität des Bewerters zu. Man muss keinesfalls bauchpinseln oder seine Kritik in Watte packen um seine aufrichtige Meinung kund zu tun; ist man nicht angetan von einem Werk bleibt einem immer noch die sachliche Ebene! Kommentare wie die obigen hinterlassen immer einen schalen Beigeschmack und manchem Teilnehmer vermiesen sie noch lange Zeit den gesamten Wettbewerb.

F: Ich bin blutiger Anfänger, ich kann das doch gar nicht!?
A: Galadriel sagt, jeder kann kommentieren, denn auch der Kleinste vermag den Lauf der Welt zu ändern. Welches Gefühl hattest du beim Lesen des Textes? Warst Du nach drei Sätzen genervt, fandest Du die Geschichte spannend, witzig, charmant und flüssig, unlogisch, überfrachtet oder langweilig, musstest du vielleicht alles dreimal lesen um zu verstehen?
Auch der persönliche Geschmack entscheidet, allerdings sollte hier gründlich abgewogen werden: hat der Autor sämtliche Vorgaben erfüllt, einen fehlerfreien Text abgeliefert und einen runden und in sich schlüssigen Handlungsstrang gefunden? Dann wäre eine sehr niedrige Wertung nicht gerecht, nur weil der Text nicht in deinem Lieblingsgenre angesiedelt ist.

F: Mir ist das viel zu viel Arbeit, ich möchte nur meine Federn abgeben!?
A: Je nachdem wie viele Beiträge eingereicht werden, kann die Bewertung aller Texte eine Lebensaufgabe sein. In der Vergangenheit benutzten einige Bewerter folgenden Text, um federn zu können: „Neutraler Kommentar um federn zu können.“ Sechs Wörter.
„Unlogisch, sehr aufgesetzt, einige Rechtschreibfehler, daher unteres Drittel.“ Oder „Kreativer Handlungsstrang, sehr flüssig zu lesen, ein Favorit!“, wären auch nur sieben bzw. acht Wörter.
Kurz: Jeder Teilnehmer wünscht sich Rückmeldung; diese Rückmeldung muss aber keine Facharbeit werden um die abgegebene Federanzahl zu begründen. Je detaillierter, desto verständlicher - natürlich (in den meisten Fällen^^)


(Dank an Maria für die Übersicht.)

[Postkartenprosa]

Dass ihr fair bewertet, ist eine Sache. Jedoch muss auch das System fair sein. Daher für alle Interessierten hier eine Erklärung der Funktionsweise unseres Bewertungssystems:


Höhere Mathematik – das alpha-getrimmte Mittel
Die folgende Erklärung zur Ermittlung des Federwertes ist eine freundliche Leihgabe von Sleepless_lives (<- dies ist eine Quellenangabe):


.......................................................................
Boro hat für die Ermittlung einer einzigen charakteristischen Zahl aus den ganzen Bewertungen für einen beliebigen Text das alpha-getrimmte Mittel gewählt. Das wird dir jetzt wahrscheinlich auch nicht so weiterhelfen.

Ok, nehmen wir an, wir haben als Bewertungen zweimal 6 Federn, einmal 7 und einmal 8.
Der Mittelwert (normalerweise die zuverlässigste Charakterisierung) ist Summe_der_Bewertungen geteilt durch Anzahl_der_Bewertungen, also 27 / 4 = 6,75

Nun betritt ein missgelaunter Zeitgenosse die Bühne (oder auch nur jemand mit radikal abweichendem Geschmack) und gibt nur eine Feder. Wegen der geringen Anzahl von Bewertungen (alles unter 10 gilt in der Statistik als extrem klein) hat diese eine Bewertung einen überproportionalen Einfluss auf das Endergebnis, nämlich, 28 / 5 = 5,6. Die endgültige Bewertung liegt unter allen Einzelbewertungen mit Ausnahme der unseres missgelaunten Zeitgenossen.

Nun, ruft jemand mit Statistikkenntnissen, das ist doch wohlbekannt, dass der Mittelwert nicht gut ist wenn n (Anzahl der Beobachtungen = Bewertungen) klein ist. Da, so der Statistikenner, nimmt man den Median.
Der Median ist der Einzel-Wert, den man bekommt, wenn man alle Bewertungen der Größe nach sortiert, also
1, 6, 6, 7, 8
in unserem Beispiel und den nimmt, der sich in der Mitte befindet, also die 6. Wunderbar. Man schaut noch in der statistischen Fachliteratur nach und in der Tat, es wurde gezeigt, dass der Median die beste Kennziffer ist bei kleinem n. Alle sind glücklich und tanzen um ein Freudenfeuer.

Dann schaut Boro sich die Wettbewerbsergebnisse an und natürlich finden sich jede Menge Texte auf dem selben Rang. Beim letzten FFF hätte es z.B. mindestens drei Gewinnertexte mit einer einheitlichen Endbwertung von 7,0 gegeben. Und da drunter hätte es noch schlimmer ausgesehen. Was tun?

Eine der Alternativen ist das alpha-getrimmte Mittel. Die Idee ist, wir gehen zurück zum Mittelwert, aber wir schließen die Extreme aus. Und zwar unabhängig, wie extrem sie sind, und von beiden Seiten.
Wir ordnen sie wieder der Reihe nach an
1, 6, 6, 7, 8
und nehmen die äußeren Werte weg. Wie viele sagt uns das alpha, dass wir vorher festgelegt haben. Sagen wir hier im Beispiel 20%, dann fällt genau ein Wert weg und wir kriegen
6 6 7
Mittelwert davon ist 19 / 3 = 6,3