NEU! Das Bewertungssystem

[Einar Inperson]

[KeTam]

Mann, macht euch doch nicht verrückt.

[Einar Inperson]

[KeTam]

[Einar Inperson]

[Jenni]

[Einar Inperson]

[holg]

[MrPink]

So, nachdem ja nun alle Unklarheiten beseitigt wurden werde ich mal ein bisschen Verwirrung stiften. Ist ja kein Fussball heute, was soll ich sonst machen.

Die Reihenfolge in der sich die Texte nun befinden ist noch nicht die finale Rangliste. Also, die Sieger bleiben natürlich auf dem Siegertreppchen, da ändert sich nix. Aber an den folgenden Platzierungen wird es noch die ein oder andere Veränderung geben. Das liegt daran, dass es sich doch auf die Platzierungen auswirkt, dass einige Teilnehmer nicht bewertet haben. Wir mussten also den Mittelwert errechnen und haben ihn bei den Siegertexten manuell hinzugerechnet. Boro wird das hoffentlich noch für die übrigen Texte ins System integrieren können. Ein wenig Restpannung bleibt uns also noch erhalten.

[MrPink]

Spannung aufgelöst, Danke Boro!

[Boro]

[holg]

Also. Jetzt, wo der Wettbewerb vorbei ist, und die Ergebnisse offen liegen, sehe ich meine Befürchtungen für das neue Bewertugnssystem eher bestätigt.
Sicher, beim alten habe ich mich schwer getan, den Texten eine subjektiv gerechte Menge Federn zukommen zu lassen und die unterschiedlichen Herangehensweisen der Befederer haben hier und da zu Überraschungen geführt.

Jetzt sehe ich das Problem vor allem in der Beschränkung auf nur zehn Texte, die man bewerten kann. So ganz leer ist kein Text ausgegangen, wenn ich das richtig gesehen habe. In den letzten Wettbewerben konnten sich einige Texte aber deswegen vorne platzieren, weil sie mit ein paar wenigen Spitzenbewertungen und einer Menge "Mittelbefederungen" im Endeffekt einen hohen Schnitt erzielt haben. Jetzt musste ich einige Texte, die nach System alt 5 bis 6 Federn bekommen hätten (und das waren heuer nicht wenige) mit 0 Punkten aus dem Rennen schicken, was nicht der Qualität des Geschriebenen entsprach.

Ich denke, dieses System ist ein Schritt in Richtung Punktekapitalismus. Es gibt einige wenige massentaugliche Renner, die wie Raketen abgehen und ein breites Prekariat, das sich mit einen Schnitt unter zwei begnügen muss. Der Punktemittelstand (früher 4-6 Federn) stirbt aus.
Ich fürchte, dass das für die Teilnehmer, die nicht weit vorne liegen, auf Dauer so frustrierend ist, dass nicht mehr so viele mitmachen werden.

Auch ist tatsächlich zu sehen, dass die oft hilfreichen Kommentare beiden schlechter bewerteten Texten relativ dünner gesät sind. Das gab's allein aus taktischen Gründen vorher nicht in dem Maße.

Jedenfalls kommt es mir so vor.

Ich gehe davon aus, dass sich das Organ-Team und Boro die Sache mal genauer ansehen und bitte dann (nehmt euch bloß Zeit, dass anständig zu machen) um eine Information.

mMn.

holg

[Piratin]

holg hat es auf den Punkt gebracht, was ich ebenfalls so sehe:
Weniger Kommentare (und die sind wichtiger als Punkte oder Federn) und das Mittelfeld kommt zum größten Teil mit 0 Punkten daher, was, wie holg ausführt, den Texten nicht gerecht wird. Wenn eine "Art" Kommentarpflicht" für alle Texte bestünde, bevor die Wertungen der besten 10 gegegeben werden könnten, dann wäre das vielleicht ein Weg. Auch als Bewerter habe ich mich mit dem neuen System unglaublich schwer getan, denn viele Texte hätten im alten System zwischen 5 und 6 Federn bekommen und so haben nur einige wenige von diesen den Sprung in die Punktewertung geschafft. Vielleicht findet sich ja ein Mittelweg?

[sleepless_lives]

[sleepless_lives]

[KeTam]

[gold]

[femme-fatale233]

Ich finde, beide Systeme haben Vorteile und Nachteile.

Vorteile des Federsystems:

- Die Anzahl der Kommentare fällt etwas gleichmäßiger aus - wobei das neue System da nicht so viel ausmacht. Früher waren halt oft die Texte besonders oft kommentiert, die ganz am Anfang oder ganz am Ende der Liste standen, heute sind es eben die, die viele gut finden.

- Wer sich nicht sicher ist, wie er mit einem Text umgehen soll, kann irgendeine mittelmäßige Bewertung vom Stapel lassen.

- Dadurch, dass die Texte so nah beeinander lagen, war es bis zum Schluss spannend.


Nachteile des Federsystems:

- Wer aus Unsicherheit eine mittelmäßige Bewertung gibt, zieht damit gute Texte runter oder wertet schlechte auf - das ist nicht der Sinn der Sache.

- Um die Federn "gerecht" zu verteilen, haben sich einige User komplizierte Systeme überlegt, wonach sie die Federn vergeben. Oft hatte ich da das Gefühl, dass vieles auf die Goldwaage gelegt wird und nicht immer unbedingt die Texte viele Federn bekommen, die die User persönlich mögen. Das neue System zwingt einfach dazu, die Texte mit Punkten zu versehen, an denen einem wirklich das Herz hängt. Das spiegelt sich auch in den Kommentaren wieder: Zu mindest unter meinem Text hatte ich nicht das Gefühl, dass die Leute, die mir Punkte gegeben haben, den zwar "objektiv gut" finden und deswegen bewerten, aber subjektiv damit nix anfangen können - im Gegenteil, da ging es sehr viel um Lieben oder eben Hassen eines Textes. Natürlich will ich damit nicht grundsätzlich diese selbstgestrickten Feder-Vergabe-Systeme verdammen, aber Literatur lässt sich eben schlecht in eine Notenskala pressen.



Vorteile des ESC-Systems:

- Wer wenig Zeit hat, muss nicht alle Texte kommentieren, sondern kann sich auf seine Favoriten konzentrieren. Trotzdem hatte ich das Gefühl, dass es kaum Leute gab, die tatsächlich nur Kommentare zu ihren Top 10 abgegeben haben. Im Gegenteil: Meiner Ansicht nach haben sich doch überraschend viele User die Mühe gemacht, alle Texte zu kommentieren.

- Man kann Favoriten klarer kennzeichnen. Die 12 ist schon eine Ehrung. Früher konnte man zwischen einem 9er und einem 8er Text weniger klar unterscheiden: Die 9 - der Favorit - die 8 ein Text, den man auch mag bzw. der einfach so gut geschrieben ist, dass er eine 8 verdient. Da liegen dann aber nur Nuancen dazwischen. Da ist der Schritt 12-10-8 und dann 7 bis 1 schon besser, weil man klarer zeigen kann, welcher Text einem am wichtigsten ist.

- Man bewertet die Texte, an denen wirklich das Herzblut hängt, und nicht alle, weil man "ja irgendwie muss" und ein Text ja "doch ganz solides Mittelfeld" ist.

- Texte, die nicht so gut sind, werden nicht mehr so mit Samthandschuhen angefasst. Früher gab es ja oft noch die Mitleidsfedern ("Ach eine eins ist doch ein bisschen arg wenig, da gebe ich drei"), das ist vorbei. Da kann man jetzt sagen, das würde Leute demotivieren und abschrecken, aber ich finde es viel schlimmer, wenn man jemandem, dessen Text man echt kacke fand, noch vorgaukelt, dass er ja gar nicht sooo schlimm war. Das ist dann das Menderes-Syndrom. Da ist es doch vielleicht für denjenigen sogar schöner, wenn 20 Leute ihm keine Punkte gegeben haben, aber von den drei Leuten, von denen es Punkte gab diese wirklich von Herzen kommen.
(Zum Menderes-Syndrom siehe: http://de.wikipedia.org/wiki/Menderes_Ba%C4%9Fc%C4%B1)


Nachteile des ECS-Systems:

- Mir persönlich fiel es sehr schwer, die Top 10 zusammenzustellen. Ich weiß viele hatten eher das Problem, dass sie gerne noch mehr Texte bewertet hätten, bei mir war es eher so, dass ich mich oft gefragt habe, ob die Texte, die ich bewertet habe, wirklich Top-10-würdig sind. Mir hätte wahrscheinlich eine Top 5 sogar gereicht - weil es ja doch im Endeffekt nur wenige Texte gibt, die man liebt. Auch die Abstufung zwischen den Treppchen (wer bekommt eine 8? Wer eine 6?) war ein bisschen schwer, wenn man mal wusste, welche 10 Texte man gerne würdigen würde. Bei den Texten, die man liebt, weiß man ja recht genau, wie viel Punkte sie bekommen, bei denen die man nur mag, wird es manchmal schon schwieriger, zu entscheiden, welcher von zwei ähnlich guten Texten den Vorzug bekommt.

-Durch die Fieberkurven ist schneller klar, welche Favoriten es gibt. Ich denke, dass (außer Vogel selbst?) sehr viele Leute schon vor Ende der Zeit wussten, dass sein Text gewinnt, eben weil die Mehrheit so eindeutig entschieden hat. Auch, glaube ich, demotiviert so eine Fieberkurve bei dem System vielleicht die Leute, ihre Punkte zu vergeben, gerade dann, wenn ein Favorit schon so klar feststeht, dass die eigenen Punkte vermeintlich nichts mehr bewirken.

- Es macht mich einfach wahnsinnig nicht mal sehen zu können, wer als letztes kommentiert hat. Ich habe wirklich alle Tricks versucht, um da was rauszukriegen. Also nichts für Neugierige.


Ich könnte mit beiden Systemen leben, fände aber ESC ein klein wenig besser. Man sollte das System auf jeden Fall noch mal bei einem Wettbewerb testen, wo die Texte nicht unter Zeitdruck entstehen - immerhin kann man bei einem Text, der im Laufe von zwei Wochen entsteht und in dieser Zeit überarbeitet und geglättet wird, eher erwarten, dass er gut ist, als bei unserem FFF. Dann wird man sehen, ob der erste und der letzte Platz auch wieder so weit auseinander liegen.

[seitenlinie]

Das Federsystem mag etwas altbacken erscheinen, aber es ist m.E. treffender und demokratischer.


Als Bewerter möchte ich die Freiheit haben, jedem Text die Punktezahl zu geben, die ich für angemessen halte.

Sind die Texte schwach bis mittelmäßig, bekommen sie nur geringe Federzahlen. Warum werde ich gezwungen,
einem Text 12 Punkte zu geben, die er nicht verdient hat? Umgekehrt genauso.

Ich bewerte jeden Text immer für sich, es geht mir nicht um eine Rangfolge. Vergebe ich mehrmals die gleiche Federzahl,
hat das nichts mir Unsicherheit zu tun.


Das neue System hingegen zwingt mir eine Rangfolge auf, die ich nicht vertreten kann.


Von der anderen Seite besehen: Jeder Text hat beim alten System die Chance, 1-9 Federn zu bekommen. Dabei zählt
nur seine Qualität und nicht die Tatsache, wie viele Federn der Bewerter noch zur Verfügung hat.

[Jenni]

Am neuen System finde ich sehr gut, dass es dazu zwingt, innerhalb des Wettbewerbs zu bewerten. (Und nicht manche Teilnehmer sich so arrogant hinstellen können, sie fänden alle Texte unter ihrer Erwartung und ihrem Niveau - und mit einem deutlich unterdurchschnittlichen Bewertungsdurchschnitt sich selbst ganz nebenbei einen Vorteil verschaffen.) Und eigentlich auch, dass man einen eindeutigen Favoriten benennen muss. Angenehm fand ich auch, dass ich mich nicht mehr in Rechtfertigungszwang für schlechte Bewertungen sah, sondern mich stattdessen mehr mit den Texten, die mir gut gefielen, beschäftigen konnte.
Auch, dass man bei Unsicherheit entscheiden muss, hop oder top, statt einfach "Ich weiß nicht recht, ich geb mal fünf"-Federn zu vergeben. (Und ich hatte solche Bewertungen oft, aufgrund von "ich versteh das zwar nicht, aber ich glaube, dass es gut ist", auf die verzichte ich freiwillig.)

Nicht so gut, dass einige eben nun doch nicht mehr alle Texte kommentieren. Vielleicht könnte man dazu zumindest deutlich Stellung beziehen, also die Leute dazu auffordern, möglichst alles zu kommentieren? Wobei mir die "Kommentar um zu Befedern, näheres auf Anfrage"-Kommentare jetzt auch nicht wirklich abgehen.

Und eventuell fände ich es auch besser, man hätte eine feste Anzahl Punkte, die man nach eigenem Ermessen auf die Texte verteilen kann. Vorausgesetzt, das führt nicht wieder zu lauter so Verlegenheits-mittelgut-Bewertungen.
Der größte Unterschied zum Eurovision ist ja nämlich, dass man als Einzelperson dort eben genau einen Favoriten benennt. Die Top 10 sind ja schon die Durchschnittsmeinung eines Landes. Dieses Top 10-System genau auf die eigenen Vorlieben bezüglich der gegebenen Texte zu adaptieren, das fand ich enorm schwer, und es bildet am Ende auch nicht meine tatsächliche Einschätzung ab.

[Einar Inperson]

Hallo,

in meiner Lesart hat das neue Bewertungssystem gezeigt, dass es nicht auf das System ankommt.

Die guten Texte sind oben, die schlechten Texte sind unten.

Sollte jemand im Einzelfall seine Punkte aus taktischen Gesichtspunkten vergeben wollen, kann er das in jedem System machen. Aber an den Ergebnissen der Wettbewerbe, an denen ich teilgenommen habe, erkenne ich, dass es entweder nicht vorkommt, oder aber keine Auswirkungen hat.

Viel wichtiger ist mir, wie es umgesetzt werden kann, dass mehr Teilnehmer und auch Nichtteilnehmer die Texte kommentieren.

Nicht nur, dass die Autoren, denke ich, mit Spannung und Interesse die Kommentare lesen. Auch die Kommentatoren machen ihre Lesart und ihre Irrtümer offenbar. Mir ist das wichtig, dass ich, wenn ich andere Texte bewerte und im neuen System mit 0 bewerte, in meiner Entscheidung auch in Frage gestellt werden kann.

Ein Blick in die Zukunft:
Wäre es ein Problem, wenn bei folgenden Wettbewerben tatsächlich Nullnummern zum Schluss herauskommen? Ob es wirklich darauf ankommt, wenn das Ergebnis 1,9 Federn oder 0 Punkte aussagt? In einem Ranking gibt es keine Schönrednerei. Durchgefallen ist durchgefallen.

Vorausgesetzt diese Texte (aus meiner Sicht, als stets am Ende rumkrebser,  natürlich nicht ganz ohne Eigennutz ) werden auch hinreichend kommentiert.

[Rainer Zufall]

Hallo Einar, an deinem Beitrag ist mir einiges aufgefallen, was ich z. T. gänzlich anders sehe, wollte es einfach mal zur Diskussion stellen:

Einar schrieb: