TechCrunch Japanから（もともとのYouTubeのエントリー、TechCrunchの原文）：

YouTubeが5つ星級の発見：評価システムは無意味だった

これは、YouTubeのビデオをユーザーがどう評価しているかを表したものだ。ご覧のとおり、1つ星が少しと大量の5つ星があって、2、3、4は事実上ゼロだ。

YouTubeが自ら認めた点とグラフまで出してくれた点が面白いが、単純なレーティングシステムがうまくいかないというのは広く知られている。大きな問題はユーザーが現在までの平均点が自分の評価より下の（上の）場合は最高点（最低点）をつけて自分の評価に近づけようとすることだ。例えば、あるユーザーが好みのタレントの動画を4点だと評価しているとする。ユーザーは4点をつけるべきだが、その動画に対する世間の評価が2点であれば、多くのユーザーは5点をつけることで評価を釣り上げようとする。

この問題への対策でパッと思いつくものを（互いに重なる部分も多いが）いくつか挙げる：

• 得点操作を困難にする
• ユーザーが配分できるポイントに制限を設ける
• ユーザーに正確なレーティングを行うインセンティブを与える
• レーティングを困難にする

得点操作を困難にする

統計値の操作を困難にする方法でまず浮かぶのはメジアン（中央値）やモード（最頻値）だろう。共に統計量として外れ値に対して頑強だ。同様に上のような得点分布を示してもよい。ここのユーザーが分布から評価を把握できる。

しかし、結局のところ上のような分布になってしまうのであればこれらの方法はあまり意味が無い。メジアンもモードも5点になることがほとんどだろう。分布もあまり参考にならない。

それに対し、Diggやredditのようなソーシャルニュースサイトは各記事の評価について二種類の反応しか用意していない。ユーザーがあるストーリーが過小評価されているか、過大評価されているかだけを判断する。stackoverflowではVoteだけだ（しかもある程度の活動をしない限り行使することができない）。これらも得点操作を困難にする方法の一つだ。登録ユーザーは一つしか数値を動かすことができず、同じストーリーを何度も評価できないため総数に影響を及ぼすことはできない。点数方式のレーティングとは異なり数字が質を示すわけではないが、どれだけの人が興味を持ったかを知ることができる。ニュースが対象であればこれは妥当な指標だ。YouTubeにおいても閲覧数がこの機能を果たしていると思われる。

ユーザーが配分できるポイントに制限を設ける

レイティングにこだわるのであれば何らかの方法でポイントに制限を掛ける必要がある。Slashdotなどで採用されているモデレーションシステムだ。ユーザーのコメントは最初決まったポイントを持っているが、モデレーターによってそれが上がったり下がったりする。モデレーターはサイトでの活動によって割り振られ、さらにモデレーターをさらにメタモデレーターが評価することで質の維持を図っている。この方法はすでに多くの常連ユーザーがいない場合、運営者自身がモデレートを行う必要がある。

Amie Streetにおける推薦も同様な効果を持っている。推薦できる回数が限られている。この場合には推薦した曲がその後どの程度人気が出たかでクレジットの付与も行われるため、次のインセンティブとの合わせ技になっている。

ユーザーに正確なレーティングを行うインセンティブを与える

インセンティブというとお金を支払うように聞こえるがそうとは限らない。ソーシャルネットワークを用いるのがいい例だ。例えばYelpでは個々のユーザーの得点の付け方に制限はない。しかし多くの利用者は正確なレーティングを行っている。これはYelp内にネットワークが形成されていて、個々のユーザーはその中で有意義な活動を行おうとしているためだ。例えば私が5と1ばかりをつけていたらそれが個人のページに表示される。それを見た他のユーザーは私のレーティングを信用しないだろうし、友達として登録することもない。YouTubeでもユーザー名は表示されるが単にIDとして機能しているに過ぎない。ユーザーはそのIDの評判を気にすることもないのでレーティングが機能しない。本人確認をするのも有効だろう。

レーティングを困難にする

レビューサイトなどでよく見られるのがレーティングと共にコメントを残すというものだ。これもレーティングを正確に保つのに効果的である。例えレーティングが高くてもコメントがなかったりコメントとレーティングの一貫性がなければそのレーティングにはあまり意味がないと判定できる。レーティングまでにある程度の活動が必要なパターンもこれに該当する。ショッピングサイトであれば実際に品物をそこで購入したかを示すことも含まれる。

その他

YouTubeの場合には単にどの動画が面白いかさえ判定できればよいが、AmazonやYelpのように評価される対象が得点操作を行う動機をもっている場合、有効なレーティングシステムはより困難になる。実際、これらのサイトは多くの方式を同時に採用している。