「メカニズム」タグアーカイブ

出会い系最適メッセージ

投稿日時: 投稿者:

オンラインデーティングサイト（出会い系？）のOkCupidのブログより：

Online Dating Advice: Exactly What To Say In A First Message « OkTrends

We analyzed over 500,000 first contacts on our dating site, OkCupid. Our program looked at keywords and phrases, how they affected reply rates, and what trends were statistically significant.

サイト上でやりとりされたメッセージの簡単な分析を行っている。母集団は、送り手と受け手が最初にやりとりしたメッセージだ。独立変数は返事があったかどうかで、従属変数はメッセージ内での特定の単語の有無だ。

記事中で挙げられている、返信率を挙げるコツは以下の通りだ：

  1. きちんとした英語を書く
  2. 身体的な賛辞を避ける
  3. 変わった挨拶をする
  4. サイト外で交流しようとしない
  5. はっきり明確にする（e.g. 文学に興味があるではなく、メタルが好きだとか）
  6. （男性であれば）謙虚にする
  7. 宗教から離れる

1は当たり前か。2は言葉で伝えるとあからさますぎるのでうまくいかないのだろう。3は現実でも同じ。4は最初のメッセージとしては怪しすぎる。5は興味の内容というよりも、相手のプロフィールなどを読んでいるかどうかか。6は解釈が難しい。オンラインだと誰もが堂々としているので謙虚にすることが（現実とは異なり）プラスになる可能性や謙虚であることは（現実同様）とりあえず反応する程度の理由にはなる（がどこにもたどり着かない）可能性が考えられる。7はオンラインでの布教が現実よりも簡単なのでより悩ましいかデーティングサイト利用者に宗教的でないひとが有意に多いかだろう。前に触れたアメリカ一般の無神論者に対する反応とは乖離している。

god-chart調査方法による可能性もある。（口頭ないし書面で）聞かれれば宗教は大事だというが、いざ異性を選ぶ際にはまったく気にしていないというパターンだ。

もちろんこの調査は欠点だらけだ。例えば、

  • デーティングサイト利用者が社会全体を代表していない
  • デーティングサイト自体、賢い探出会い方とは言えない
  • 最初のメッセージに返事をもらうことは直接の目標ではない
  • 他の要素が返信率と各メッセージに相関しているだけで因果関係がない

などいくらでも考えつく。最後の欠点だけ説明すると、例えばきちんとした英語を書かない人が望ましくない集団に多いだけで変な英語それ自体は問題ではないかもしれないということだ。これは変わった挨拶が望ましいとされているところを見るととてもありえそうだ。プロフィールが非常にまともなのにアホっぽい英語を混じるのは変わった人間というシグナルを送るのでプラスの効果が期待できるだろう。

レーティングを機能させる方法

投稿日時: 投稿者:

TechCrunch Japanから（もともとのYouTubeのエントリー、TechCrunchの原文）：

YouTubeが5つ星級の発見：評価システムは無意味だった

PMF of Ratings on Youtube

これは、YouTubeのビデオをユーザーがどう評価しているかを表したものだ。ご覧のとおり、1つ星が少しと大量の5つ星があって、2、3、4は事実上ゼロだ。

YouTubeが自ら認めた点とグラフまで出してくれた点が面白いが、単純なレーティングシステムがうまくいかないというのは広く知られている。大きな問題はユーザーが現在までの平均点が自分の評価より下の（上の）場合は最高点（最低点）をつけて自分の評価に近づけようとすることだ。例えば、あるユーザーが好みのタレントの動画を4点だと評価しているとする。ユーザーは4点をつけるべきだが、その動画に対する世間の評価が2点であれば、多くのユーザーは5点をつけることで評価を釣り上げようとする。

この問題への対策でパッと思いつくものを（互いに重なる部分も多いが）いくつか挙げる：

  • 得点操作を困難にする
  • ユーザーが配分できるポイントに制限を設ける
  • ユーザーに正確なレーティングを行うインセンティブを与える
  • レーティングを困難にする

得点操作を困難にする

統計値の操作を困難にする方法でまず浮かぶのはメジアン（中央値）やモード（最頻値）だろう。共に統計量として外れ値に対して頑強だ。同様に上のような得点分布を示してもよい。ここのユーザーが分布から評価を把握できる。

しかし、結局のところ上のような分布になってしまうのであればこれらの方法はあまり意味が無い。メジアンもモードも5点になることがほとんどだろう。分布もあまり参考にならない。

Digg

それに対し、Diggやredditのようなソーシャルニュースサイトは各記事の評価について二種類の反応しか用意していない。ユーザーがあるストーリーが過小評価されているか、過大評価されているかだけを判断する。stackoverflowではVoteだけだ（しかもある程度の活動をしない限り行使することができない）。これらも得点操作を困難にする方法の一つだ。登録ユーザーは一つしか数値を動かすことができず、同じストーリーを何度も評価できないため総数に影響を及ぼすことはできない。点数方式のレーティングとは異なり数字が質を示すわけではないが、どれだけの人が興味を持ったかを知ることができる。ニュースが対象であればこれは妥当な指標だ。YouTubeにおいても閲覧数がこの機能を果たしていると思われる。

ユーザーが配分できるポイントに制限を設ける

Slashdot

レイティングにこだわるのであれば何らかの方法でポイントに制限を掛ける必要がある。Slashdotなどで採用されているモデレーションシステムだ。ユーザーのコメントは最初決まったポイントを持っているが、モデレーターによってそれが上がったり下がったりする。モデレーターはサイトでの活動によって割り振られ、さらにモデレーターをさらにメタモデレーターが評価することで質の維持を図っている。この方法はすでに多くの常連ユーザーがいない場合、運営者自身がモデレートを行う必要がある。

Amie Streetにおける推薦も同様な効果を持っている。推薦できる回数が限られている。この場合には推薦した曲がその後どの程度人気が出たかでクレジットの付与も行われるため、次のインセンティブとの合わせ技になっている。

ユーザーに正確なレーティングを行うインセンティブを与える

Yelp

インセンティブというとお金を支払うように聞こえるがそうとは限らない。ソーシャルネットワークを用いるのがいい例だ。例えばYelpでは個々のユーザーの得点の付け方に制限はない。しかし多くの利用者は正確なレーティングを行っている。これはYelp内にネットワークが形成されていて、個々のユーザーはその中で有意義な活動を行おうとしているためだ。例えば私が5と1ばかりをつけていたらそれが個人のページに表示される。それを見た他のユーザーは私のレーティングを信用しないだろうし、友達として登録することもない。YouTubeでもユーザー名は表示されるが単にIDとして機能しているに過ぎない。ユーザーはそのIDの評判を気にすることもないのでレーティングが機能しない。本人確認をするのも有効だろう。

レーティングを困難にする

Rotten Tomatoes

レビューサイトなどでよく見られるのがレーティングと共にコメントを残すというものだ。これもレーティングを正確に保つのに効果的である。例えレーティングが高くてもコメントがなかったりコメントとレーティングの一貫性がなければそのレーティングにはあまり意味がないと判定できる。レーティングまでにある程度の活動が必要なパターンもこれに該当する。ショッピングサイトであれば実際に品物をそこで購入したかを示すことも含まれる。

その他

YouTubeの場合には単にどの動画が面白いかさえ判定できればよいが、AmazonやYelpのように評価される対象が得点操作を行う動機をもっている場合、有効なレーティングシステムはより困難になる。実際、これらのサイトは多くの方式を同時に採用している。

CentMail

投稿日時: 投稿者:

スパム対策の一つとして定期的に話題になるメールへ課金制度がまた一つ：

Will Users Donate a Penny Per Email to Fight Spam, Yahoo Wonders | Epicenter | Wired.com

The idea behind CentMail is that paying to send e-mail — even a single cent — differentiates a real e-mail from spam blasts, and thus, spam filters can be adjusted to let the stamped mail sail right through, according to a report from New Scientist.

仕組みとしては、メールを送る際に1￠の寄付を行い、寄付がなされたメールをホワイトリストするというもの。同様の仕組みは何度も提案されているが、今回は支払いが寄付に向かうという点が新しいようだ。

スパムの問題はそれほど複雑ではない。ダイレクトメール同様、広告にかかる費用が少ない。また他の重要な情報と混ざっているため、ユーザーがそれを選別する必要がありその時点で広告の目的は達成されてしまう。そして選別のための費用は広告主によって負担されない。しかもダイレクトメールと比べるとスパムは圧倒的に低コストである。これはスパムの量が膨大になるだけでなく、その平均的な質が非常に低いことを意味する。

スパム対策が難しいのはあるメールがスパムかどうかが分からないことだ。そのため対策の要は如何にして選別を行うかということになる。

一つには技術的解決法がある。これはベイズ統計を使ったスパムフィルターなどが該当する。スパムの目的は広告であるため、文章から広告がどうかを判断する。

それに対して今回のCentMailは経済的なインセンティブを用いてスパムか否かを送り主自身に表明させる。スパムと正当なメールとの違いは内容だけではない。一通のスパムの価値は極めて低く、有効であるために大量に送信する必要がある。CentMailはこの違いを利用する。一通1￠は普通のユーザーにとっては微々たる金額だが、スパム業者にとっては大きな額である。しかし強制的にメール送信に課金することはできないため、自主的に費用を払ってもらうスキームが必要となる。仮に業者が費用を払ったとしても、スパムの総数は減るしその質は上昇するわけだ。この方式を取る場合のキーは二つだ：

  1. 自主的な参加の促進
  2. 急速な普及

一点目は自明だ。正当な送信者がこのシステムを利用しない限り何も始まらない。初期段階においてスパム防止効果は限定的であり、支払いそれ自体に価値があることが望ましい。CentMailのポイントは支払いを寄付という形にすることでこの問題に対処していることである。

しかしもっとも難しいのは二点目である。一点目とも重なるが、このシステムは多くの正当なユーザーが参加していない限り有効に働かない。極端な話、ユーザーが一人であればメーラーの作成者はそれに対応する理由がないし、それ故に他のユーザーも参加する理由がない。当然スパムは以前通りにメールボックスに届くことになる。このシステムが動くためには、多くのユーザーに参加してもらうと同時にISP・メーラーなどの対応を迅速に行う必要がある。後者の課題については、

  • GMail, Yahoo! Mail, Hotmailなどのような単独で大きなシェアを持つ企業と提携するないし、彼らが始める（CentMailはYahoo!）。
  • オープンソースのソフトウェアに当該機能をコミットする（寄付が開発プロジェクトに向かうという趣旨であれば十分に現実的だと思われる）。

などが考えられる。ISPレベルでのフィルタリングも考えられるがネット中立性との兼ね合い上難しいかもしれない。

パブリケーションバイアス

投稿日時: 投稿者:

臨床試験におけるパブリケーションバイアスを回避しようという試みについて：

Anti-“publication bias” efforts not panning out for science – Ars Technica

Wikipediaによればパブリケーションバイアスとは、

Publication bias occurs when the publication of research results depends on their nature and direction.

研究結果の公表がその結果の性質や方向性に依存する場合生じるバイアスとされている。簡単に言えば、研究者はうまくいった研究のみを公表するインセンティブがあるし、ジャーナルなど出版側にとっても注目を引く研究を選ぶインセンティブがあるということだ。

このようなバイアスは、複数の研究結果を統計的に処理するメタアナリシスで特に問題になる。データの一部が除外されているためだ。統計学的にはトランケーションで処理できるだろうが、除外される基準が明確ではないので適切に対応するのは困難だ。

それに対し、Ars Technicaの記事で取り上げられている試みにおいては、インセンティブの仕組みを変えることでこの問題に対応しようとしている。

In 2005, medical journals forged a policy meant to ensure that a description of any clinical trial would be registered in public databases before it took place.

[…]

This provides a very strong incentive to register any trial. Nobody typically starts a trial they know is going to fail, and both researchers and drug companies have strong incentives to publish positive results—it makes sense to register everything in advance, simply to ensure the option of publication later.

仕組みはこうだ。ジャーナルに研究結果を公表するためには、臨床試験を行う前に公共のデータベースに登録することが要求される。事後（ex post）的には望ましい結果のみを公表するインセンティブがあっても、事前（ex ante）にはそのよな問題は生じない。しかし、そう簡単にはいかないようだ：

Of the 323 published trials that they identified, a full 89 (27 percent) hadn’t been registered at all, as far as the authors could tell. Another 39 had been registered, but had a result, termed a primary outcome, that was too vague.

[…]

In 46 cases, the trial was registered with a primary outcome that wasn’t the same as the one described in the publication.

実際には、登録されていない研究や登録されていても結果の記載が曖昧だったり当初の目的から外れている研究が相当数にのぼっている。この問題を解決するには二つの対応が必要だろう。

  • 何らかの方法で結果の正確な記録を強制する。
  • 登録を怠った研究の棄却。

一つ目は契約の履行を徹底することだ。臨床試験以前の登録で合意がとれても、研究が出版に値しないと分かった後には、正確な記録をするインセンティブはない。法的な契約を結んで記録を義務付けるか、正確な記録を行うまで同人物・グループからの新しい研究結果の出版を拒否するなど対応が必要だ。

二つ目はそもそも記録がなされていない研究結果への対応だ。このような研究が出版されるのには理由がある。それは、臨床試験以前に登録を怠っても、興味深い結果が出た場合にはジャーナルの側にそれを受け入れるインセンティブがあるためだ。研究者側はそれを見越した上で事前の登録を回避してしまう。この問題は出版側と研究側の契約では解決できない。登録はなされていないが重要な研究結果を出版するのは両者にメリットがあるためだ。政府の関与や出版社同士の取り決め・契約などが必要だろう。但し、その場合には政府に関する一般的な問題や業界での共謀の温床となる可能性に注意する必要がある。