統計は作るもの?

現実には統計が結果から作られているという話:

Deciding the conclusion ahead of time : Applied Statistics

元ネタはThe Washington Postが報じているThe Chamber of Commerce(商工会議所?)のメール:

The e-mail, written by the Chamber’s senior health policy manager and obtained by The Washington Post, proposes spending $50,000 to hire a “respected economist” to study the impact of health-care legislation, which is expected to come to the Senate floor this week, would have on jobs and the economy.

Step two, according to the e-mail, appears to assume the outcome of the economic review: “The economist will then circulate a sign-on letter to hundreds of other economists saying that the bill will kill jobs and hurt the economy. We will then be able to use this open letter to produce advertisements, and as a powerful lobbying and grass-roots document.”

彼らは支持する企業とともに、オバマの医療制度改革が雇用を減らし経済に悪い影響を与えることを示すという研究成果を求めていて、そのためにエコノミストを探しているというものだ。

The more serious issue is that this predetermined-conclusions thing happens all the time. (Or, as they say on the Internet, All. The. Time.) I’ve worked on many projects, often for pay, with organizations where I have a pretty clear sense ahead to time of what they’re looking for. I always give the straight story of what I’ve found, but these organizations are free to select and use just the findings of mine that they like.

そしてこういった結論ありきの統計分析というのはありとあらゆる場所で行われている。例え分析者が真面目にやっても組織が都合のよい結果だけ選ぶのは避けられない。

This also reminds me of something I’ve noticed on legal consulting projects: typically, the consultants on the other side seem incompetent, sometimes extremely so.

さらに筆者自らのリーガル・コンサルティングにおける経験が語られている。どうも相手側のコンサルタントが無能過ぎるという。理由としては弁護士が有能なコンサルタントが誰かしらないことや、数字が自分に都合のよい場合にだけまともな人間をやとっているということが上げられている。

しかし、こういった問題は実はアカデミックな研究の場合の方が深刻なように思われる。研究者、特に若手、は面白い結果を出す強いインセンティブを持っているが、統計分析がきちんと行われているかをチェックする機能は法廷や政治程には強くないだろう。もちろんピアレビューはあるが基本ボランティア作業だ。これが訴訟であれば相手の統計のあら探しをするのは当然の仕事であり、いつまでも無能な統計専門家が市場に残るのは困難だろう。

統計は作るもの?” への4件のコメント

  1. 政治的な部分はどうしても解決できませんが、恣意性を排除するような方法を研究することは可能でしょう。
    例えば、以前は都合の良い結果だけ取り出して「有意な差が出た」というような分析が多かったですが、最近は multiple testing の枠組みに対応した有意性が求められます。
    応用統計の分野では倫理はことのほか重要です。大学院の授業のケーススタディーでも、「あなたは大学で昇進のために研究資金を取らなければいけない。タバコ会社から、タバコが無害であることを裏付けてくれたら1万ドル出すと言ってきた。受けるか?」というようなものもありました。ディスカッションの結論は忘れました(笑)。

  2. 前に計量でレポートを書かされたときに、あれ結果なんてどうにでも変えられるじゃん、と思って以来自分でやろうとは思わなくなりました(おい。

    資金は受け取ってもいいと思います。どこからお金が出てようと結果は論文になるわけでおかしかったら分かるでしょう。

    もちろん分析方法まで見る気のない人から見ると信用度は落ちるでしょうが、それいったら応用統計で結果だけ見ること自体無意味っていう話も。

  3. 経済関係(除く金融市場)のデータは標本数が限られているので、先見的な仮定がないと何でも言えてしまうという印象を持っています。経済の実証分析で経済学者のコンセンサスをモデルに組み込むことが要求されるのはそのせいではないかと思っています。

  4. 非常に納得のいく指摘です。標本数が少ないかつ、基本的に実験ができずデータが非常にノイジーですね。あらゆる変数がプロキシーみたいなものですし。

コメントは受け付けていません。