Deciding the conclusion ahead of time : Applied Statistics

元ネタはThe Washington Postが報じているThe Chamber of Commerce(商工会議所?)のメール:

The e-mail, written by the Chamber’s senior health policy manager and obtained by The Washington Post, proposes spending $50,000 to hire a “respected economist” to study the impact of health-care legislation, which is expected to come to the Senate floor this week, would have on jobs and the economy.

Step two, according to the e-mail, appears to assume the outcome of the economic review: “The economist will then circulate a sign-on letter to hundreds of other economists saying that the bill will kill jobs and hurt the economy. We will then be able to use this open letter to produce advertisements, and as a powerful lobbying and grass-roots document.”


The more serious issue is that this predetermined-conclusions thing happens all the time. (Or, as they say on the Internet, All. The. Time.) I’ve worked on many projects, often for pay, with organizations where I have a pretty clear sense ahead to time of what they’re looking for. I always give the straight story of what I’ve found, but these organizations are free to select and use just the findings of mine that they like.


This also reminds me of something I’ve noticed on legal consulting projects: typically, the consultants on the other side seem incompetent, sometimes extremely so.




  1. 政治的な部分はどうしても解決できませんが、恣意性を排除するような方法を研究することは可能でしょう。
    例えば、以前は都合の良い結果だけ取り出して「有意な差が出た」というような分析が多かったですが、最近は multiple testing の枠組みに対応した有意性が求められます。

  2. 前に計量でレポートを書かされたときに、あれ結果なんてどうにでも変えられるじゃん、と思って以来自分でやろうとは思わなくなりました(おい。



  3. 経済関係(除く金融市場)のデータは標本数が限られているので、先見的な仮定がないと何でも言えてしまうという印象を持っています。経済の実証分析で経済学者のコンセンサスをモデルに組み込むことが要求されるのはそのせいではないかと思っています。

  4. 非常に納得のいく指摘です。標本数が少ないかつ、基本的に実験ができずデータが非常にノイジーですね。あらゆる変数がプロキシーみたいなものですし。