統計は作るもの?

現実には統計が結果から作られているという話:

Deciding the conclusion ahead of time : Applied Statistics

元ネタはThe Washington Postが報じているThe Chamber of Commerce(商工会議所?)のメール:

The e-mail, written by the Chamber’s senior health policy manager and obtained by The Washington Post, proposes spending $50,000 to hire a “respected economist” to study the impact of health-care legislation, which is expected to come to the Senate floor this week, would have on jobs and the economy.

Step two, according to the e-mail, appears to assume the outcome of the economic review: “The economist will then circulate a sign-on letter to hundreds of other economists saying that the bill will kill jobs and hurt the economy. We will then be able to use this open letter to produce advertisements, and as a powerful lobbying and grass-roots document.”

彼らは支持する企業とともに、オバマの医療制度改革が雇用を減らし経済に悪い影響を与えることを示すという研究成果を求めていて、そのためにエコノミストを探しているというものだ。

The more serious issue is that this predetermined-conclusions thing happens all the time. (Or, as they say on the Internet, All. The. Time.) I’ve worked on many projects, often for pay, with organizations where I have a pretty clear sense ahead to time of what they’re looking for. I always give the straight story of what I’ve found, but these organizations are free to select and use just the findings of mine that they like.

そしてこういった結論ありきの統計分析というのはありとあらゆる場所で行われている。例え分析者が真面目にやっても組織が都合のよい結果だけ選ぶのは避けられない。

This also reminds me of something I’ve noticed on legal consulting projects: typically, the consultants on the other side seem incompetent, sometimes extremely so.

さらに筆者自らのリーガル・コンサルティングにおける経験が語られている。どうも相手側のコンサルタントが無能過ぎるという。理由としては弁護士が有能なコンサルタントが誰かしらないことや、数字が自分に都合のよい場合にだけまともな人間をやとっているということが上げられている。

しかし、こういった問題は実はアカデミックな研究の場合の方が深刻なように思われる。研究者、特に若手、は面白い結果を出す強いインセンティブを持っているが、統計分析がきちんと行われているかをチェックする機能は法廷や政治程には強くないだろう。もちろんピアレビューはあるが基本ボランティア作業だ。これが訴訟であれば相手の統計のあら探しをするのは当然の仕事であり、いつまでも無能な統計専門家が市場に残るのは困難だろう。

大学の価値は何か

大学の経済的価値についてEconomistから:

What’s college all about? | Free exchange | Economist.com

So, the question: are colleges selling an information-based product or an aura-based product (or something else altogether)?

It could be that the key value is in being in a room with an expert and other interested students, in participating in dorm-room bull sessions, in napping on a pile of texts in a musty old library, and in running naked across the quad at three in the morning. These things can’t be digitised and infinitely replicated.

情報に加えてオーラが重要だと主張している。技術により情報の価値は失われるが大学での経験はデジタル化できないというわけだ。この意見には賛成だ。大学に行くことは、二十歳前後にある意味好きなことができる時間を持てることだ。知識を伝えることが全てなら大学は短いほうがいいだろうが、早く卒業したくてしょうがないという学部生にはお目にかからない。それに対し学部卒業してからの教育(大学院・職業訓練など)は短期間なのが好まれる。

One other thing to think about; it could be that a key value of universities has nothing at all to do with what a student does while enrolled, and instead stems from the filtering mechanism of the admissions process. […] They act as ratings agencies, in a sense, screening products and declaring them “safe” or “risky”.

もちろんフィルタリングの価値が最も高いのは否めないだろう。高校生が大学での実生活を想像するのは難しいが、大学のランクなら簡単に分かる。

It would be interesting if in the future there are organisations which play this role more explicitly, offering to investigate a candidate’s history and skillset for a fee, and certifying qualified candidates, all in a fraction of the time and at a fraction of the cost of an actual university education.

フィルタリングが重要ならそれを専門に提供する企業が出てもおかしくない。例えば東大に行くことの価値が東大を卒業すればある程度賢いと思われることなら別に模試の結果でもあれば構わないんじゃないかということだ。むしろ中での順位まで分かるのでより情報量は多い。

今のところそういう企業はないが、これは十分にありえる。大学から中退して成功する人々を見れば分かる。フィルタリングが全てなら中退しても問題はないわけだ。もちろん中退者は大学生の代表値ではないので単純に比較できないが、誰から見てもやむを得ない理由で中退せざる追えなかった人の労働市場の評価を見れば分かるだろう。

ただこの手の企業が市場に信頼されるのは非常に困難だ。しかし信頼を獲得する方法もとりあえず二つほど思いつく。一つは既にある権威を利用することだ。具体的には教育学なんかのPh.D.をつれてきて事業を始めることだ。企業や個人向けに職業適正のパーソナリティ判定を提供する企業はこれに非常に近い。しばしば心理学者が会社を設立しているし、MBTIなどは認定機関が存在している。

もう一つの方法は単純な信頼獲得を目指すのではなく、フィルタリングを行う企業がリスクを負担することだ。ある労働者の能力を認定するだけでなく、その質を制度的に担保する。これは人材派遣という形式をとることで実現できる。企業は派遣されてきた労働者の質に問題があれば交換を要求できるので評判に依存する必要が無い。人材派遣会社というとイメージが合わないかもれしれないが、コンサルティングファームの実態はこれに限りなく近いだろう。特に戦略系などは会計やITなど特定の業務を売っているわけではないのでこの要素がほぼ全てではないだろうか。彼らの採用がトップスクールよりも厳しいと言われるのはこのことの証左のように思われる。