「統計」タグアーカイブ

https://leaderpharma.co.uk/ dogwalkinginlondon.co.uk

統計は作るもの？

投稿日時: 投稿者:

現実には統計が結果から作られているという話：

Deciding the conclusion ahead of time : Applied Statistics

元ネタはThe Washington Postが報じているThe Chamber of Commerce（商工会議所？）のメール：

The e-mail, written by the Chamber’s senior health policy manager and obtained by The Washington Post, proposes spending $50,000 to hire a “respected economist” to study the impact of health-care legislation, which is expected to come to the Senate floor this week, would have on jobs and the economy.

Step two, according to the e-mail, appears to assume the outcome of the economic review: “The economist will then circulate a sign-on letter to hundreds of other economists saying that the bill will kill jobs and hurt the economy. We will then be able to use this open letter to produce advertisements, and as a powerful lobbying and grass-roots document.”

彼らは支持する企業とともに、オバマの医療制度改革が雇用を減らし経済に悪い影響を与えることを示すという研究成果を求めていて、そのためにエコノミストを探しているというものだ。

The more serious issue is that this predetermined-conclusions thing happens all the time. (Or, as they say on the Internet, All. The. Time.) I’ve worked on many projects, often for pay, with organizations where I have a pretty clear sense ahead to time of what they’re looking for. I always give the straight story of what I’ve found, but these organizations are free to select and use just the findings of mine that they like.

そしてこういった結論ありきの統計分析というのはありとあらゆる場所で行われている。例え分析者が真面目にやっても組織が都合のよい結果だけ選ぶのは避けられない。

This also reminds me of something I’ve noticed on legal consulting projects: typically, the consultants on the other side seem incompetent, sometimes extremely so.

さらに筆者自らのリーガル・コンサルティングにおける経験が語られている。どうも相手側のコンサルタントが無能過ぎるという。理由としては弁護士が有能なコンサルタントが誰かしらないことや、数字が自分に都合のよい場合にだけまともな人間をやとっているということが上げられている。

しかし、こういった問題は実はアカデミックな研究の場合の方が深刻なように思われる。研究者、特に若手、は面白い結果を出す強いインセンティブを持っているが、統計分析がきちんと行われているかをチェックする機能は法廷や政治程には強くないだろう。もちろんピアレビューはあるが基本ボランティア作業だ。これが訴訟であれば相手の統計のあら探しをするのは当然の仕事であり、いつまでも無能な統計専門家が市場に残るのは困難だろう。

文化地図の軸は何か

投稿日時: 投稿者:

イングルハート・ヴェルツェルによる文化地図（Inglehart-Welzel Cultrual Map）の軸の取り方について：

Overcoming Bias : Key Disputed Values

以下のグラフが文化地図と呼ばれるものだ。世界価値調査（World Values Survey）のページに置いてある：

map

マップ上の点は国を表しており、色分けは何らかの共通点でもって複数の国を囲ったものだ。例えば日本は生存よりも自己表現に重きを置いているが多くの欧米の国ほどではなく、伝統的価値観ではなく世俗・合理的な価値観が非常に強い国ということになる。

このマップを理解するにはこれがどのように作られたかを知る必要がある。実際の論文などは見ていないのでWikipediaなどからの推量になるが以下に簡単に説明する（間違いがあったら指摘してほしい）。

元となっているデータは世界価値調査というもので、それぞれの国においてどのような価値観が支持されているかを調査したものだ。データはインタビューによって集められる。

The WVS questionnaire consists of about 250 questions resulting in some 400 to 800 measurable variables.

250程の質問項目を元に400から800個の指標が作られるそうだ（例：個人的幸福度）。しかし、イングルハートはそれらの指標の多くを僅か二つの指標（軸）で説明できてしまうことに気づき、それを生存・自己表現と伝統・世俗という二つの軸で表現した。それが上のマップだ。

幾何学的に言うと、多次元空間に各国の指標の組をマップしたら何故かある二次元（超）平面の付近に並んでいたのでその平面を切り出してみたということだ。

このマップに対してRobin Hansonは次のように指摘している：

WVS leaders’ views on the key value disputes are found in their diagram labels: “survival vs. well-being” and “traditional vs. rational-legal.”  But we need not accept their labels. Given many data points in a high dimensional vector space, factor analysis strongly suggests the most informative subspaces to consider, but says less about the best axes to consider, and nothing about the best axis names.

マップでは生存・自己表現と伝統・世俗という二つの軸を取っているが、このマップを評価する上でイングルハートが提示した二つの軸を採用する必要はない。二つの指標で表されるということはある特定の二つの軸を選ぶ根拠にはならないからだ。

これは上の幾何学的な解釈から明らかだろう。重要なのは多次元空間上の点の位置が二次元平面で表されることで、その二次元平面の軸をどう取るかという話とは別の話だ。高校数学を思い出して欲しい。二次元平面を表現するには何が必要か。その平面上の一次独立な二つのベクトルの組なら何でもよい。

追記：主成分分析の基底の取り方について指摘を頂いたのでコメント欄を参照ください。

Given that one factor is the lower left to upper right wealth factor, the other factor is an upper left to lower right factor, stretching from Russia to the USA.  But what is the essence of that factor?

まず左下から右下を眺めると経済発展を表していることに注目する。それに対してもう一つの対角線、左上から右下、はどう表現できるか。これはロシアとアメリカの違いにも対応する。左上に共産圏、右下に自由主義圏が並んでいるの分かるだろう（日本はどちらでもないが若干共産よりだ）。

It seems to me that USA side values make sense when the priority is making families and personal relations work well, while Russian side values make sense when the priority is larger community health and threats.

彼はここで右下に個人・家族主義的な傾向、左上に共同体主義的な傾向を見出す。

So why would Russia side nations focus more on community, while USA side nations focus more on family?  My story is much like that Diamond’s Guns Germs and Steel: geography made some places more vulnerable to invasion.

この違いについては地政学的な差異を挙げている。侵略されやすい国は共同体主義的となり、そうでない国は個人・家族主義的となる。外的な脅威があれば個人・家族の価値よりも社会の価値が自然と重視されるからだ。

So there you have it: I suggest the two main value disputes in the world are rich vs. poor and family vs. community priorities.

まとめると彼の主張は各国の価値観の違いは貧しいか豊かかと家族か社会かという二つの要素で説明できるというものだ（上のマップ上では対角線となる）。

これは生存・自己表現と伝統・世俗という分け方よりも実感にそぐう。日本の例がわかりやすい。日本が自己表現を重視しているかはよく分からないし、宗教にこそ熱心ではないが伝統的価値観を重んじない国ではないだろう。しかし日本はかなり経済的に発展している比較的共同体重視の国と言われれば非常にしっくりくる。アングロサクソンは経済的に発展している個人主義の国々、ラテンアメリカは経済発展は遅れぎみの個人主義の国々、旧共産圏は経済発展が遅れぎみの共同体主義の国々となる。

Given many data points in a high dimensional vector space, factor analysis strongly suggests the most informative subspaces to consider, but says less about the best axes to consider, and nothing about the best axis names.

人種・年齢・学歴別失業率

投稿日時: 投稿者:

タイトル通り、デモグラフィー別で失業率の時系列をフラッシュで比べられる：

The Jobless Rate for People Like You – Interactive Graphic – NYTimes.com

いくつかの観察：

  • 全体では8.6%
  • 男性全体では9.5%、女性全体では7.6%で全体的に男性の方が失業率が高い（これは仕事がなくても求職を続けるためだろう）
  • 高校中退（以下）では17.5%、高卒では9.1%、大卒以上で4.5%
  • 人種では白人7.2%、黒人13.9%、ヒスパニック11.3%、その他8.2%
  • 15-24歳で16.7%、25-44歳で8.2%、45歳以上で6.3%
  • 一番低いのは25-44歳の大卒白人男性で3.9%
  • 一番高いのは15-24歳の高校中退黒人男性で48.5%

人種の区分けがAll races, White, Black, Hispanic, All other racesしかないのでアジア系の情報ここではわからない。細かい数字は労働省の統計局にある。

しかし、日本の新聞社のウェブサイトとの格差があまりにも酷い。日本ももうちょっとどうにかしてほしいものだ。

GREの得点分布2

投稿日時: 投稿者:

前回に引き続き、目覚めのコーヒーと共にもうすこしグラフを作ってみた。今回は専攻別の得点分布を見てみる。適当に読者がいそうな分野ということで、経済学（Economics）、数理科学（Mathematical Economics）、建築学・環境デザイン（Architecture and Environmental Design）、政治科学（Political Science）、会計学（Accounting）、心理学（Psychology）を選んでみたがどうだろう。もう少し理系を入れてもよかったが数理科学と分布が大差ないので割愛した（大抵のものは形状が同じで少し点数が低い）。

econまずは経済学。殆どの学生はQ700-790であることが分かる。800を取っている学生は全体の18.5%だ。受験者の数が8,000人強で、一校の定員が20人であれば前から10校の人数は200人、つまり2%だ。この手のテストに強い外国人であれば満点以外はよくないシグナルを送ることが分かるだろう。

math次は数理科学。余りにも経済学と分布がそっくりで面白い。確かに経済学のPh.D.の学生の多くは学部での専攻が数学と経済のダブルメジャーである。他の専攻と比べても全体的に点数が高めだ。

archこちらは毛色を変えて建築学・環境デザイン。さすがにQでの満点が激減する。日本人であれば満点をとってアピールしたいところだ。

poli政治学はVもQも似たような分布でVの高水準が目立つ。

accountingこちらは会計学。Vが異常に低い。受験者の多くが外国人で、しかも終了後民間の就職が殆どなためだろう。受験者の中にどれだけPh.D.をとって研究者になろうという人間がいるかが分布に大きな影響を及ぼしていると推測される（これは建築学にも当てはまるだろう）。

psycho最後は受験者数最大の61,141を誇る心理学だ。会計と比べるとVは高めでQは低めという妥当な分布だ。同じく卒業後民間で働く人が殆どで、Ph.D.を取得しようという受験者は少ないと考えられる。

追記：化学（Chemistry）を追加。

chem

GREの得点分布

投稿日時: 投稿者:

GREの統計を少しグラフにしてみた。GRE（Graduate Record Examination）はアメリカの大学院受験に必要な試験だ。主に語彙力を問うVerbal、数的能力を問うQuantitativeが使われる。

まずは何点とったら上位何パーセントに入るかを示すグラフ：gre_chart

GREのスコアは素点ではないので解釈が困難だが、何となく自分の位置を確かめるのにはいい。Quantitativeが満点で100になっていないのは満点が6%いるためだ。言い換えれば満点でも上位6%であることしか分からない。

major

こちらは大きな分野別の中央値得点だ。当然理系のほうがQuantitativeが強い。おまけで経済学をつけておいたが理系に近いのがよくわかる（経済学は社会科学に含まれる）。Quantitativeの中央値が700を越えている細項目は工学系を除くとMathematical Sciences, Physics and Astronomy, Banking and Financeだけだ。しかも三つ目は経済学と受験者のプールがほとんど同じだ。

ただ、この数字も解釈は難しい。GREのスコアは専攻の性質だけでなく人気でも決まるからだ。アメリカでの研究レベルが高い分野や卒業後の収入が高い分野では留学生の受験が増え、Quantitativeのスコアが上がり、Verbalのスコアが落ちる（GREのVerbalは外国人には極めて難易度が高い）。例えば総合点が一番高いのは物理学のV533Q736だろうがこれは物理学者が英語に強いという意味ではない。工学が一般に高得点なのは仕事に直結しており、インド人や中国人が多いためだろう。

P.S. 経済学での受験を考えられている方はQuantitativeで満点は必ずとりましょう（まあ何もやらなくてもいいでしょうが）。Verbalはどうでもいいです。TOEFLで100だけとっておきましょう（CBT250 / PBT600）。