レナード・ムロディナウ（Leonard Mlondinow）によるワイン・レーティングの問題についての記事：

Why Wine Ratings Are Badly Flawed – WSJ.com

世の中には大量のワインがあってどれがどれだか分からないし、いいワインを買うときは値札で選んでいるなんていう人も多いだろう。

It was in this climate that in the 1970s a lawyer-turned-wine-critic named Robert M. Parker Jr. decided to aid consumers by assigning wines a grade on a 100-point scale. Today, critics like Mr. Parker exert enormous influence.

質の分からない財がたくさんあれば、出てくるのがレーティングビジネスだ。

According to a 2001 study of Bordeaux wines, a one-point bump in Robert Parker’s wine ratings averages equates to a 7% increase in price, and the price difference can be much greater at the high end.

Robert Parkerのレーティングが一つ上がると平均7%価格が上がるという。この上昇分はハイエンドのワインのほうがさらに大きくなる。

しかしビジネスのレーティングとして重要になるのは信頼性だ。債権のレーティングが問題になったのも記憶に新しい（参考：格付け機関の失敗、レーティングを機能させる方法）。ではワインのテイスティングの信頼はどうだろうか：

In his first study, each year, for four years, Mr. Hodgson served actual panels of California State Fair Wine Competition judges—some 70 judges each year—about 100 wines over a two-day period. He employed the same blind tasting process as the actual competition. In Mr. Hodgson’s study, however, every wine was presented to each judge three different times, each time drawn from the same bottle.

ここではカリフォルニア州のワインコンペにおける実験が紹介されている。70人のジャッジが100種類のものワインを2日間で評価する。そこで同じワインを同じボトルから三回ずつ出したという。

The results astonished Mr. Hodgson. The judges’ wine ratings typically varied by ±4 points on a standard ratings scale running from 80 to 100. A wine rated 91 on one tasting would often be rated an 87 or 95 on the next. Some of the judges did much worse, and only about one in 10 regularly rated the same wine within a range of ±2 points.

すると同じジャッジが同じワインに対して大体±4異なるレーティングを出したという。レーティングの数字が80-100しかないことを考えると随分と大きな誤差だ。

he made a bar graph of the number of wines winning 0, 1, 2, etc. gold medals in those competitions. The graph was nearly identical to the one you’d get if you simply made five flips of a coin weighted to land on heads with a probability of 9%.

さらに多くのコンペのデータから各ワインが金メダルを取る頻度を計算したところどのワインも同じ確率で金メダルを取ると考えたときの分布とほぼ同じだったという。

レーティングの回数・人数を増やしていけばより正確な数字を出すことはできるかもしれないが、現状のワインコンペの結果は信頼できないようだ。

まあとはいえここに出てくるのはコンペに出されるようなワインに限られていることには注意が必要だ。買い物ついでにスーパーで手に取るワインについても当てはまるかはわからない。

P.S. ちなみにレナード・ムロディナウはバークレーでPh.D.を取りカルテックに理論物理学者として就職したが、後にハリウッドでテレビ・映画の脚本家になったり、コンピュータゲームを作ったりしている異色の人物だ。ここ数年は科学に関する啓蒙書を数多く執筆している。スティーブン・ホーキングとの共著が特に有名だが、単著であるThe Drunkard’s Walk: How Randomness Rules our Livesも昨年ベストセラーになった（積みっぱなしでまだ読んでません…）。