パブリケーションバイアス

臨床試験におけるパブリケーションバイアスを回避しようという試みについて:

Anti-“publication bias” efforts not panning out for science – Ars Technica

Wikipediaによればパブリケーションバイアスとは、

Publication bias occurs when the publication of research results depends on their nature and direction.

研究結果の公表がその結果の性質や方向性に依存する場合生じるバイアスとされている。簡単に言えば、研究者はうまくいった研究のみを公表するインセンティブがあるし、ジャーナルなど出版側にとっても注目を引く研究を選ぶインセンティブがあるということだ。

このようなバイアスは、複数の研究結果を統計的に処理するメタアナリシスで特に問題になる。データの一部が除外されているためだ。統計学的にはトランケーションで処理できるだろうが、除外される基準が明確ではないので適切に対応するのは困難だ。

それに対し、Ars Technicaの記事で取り上げられている試みにおいては、インセンティブの仕組みを変えることでこの問題に対応しようとしている。

In 2005, medical journals forged a policy meant to ensure that a description of any clinical trial would be registered in public databases before it took place.

[…]

This provides a very strong incentive to register any trial. Nobody typically starts a trial they know is going to fail, and both researchers and drug companies have strong incentives to publish positive results—it makes sense to register everything in advance, simply to ensure the option of publication later.

仕組みはこうだ。ジャーナルに研究結果を公表するためには、臨床試験を行う前に公共のデータベースに登録することが要求される。事後(ex post)的には望ましい結果のみを公表するインセンティブがあっても、事前(ex ante)にはそのよな問題は生じない。しかし、そう簡単にはいかないようだ:

Of the 323 published trials that they identified, a full 89 (27 percent) hadn’t been registered at all, as far as the authors could tell. Another 39 had been registered, but had a result, termed a primary outcome, that was too vague.

[…]

In 46 cases, the trial was registered with a primary outcome that wasn’t the same as the one described in the publication.

実際には、登録されていない研究や登録されていても結果の記載が曖昧だったり当初の目的から外れている研究が相当数にのぼっている。この問題を解決するには二つの対応が必要だろう。

  • 何らかの方法で結果の正確な記録を強制する。
  • 登録を怠った研究の棄却。

一つ目は契約の履行を徹底することだ。臨床試験以前の登録で合意がとれても、研究が出版に値しないと分かった後には、正確な記録をするインセンティブはない。法的な契約を結んで記録を義務付けるか、正確な記録を行うまで同人物・グループからの新しい研究結果の出版を拒否するなど対応が必要だ。

二つ目はそもそも記録がなされていない研究結果への対応だ。このような研究が出版されるのには理由がある。それは、臨床試験以前に登録を怠っても、興味深い結果が出た場合にはジャーナルの側にそれを受け入れるインセンティブがあるためだ。研究者側はそれを見越した上で事前の登録を回避してしまう。この問題は出版側と研究側の契約では解決できない。登録はなされていないが重要な研究結果を出版するのは両者にメリットがあるためだ。政府の関与や出版社同士の取り決め・契約などが必要だろう。但し、その場合には政府に関する一般的な問題や業界での共謀の温床となる可能性に注意する必要がある。