ビッグデータ時代の統計データ分析学

統計学に関する数多くの著書を出し、統計学の世界でよく知られている豊田秀樹氏が、数年前から「有意性検定の濫用」に警鐘を鳴らしており、その代わりに「ベイズ的アプローチ」を積極的に勧めている。それはなぜなのか、なぜいま有意性検定よりもベイズ的アプローチがよいのかを詳しく伺った。

目次

ビッグデータを相手にすると、あらゆる意味で有意性検定は無力になってしまう

現場でデータ解析をする方々が基準点を決める主導権をもつべきだ

ビッグデータを相手にすると、あらゆる意味で有意性検定は無力になってしまう

─ 豊田先生は、いまなぜ「有意性検定」ではなく、「ベイズ的アプローチ」に注目しているのでしょうか？

ごく簡単にいえば、統計学で長年使われてきた「有意性検定」が限界を迎えており、おそらくすでに破綻しているからです。2016年3月、アメリカ統計学会が有意性検定の誤解や誤用に関する注意喚起の声明を出したことで、統計学の世界では有意性検定の使命が終わりつつあることが注目されています。ただ、一般的にはまだあまり知られていないと思いますから、どういうことなのかを説明したいと思います。

まず有意性検定をご存じない方のために、できるだけ分かりやすく説明しましょう。有意性検定とは、例えば平均値の差を示したい場合に、差がないという仮説を否定することによって差を示す方法です。

例えば、A社が新たに開発したダイエット法に、一定の効果があることを示したいとしましょう。どうするかといえば、（1）最初に、そのダイエット法を体験した方々の使用前・使用後の体重データを集めます。（2）次に、両時点での使用前後の平均的体重には違いがない（つまり、ダイエット法には効果がない）という仮説（帰無仮説）をいったん立てます。（3）そして、この仮説を棄却し、効果がないという仮説をひっくり返すことで、そのダイエット法には一定の効果があることを示すのです。その際、仮説を棄却できる数値の範囲をρ値<5％に設定するのが一般的です。それは統計上稀な現象だから、効果がないという仮説は成り立たない、つまりそのダイエット法には効果があると判断するわけです。これが有意性検定です。

長いあいだ、統計学を学ぶことは、有意性検定を学ぶことでした。いまも、多くの大学の統計学のクラスで有意性検定を教えていますし、マーケティングや心理学などでは頻繁に使われています。しかし最近、この有意性検定が役に立たなくなってきたのです

─ 有意性検定が、なぜいまになって役に立たなくなったのでしょうか？

いくつかの要因があるのですが、最も大きく分かりやすいのは、「ビッグデータ時代」が到来したからです。これは実際に計算するとすぐ分かるのですが、データ数が極端に多くなると、有意性検定は誇張抜きですべて有意になってしまうのです。膨大なデータを集めれば、たとえ1カ月間に3グラムしか痩せないダイエット法でも、効果があるとみなされてしまいます。

この欠点は、ビッグデータを扱う上では致命的です。例えば、私はマーケティングのデータ分析をよく行うのですが、コンビニエンスストアのトランザクションデータ（商取引データ）は、5000万も6000万もあるわけです。これを有意性検定で分析して、何らかの意味を見出すのは不可能です。ビッグデータを相手にすると、有意性検定はまったく無力になってしまいます。

大学でも、やはりビッグデータを扱うことが増えています。そこで有意性検定を使えば、たいがいは有意と出ます。論文執筆者としては有意差が出れば論文が形になりますから、ビッグデータにも有意性検定を適用するわけです。その結果、どういうことが起きているかというと、統計学的には有意だが、内容的には無意味な論文が意図せずに増えているのです。

この状況が学問にとって良いわけがありません。そこで私は、有意性検定よりもベイズ的なアプローチを取った方がよいと主張しています。

現場でデータ解析をする方々が基準点を決める主導権をもつべきだ

─ では今度は、ベイズ的なアプローチについて、詳しく伺えればと思います。

この紙面上でベイズ統計学とは何かを詳しく説明するのは難しいのですが、ベイズ統計学はビッグデータ時代に適した統計学といえるでしょう。実際、メールサービスがスパムメールを判別するために搭載する「迷惑メールフィルター」をはじめ、ベイズ統計学はすでにさまざまな場面で活用・応用されています。

ベイズ統計学は大きく2つの点で優れています。1つは、仮説が正しいかどうかを直接推定できることです。例えば、（1）このダイエット法を行うと、1カ月で平均3キロ以上痩せられるという仮説を立てた上で、（2）その仮説が正しい確率を計算できます。有意性検定が不自然な仮説（帰無仮説）を立てなくてはならないのに比べ、ベイズ統計学はより直接的で分かりやすいのです。

もう1つは、ベイズ統計学では、データ数が増えるほど研究仮説が正しい確率が0か1に収束していき、仮説の白黒がはっきりしてくることです。つまり、ベイズ統計学ではビッグデータがプラスに働くのです。これはこれからの時代に大変適した特徴です。

─ ベイズ的なアプローチをする際、私たちが気をつける点はどこでしょうか？

私は、有意性検定が機能しなくなった根本的な理由は、誰もが統計学者の決めたρ値<5％の基準を使っている点にあると考えています。本来、基準点を決める主導権は、統計学者ではなく、各分野の研究者がもつべきなのです。

「平均的に３キロ以上痩せられる」という研究仮説の正しい確率が87％と示されたとして、それが高いか低いかを判断するのは、統計学者ではなくダイエット科学を研究する方々であるべきです。ベイズ的アプローチならば、それが可能になります。

もちろん、ρ値<5％という基準が決まっていた方が論文の査読はしやすいのです。しかし、それで無意味な論文が増えるなら本末転倒です。たとえ論文数が減ったとしても、ベイズ統計学を用い、各分野の専門家が基準点を決めて査読すべきです。

それから、私がもう1つ、有意性検定が問題だと思うのは、「このようなパターンのデータに対してはこの検定」と、暗記中心で学ぶことになってしまう点です。これは、文科系のユーザーにとって有意性検定を支える数学が高度すぎるからです。対するベイズ統計学は、データの生成過程を見て、そこから有益な情報を取り出すための統計モデルを自分の手で作ります。難しい数学は必要ありません。つまり、有意性検定からベイズに移行すれば、統計学が暗記科目でなくなり、学生はデータがどのように生成されるかを深く理解し、自らモデルを考えて分析を行えるようになるのです。この点において、ベイズ統計学には教育上の望ましい特徴があります。