研究発表などを聞いていると、
「〇〇の検出率が1%向上しました」
というのを見かけることがあります。
そこでよく出てくる質問は、
「1%の向上に意味はあるのですか？」
というものです。
そして、大抵の場合、次のような返答が返ってきます。
「既存の手法で98%のところを、
99%まで向上させたのでとても有効です」
この返答を聞くと、なるほどと納得するのではないでしょうか。
もともとがほぼ100%近いもので、
残り2%足りない部分を、残り1%まで近づけたのだから、
確かにすごいことだと思わされるでしょう。
私たちはこのように受け取りがちですが、
本当にそうなのでしょうか。
確実性効果
実は、このような確率の受け取り方は、
確実性効果と呼ばれる心理的な効果の一つなのです。
確実性効果というのは、ざっくり言ってしまうと、
100%や0%のように、確率の関与が弱い状況を好む傾向のことです。
例えば、次の二つの選択を選んでくださいと言われると、
どちらの方が選ばれやすいでしょうか。
- 50%で表が出るコイントスで、表が出れば1万円、裏が出たら0円もらえる
- なにもせずにただ、5000円をもらう
上の選択肢は、期待値を考えれば、どちらも5000円で変わりませんが、
なんとなく、2つめの選択肢を選びたいと思うのではないでしょうか。
1つめは、コインが表ならより多くのお金をもらえますが、
コインが裏だと何ももらえなくなるので、
確実に5000円貰っておこうということですね。
このように、人は確実性の高いものを好む傾向があることが分かっています。
1%の改善
メールのスパムフィルターの精度が1%改善しましたと言われたとき、
50%→51%と、
98%→99%
だと、かなり受ける印象が変わってきますね。
同じ1%でも、下の98%→99%だと大きく改善したように感じられます。
これも確実性効果が働いた結果と言えるでしょう。
ところで、この1%の改善は、
本当に、98%→99%の方が凄いことなのでしょうか。
失敗の損失を考える
スパムフィルターがフィルタリングに失敗して、
スパムメールを通してしまうと、
メールに添付されたファイルからウイルス感染してしまうかもしれません。
ウイルスに感染すると、正常な状態に戻すのに、
PCショップに行ったりと余分な時間やお金がかかるかもしれません。
ということで、フィルタリングに失敗した場合の損失を仮に1万円としてみましょう。
スパムメールが10通、フィルターを通り抜ければ、損失は10万円です。
精度が98%→99%の場合
100通のメールをスパムフィルターにかけると、
精度が98→99%になった場合では、
期待される損失が2→1万円に減るので、損失が1万円減ったことになります。
精度が50%→51%の場合
同様に、50%→51%に改善された場合は、
期待される損失が50→49万円に減るので、損失は1万円減ったことになります。
つまり、どちらの場合でも、期待値で見ると、
損失が1万円経るというのは変わりません。
そういう意味では、
元々が98%か50%かを気にするのはナンセンスかもしれませんね。
まとめ
「1%改善」が、
「98%→99%」と聞くと印象がかなり変わることは、
確実性効果で説明できそうですね。
ただ、実際に「98%→99%」が効果的であるのかは、
印象におどらされているだけで、
結局、変化前の数字を見ずに
「1%」から受けた印象で判断するのが正解ということもあるかもしれませんね。
