箱ひげ図

さて、今回のジュース飲み比べは、違うコップに分けられているから味の違いが「比較」できましたね。

そう、混ざると見分けがつきにくいんです。データの分布の可視化においても、同じことを考えないといけません。

統計学の現実の活用として、新薬の効果判断の事例があることをご紹介しましたね。

新薬を投与する被験者集団、投与しない被験者集団、の2つに分けて実験を行い、2つのデータを比較・分析します。

前回学んだヒストグラムで、2つのデータを比較してみると、例えば以下のようになります。

ヒストグラムはスペースをとってしまう、2つ以上重ねて比較しようとすると見づらいという視覚上の弱点があります。

複数データの分布の比較では、以下のような可視化の方法が便利です。この見せ方を「箱ひげ図」と言います。

「パーセンタイル（分位点）」という考えかたを理解する必要があります。詳しくみていきましょう。

パーセンタイルとは、指定したランキング（観測値の相対的位置）に対応する値のことです。

観測値を小さい順に並べて、1番小さい値は？大きい値は？真ん中の値は？というように、指定した位置から対応する値を探しにいきます。

例えば大学入試を考えましょう。定員が決まっていて入試点数上位100名まで入学可能、といった場合、受験生にとってはランキングが非常に重要なものになります。

このとき、最高得点は（1番は）？最低得点は（ドベは）？上位10%の人は何点以上とっているだろうか？など、ランキングに対応する値を知りたくなってきます。

X%の位置の値は、Xパーセンタイルと言います。例えば30%の位置の値は30パーセンタイルです。

データの大きさ（観測値の個数）によらずに、全体の中の「相対的な位置」としてランキングを表現できるからです。

データの大きさが5のデータと、13のデータを考えましょう。注目するランキングとして、「ちょうど真ん中」に位置する値を知りたいとしましょう。

このようにデータによって順位が変わってしまうので、どのランキングの話をしているのか混乱してくるんです。

パーセントでちょうど真ん中というランキングを表現すると、どちらのデータも「50%の位置」となります。

よく使う「データの一番小さいもの」、「データの一番大きいもの」、これもパーセントによる指定なんです。最小値が0%、最大値が100%になります。

そのほかに、観測値全体を等分していったときに、1/4（=25%）の位置、3/4（=75%）の位置、といったものがよく使われます。

また、少し細かな話ですが、指定したパーセントの位置に対応する観測値がないときは、数値を補完をします。

例えば、データの個数が偶数の場合、50%の位置（中央値）に対応する値は、両隣にある観測値の平均をとります。

それでは、箱ひげ図に戻りましょう。

25%の位置の値（25パーセンタイル）を第1四分位点、75%の位置の値（75パーセンタイル）を第3四分位点と言います。この間にある値が箱に入ります。

箱ひげ図には実は便利なアラート機能がついているのです！

箱ひげ図では「理論的な」最小値と最大値を設定します。この範囲を超えた観測値は、「この観測値は他の観測値と比べると値がかなり違っている」とアラートを出します。

極端な外れ値の存在は計算に大きな影響を与えるので、慎重に扱う必要があります。これから学ぶ平均や分散は外れ値の影響を受けやすく、結果が意図しないものになります。

観測値の計測の正しさや発生要因を確かめて、場合によっては除去したり分析の前提を見直したりします。

「ヒゲの長さは、箱の長さの1.5倍まで」と決めて、それを超えた観測値は外れ値として、ヒゲでなくて点で表します。