【統計検定準一級】第8章統計的推定の基礎 #3【番外編】

【概要】

統計検定準一級対応統計学実践ワークブックの問題を解いていくシリーズの番外編
8章「統計的推定の基礎」の内容をまとめます
今回は推定量を評価する基準として「不偏性」という性質を扱います

【目次】

はじめに
8章の流れ
推定量の性質
- 不偏性
参考資料

はじめに

「統計学実践ワークブック(参考資料1)」の問題を解いていくシリーズをやっていく中で、8章「統計的推定の基礎」の内容をさっぱり理解していないことがわかったので、改めて整理しています。

参考にした資料は参考文献に列挙しています。中でも主に文献4を参考にしています。

心優しい方、間違いに気付いたら優しく教えてください。

【トップに戻る】

8章の流れ

統計の目的の一つとして、「未知パラメータの推定」という問題があり、この章ではその中でも「点推定」について扱っています*1。「区間推定」については9章で扱われています。

情報の集約
- 推論を行うにあたって、生データを全て保存するのではなく、情報を集約できればうれしい（メモリ的に）
- → 「十分統計量」
推定法
- パラメータの点推定を行うためにはいくつか方法がある
- → モーメント法
- → 最尤推定
推定量の評価、推定量の性質
- 推定法は複数の方法がある。推定量は、真のパラメータ $\theta$ *2の周辺に集中して欲しい。そこでその期待を満たすかをいくつかの指標で評価する。
- → 不偏性
  - 推定量に偏り（バイアス）がない推定量が望ましい
  - → クラメール・ラオの不等式 : 不偏推定量の分散の下限を評価
  - → 有効推定量 : クラメール・ラオの不等式を満たす不偏推定量
- → 漸近的性質
  - 標本サイズを大きくしたと仮定した場合の漸近的な評価基準についての議論
  - → 一致性 : 推定量が真のパラメータ $\theta$ に確率収束すること
  - → 漸近有効性 : 漸近的な分散が下限に達していること（クラメール・ラオの下限に対応）
  - → 一致性
  - → 漸近正規性

この流れに沿って、確認内容をまとめていこうと思います。

今回は、推定量を評価する基準として「不偏性」という性質を扱います。

【トップに戻る】

推定量の性質

前回は、パラメトリックなモデルにおけるパラメータの推論方法として、「モーメント法」と「最尤法」を扱いました。

パラメータの推論方法は他にも事後確率最大化法（MAP推定）などの方法がありますが、それらの推定量の性質を評価して、どのような推定量が好ましいのかを議論していきます。

不偏性

推定量 $\hat{\theta}$ は、データによって結果が変わるので確率変数です。確率変数なので、なんらかのばらつきを持っています。

この推定量 $\hat{\theta}$ が有していて欲しい性質として、真のパラメータ $\theta$ の周辺にばらついて欲しいということがあります*3。データから推定したいのは真のパラメータ $\theta$ であり、全然別の所に推定量のピークが立っていても全然嬉しくないですからね。

さらに、推定量 $\hat{\theta}$ が $\theta$ を中心にしていても大きくばらついていたらうれしくないです。

ということで、推定量 $\hat{\theta}$ の期待値と分散を評価するのが、推定量の評価基準として第一に挙げられます。以下の手書きメモのように、 $\hat{\theta}$ の期待値が $\theta$ と一致する推定量を「不偏推定量(unbiased estimator)」と定義されています。

また、 $\hat{\theta}$ の期待値と $theta$ の差を「バイアス(bias)」と呼びます。