機械と学習する

統計解析、機械学習について学習したことをまとめていきます

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#8

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第8回は5章「離散型分布」から2問。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#7

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第7回は4章「変数変換」から1問。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#6

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第6回は4章「変数変換」から1問。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#5

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第5回は3章「分布の特性値」から3問。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#4

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第4回は2章「確率分布と母関数」から2問。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#3

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第2回は1章「事象と確率」の最後の1問です。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#2

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 第2回は1章「事象と確率」の最後の1問です。

【統計検定準一級】統計学実践ワークブックの問題をゆるゆると解く#1

統計検定準一級対応 統計学実践ワークブックの問題を解いていくシリーズ。 初回は1章「事象と確率」から2問です。

数値的逆関数法でノンパラメトリックな確率分布からサンプルを取得する

ちょっと必要になったので、ノンパラメトリックに推定した確率分布からサンプル取得をする数値的逆関数法を実装しました。

ノンパラメトリック密度推定(ヒストグラム密度推定、カーネル密度推定)

ノンパラメトリックな確率密度推定法について実装して確認しました。実装したのは、ヒストグラム密度推定とカーネル密度推定です。

系列データの統計モデリング 〜カルマンフィルタとパーティクルフィルタの比較〜

系列データのモデリングと状態推定のシリーズ5回目。今回は、カルマンフィルタとパーティクルフィルタの比較をやってみました。

系列データの統計モデリング 〜カルマンフィルタ の導出と実装〜

系列データの統計モデリングについて整理してみるシリーズの4回目。今回はカルマンフィルタの導出と実装をしてみました。

系列データの統計モデリング 〜自己組織型状態空間モデルを利用した状態推定モデルのハイパーパラメータ推定〜

パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます。今回は、固定点平滑化を応用した状態空間モデルのパラメータ推論である自己組織化状態空間モデルを試してみました。

系列データの統計モデリング 〜ハイパーパラメータの推定〜

パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます。 今回は、前回既知としていたモデルのハイパーパラメータを直接法を利用して推論してみました。

系列データの統計モデリング 〜パーティクルフィルタによる状態推定〜

「予測にいかす統計モデリングの基本」を参考に、系列データの統計モデリングについて整理しています。 間違いあったら指摘いただけると助かります。

「ベイズ統計で実践モデリング」をPythonで実装する #2

「ベイズ統計で実践モデリング」という書籍に掲載の事例をPythonで実装してみます。生で書くのではなく、PyMC、Pyroという二つのPPLを使ってを書いていきます。 今回は第4章のガウス分布を使った推論です。

「ベイズ統計で実践モデリング」をPythonで実装する #1

「ベイズ統計で実践モデリング」という書籍に掲載の事例をPythonで実装してみます。生で書くのではなく、PyMC、Pyroという二つのPPLを使ってを書いていきます。個人的なPPLの練習です。

Pyroを使った確率モデルの近似推論

良いという噂のPyroを触ってみました。 Pyroを使って変分推論とMCMC(NUTS)でパラメータ推論するためのメモです。もっと良い書き方あれば教えてください。

ベイズ推論により混合分布のパラメータ推論をやってみる 〜混合数の推論2〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。弊ブログでは数回にわたって、混合分布を使って遊んでみています(これが5記事目)。本記事では、これまで既知としていた混合数(クラスタ…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜混合数の推論1〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。弊ブログでは数回にわたって、混合分布を使って遊んでみています(これが4記事目)。第4弾、第5弾では、これまで既知としていた混合数(クラ…

【LTネタ】PyMCを使えばちょっと複雑な確率モデルも怖くない

8/8のPPLに関する勉強会でLTしてきたので、資料と簡単な解説をまとめます。

ベイズ線型回帰:解析解の導出

線形回帰(基底関数モデル)の推論をベイズ的に行い、予測分布、MAP推定値、最尤推定量をそれぞれ比較してみました。

最尤法による一般化線形モデルのパラメータ推論

一般化線形モデル(ロジスティック回帰、ポアソン回帰)のパラメータ推論を最尤法を使って実装してみます。確率モデルとして考えることで統一した考え方ができます(わざわざ「〇〇回帰」みたいな名称を覚える必要ない)。

自動微分変分推論でガウス混合モデルのパラメータ推論 〜PyMC3を使った実装〜

変分推論の自動化アルゴリズムの一つ、ADVI(自動微分変分推論)を使ってガウス混合分布のパラメータ推論をやってみました。ADVIはPyMC3に実装されているので、モデルを定義すれば簡単に試すことができました。

ベイズ推論により混合分布のパラメータ推論をやってみる 〜線形回帰モデルの混合〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。数回にわたって、混合分布を使って遊んでみています。第3弾では、線形回帰モデルのパラメータ推論(ベイズ線形回帰)と線形回帰モデルを混合…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜ガウス混合分布のパラメータ推論とクラスタリング〜

混合モデルは観測モデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。 これから数回にわたって、混合分布のパラメータ推論を近似ベイズ(MCMC)を使って遊んでみようと思います。第2弾の本記事では、ガウス混合分布のパ…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜まずはガウス分布のパラメータ推論〜

混合モデルは観測モデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。 これから数回にわたって、混合分布のパラメータ推論を近似ベイズ(MCMC)を使って遊んでみようと思います。第1弾の本記事では、混合分布の中でもよ…

変分推論による近似ベイズ推論

ベイズ推論について実装して理解するシリーズ。今回は、変分推論を使って近似ベイズ推論を行ってみます。変分推論の適用例として、ガウス分布のパラメータ推論と線形回帰を近似推論してみました。

サンプリングによる近似ベイズ推論 その3(MCMC:ギブスサンプリング)

ベイズ推論について実装して理解するシリーズ。今回は、MCMCアルゴリズムの一つであるギブスサンプリングです。ギブスサンプリングによって線形回帰(ベイズ線形回帰)の近似推定をしてみました。

サンプリングによる近似ベイズ推論 その2(MCMC:メトロポリス法)

ベイズ推論について実装して理解するシリーズの第2弾その2。 今回は、MCMCアルゴリズムの一つであるメトロポリス法を実装してみます。