機械と学習する

統計解析、機械学習について学習したことをまとめていきます

2020-01-01から1年間の記事一覧

系列データの統計モデリング 〜カルマンフィルタとパーティクルフィルタの比較〜

系列データのモデリングと状態推定のシリーズ5回目。今回は、カルマンフィルタとパーティクルフィルタの比較をやってみました。

系列データの統計モデリング 〜カルマンフィルタ の導出と実装〜

系列データの統計モデリングについて整理してみるシリーズの4回目。今回はカルマンフィルタの導出と実装をしてみました。

系列データの統計モデリング 〜自己組織型状態空間モデルを利用した状態推定モデルのハイパーパラメータ推定〜

パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます。今回は、固定点平滑化を応用した状態空間モデルのパラメータ推論である自己組織化状態空間モデルを試してみました。

系列データの統計モデリング 〜ハイパーパラメータの推定〜

パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます。 今回は、前回既知としていたモデルのハイパーパラメータを直接法を利用して推論してみました。

系列データの統計モデリング 〜パーティクルフィルタによる状態推定〜

「予測にいかす統計モデリングの基本」を参考に、系列データの統計モデリングについて整理しています。 間違いあったら指摘いただけると助かります。

「ベイズ統計で実践モデリング」をPythonで実装する #2

「ベイズ統計で実践モデリング」という書籍に掲載の事例をPythonで実装してみます。生で書くのではなく、PyMC、Pyroという二つのPPLを使ってを書いていきます。 今回は第4章のガウス分布を使った推論です。

「ベイズ統計で実践モデリング」をPythonで実装する #1

「ベイズ統計で実践モデリング」という書籍に掲載の事例をPythonで実装してみます。生で書くのではなく、PyMC、Pyroという二つのPPLを使ってを書いていきます。個人的なPPLの練習です。

Pyroを使った確率モデルの近似推論

良いという噂のPyroを触ってみました。 Pyroを使って変分推論とMCMC(NUTS)でパラメータ推論するためのメモです。もっと良い書き方あれば教えてください。

ベイズ推論により混合分布のパラメータ推論をやってみる 〜混合数の推論2〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。弊ブログでは数回にわたって、混合分布を使って遊んでみています(これが5記事目)。本記事では、これまで既知としていた混合数(クラスタ…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜混合数の推論1〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。弊ブログでは数回にわたって、混合分布を使って遊んでみています(これが4記事目)。第4弾、第5弾では、これまで既知としていた混合数(クラ…

【LTネタ】PyMCを使えばちょっと複雑な確率モデルも怖くない

8/8のPPLに関する勉強会でLTしてきたので、資料と簡単な解説をまとめます。

ベイズ線型回帰:解析解の導出

線形回帰(基底関数モデル)の推論をベイズ的に行い、予測分布、MAP推定値、最尤推定量をそれぞれ比較してみました。

最尤法による一般化線形モデルのパラメータ推論

一般化線形モデル(ロジスティック回帰、ポアソン回帰)のパラメータ推論を最尤法を使って実装してみます。確率モデルとして考えることで統一した考え方ができます(わざわざ「〇〇回帰」みたいな名称を覚える必要ない)。

自動微分変分推論でガウス混合モデルのパラメータ推論 〜PyMC3を使った実装〜

変分推論の自動化アルゴリズムの一つ、ADVI(自動微分変分推論)を使ってガウス混合分布のパラメータ推論をやってみました。ADVIはPyMC3に実装されているので、モデルを定義すれば簡単に試すことができました。

ベイズ推論により混合分布のパラメータ推論をやってみる 〜線形回帰モデルの混合〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。数回にわたって、混合分布を使って遊んでみています。第3弾では、線形回帰モデルのパラメータ推論(ベイズ線形回帰)と線形回帰モデルを混合…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜ガウス混合分布のパラメータ推論とクラスタリング〜

混合モデルは観測モデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。 これから数回にわたって、混合分布のパラメータ推論を近似ベイズ(MCMC)を使って遊んでみようと思います。第2弾の本記事では、ガウス混合分布のパ…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜まずはガウス分布のパラメータ推論〜

混合モデルは観測モデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。 これから数回にわたって、混合分布のパラメータ推論を近似ベイズ(MCMC)を使って遊んでみようと思います。第1弾の本記事では、混合分布の中でもよ…