機械と学習する

統計解析、機械学習について学習したことをまとめていきます

変分推論

Pyroを使った確率モデルの近似推論

良いという噂のPyroを触ってみました。 Pyroを使って変分推論とMCMC(NUTS)でパラメータ推論するためのメモです。もっと良い書き方あれば教えてください。

自動微分変分推論でガウス混合モデルのパラメータ推論 〜PyMC3を使った実装〜

変分推論の自動化アルゴリズムの一つ、ADVI(自動微分変分推論)を使ってガウス混合分布のパラメータ推論をやってみました。ADVIはPyMC3に実装されているので、モデルを定義すれば簡単に試すことができました。

変分推論による近似ベイズ推論

ベイズ推論について実装して理解するシリーズ。今回は、変分推論を使って近似ベイズ推論を行ってみます。変分推論の適用例として、ガウス分布のパラメータ推論と線形回帰を近似推論してみました。