機械と学習する

統計解析、機械学習について学習したことをまとめていきます

統計モデリング

逆関数法を利用して切断指数分布に従う乱数を取得する

ちょっと切断指数分布に従う乱数が必要になったので、逆関数法を使って乱数を生成する方法をまとめました。でも、scipyに関数が用意されてるっぽい。。。

数値的逆関数法でノンパラメトリックな確率分布からサンプルを取得する

ちょっと必要になったので、ノンパラメトリックに推定した確率分布からサンプル取得をする数値的逆関数法を実装しました。

系列データの統計モデリング 〜カルマンフィルタとパーティクルフィルタの比較〜

系列データのモデリングと状態推定のシリーズ5回目。今回は、カルマンフィルタとパーティクルフィルタの比較をやってみました。

系列データの統計モデリング 〜カルマンフィルタ の導出と実装〜

系列データの統計モデリングについて整理してみるシリーズの4回目。今回はカルマンフィルタの導出と実装をしてみました。

系列データの統計モデリング 〜自己組織型状態空間モデルを利用した状態推定モデルのハイパーパラメータ推定〜

パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます。今回は、固定点平滑化を応用した状態空間モデルのパラメータ推論である自己組織化状態空間モデルを試してみました。

系列データの統計モデリング 〜ハイパーパラメータの推定〜

パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます。 今回は、前回既知としていたモデルのハイパーパラメータを直接法を利用して推論してみました。

系列データの統計モデリング 〜パーティクルフィルタによる状態推定〜

「予測にいかす統計モデリングの基本」を参考に、系列データの統計モデリングについて整理しています。 間違いあったら指摘いただけると助かります。

ベイズ推論により混合分布のパラメータ推論をやってみる 〜混合数の推論2〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。弊ブログでは数回にわたって、混合分布を使って遊んでみています(これが5記事目)。本記事では、これまで既知としていた混合数(クラスタ…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜混合数の推論1〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。弊ブログでは数回にわたって、混合分布を使って遊んでみています(これが4記事目)。第4弾、第5弾では、これまで既知としていた混合数(クラ…

ベイズ線型回帰:解析解の導出

線形回帰(基底関数モデル)の推論をベイズ的に行い、予測分布、MAP推定値、最尤推定量をそれぞれ比較してみました。

最尤法による一般化線形モデルのパラメータ推論

一般化線形モデル(ロジスティック回帰、ポアソン回帰)のパラメータ推論を最尤法を使って実装してみます。確率モデルとして考えることで統一した考え方ができます(わざわざ「〇〇回帰」みたいな名称を覚える必要ない)。

ベイズ推論により混合分布のパラメータ推論をやってみる 〜線形回帰モデルの混合〜

混合分布(混合モデル)はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。数回にわたって、混合分布を使って遊んでみています。第3弾では、線形回帰モデルのパラメータ推論(ベイズ線形回帰)と線形回帰モデルを混合…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜ガウス混合分布のパラメータ推論とクラスタリング〜

混合モデルは観測モデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。 これから数回にわたって、混合分布のパラメータ推論を近似ベイズ(MCMC)を使って遊んでみようと思います。第2弾の本記事では、ガウス混合分布のパ…

ベイズ推論により混合分布のパラメータ推論をやってみる 〜まずはガウス分布のパラメータ推論〜

混合モデルは観測モデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです。 これから数回にわたって、混合分布のパラメータ推論を近似ベイズ(MCMC)を使って遊んでみようと思います。第1弾の本記事では、混合分布の中でもよ…

変分推論による近似ベイズ推論

ベイズ推論について実装して理解するシリーズ。今回は、変分推論を使って近似ベイズ推論を行ってみます。変分推論の適用例として、ガウス分布のパラメータ推論と線形回帰を近似推論してみました。

サンプリングによる近似ベイズ推論 その3(MCMC:ギブスサンプリング)

ベイズ推論について実装して理解するシリーズ。今回は、MCMCアルゴリズムの一つであるギブスサンプリングです。ギブスサンプリングによって線形回帰(ベイズ線形回帰)の近似推定をしてみました。

サンプリングによる近似ベイズ推論 その2(MCMC:メトロポリス法)

ベイズ推論について実装して理解するシリーズの第2弾その2。 今回は、MCMCアルゴリズムの一つであるメトロポリス法を実装してみます。

サンプリングによる近似ベイズ推論 その1(モンテカルロ積分, 棄却サンプリング)

ベイズ推論について実装して理解するシリーズの第2弾。今回からサンプリングに基づいた近似ベイズ推論を扱います。本記事では、モンテカルロ積分と棄却サンプリングを実装してみます。

ベイズ線形回帰(解析解)の実装

ベイズ推論について理解するために実装するシリーズの第2弾。今回は線形回帰のパラメータ推論(いわゆる学習)を確率推論するベイズ線形回帰を実装してみました。

様々な確率分布

「ベイズ深層学習」を理解するために実装しながら読んで行きます。 今回は、第3章の内容で、特に確率分布についてです。

【読後メモ】データ解析のための統計モデリング入門(その3)

今更感ありますが、今回改めて「データ解析のための統計モデリング入門」を読みました。全3回の連載で各章にどのようなことが書かれているのかをまとめていきます。 第3回はGLMのベイズモデル化(第9章)と階層ベイズモデル(第10章)です。

【読後メモ】データ解析のための統計モデリング入門(その2)

今更感ありますが、今回改めて「データ解析のための統計モデリング入門」を読みました。全3回の連載で各章にどのようなことが書かれているのかをまとめていきます。 第2回は一般化線形混合モデル(第7章)からMCMC法(第8章)までです。

【読後メモ】データ解析のための統計モデリング入門(その1)

今更感ありますが、今回改めて「データ解析のための統計モデリング入門」を読みました。 読んだ感想としては、データ解析、統計モデリングの初学者は少なくともこれくらいは知っておいた方が良いと思います。ディープラーニングが流行りだし派手ですが、基本…

データの性質を理解する

統計モデリングという視点で、AIや平均値の意味を考察。 データの背景を確率モデルという形で解釈するための枠組みが統計モデリングであり、AIもデータの分布を推定するものとみることができる。 統計について、基礎的な部分ですが私の考えをまとめました。