Variational Sequential Monte Carlo

[Kashalpha]

一言でいうと

事後分布の近似方法として、変分推論(Variational Inference)と逐次モンテカルロ法(Sequential Monte Carlo)を組み合わせたVariational Sequential Monte Carlo(VSMC)を提案した。

論文リンク

http://proceedings.mlr.press/v84/naesseth18a

概要

• まずVSMC分布族からのサンプルを生成するために、変分パラメータを持った提案分布に対するSequential Monte Carloを利用する(Algorithm 1)。
• ELBOの下限となるsurrogate ELBOを考える。surrogate ELBOとその微分はAlgorithm 1の副産物として推定することが可能。
• surrogate ELBOを目的関数とする確率的最適化(Stochastic Optimization)を実行する。
• python実装:https://github.com/blei-lab/variational-smc

先行研究

コメント