理解 pyro 上的深度马尔可夫模型代码

Question

我正在浏览 pyro 网站上给出的深度马尔可夫模型代码：

https://pyro.ai/examples/dmm.html

我对他们实现的组合模块感到非常困惑。您可以在此 GitHub 页面的第 104 行找到组合器模块：

https://github.com/pyro-ppl/pyro/blob/dev/examples/dmm/dmm.py

他们关注的文章是：

https://arxiv.org/abs/1609.09869

他们在第 4 节（结构化推理网络）中解释了组合器模块。我真的很困惑为什么他们从 GitHub 上的第 104 行开始在代码中进行三个线性转换。他们不只是假设使用 RNN 来产生分布还是我错过了什么？见解将不胜感激。

Answer 1

Combiner 模块实现对应于第 4 页底部描述的公式，“结构化近似的组合函数（用于 DKS）”。 mu_t 是loc，sigma_t**2 是scale。

RNN 状态用于参数化分布，但该分布由两个变量参数化。这些变量是通过相关转换从 RNN 状态中提取出来的。