Vowpal Wabbit 公式中的自适应更新答案

【问题标题】：Adaptive Updates In Vowpal Wabbit FormulaVowpal Wabbit 公式中的自适应更新
【发布时间】：2015-04-16 04:58:59
【问题描述】：

我正在查看以下 2 个关于使用 --adaptive 标志时 VW 所做更新的演示。似乎这些是不同的。

用这两种描述（分别）：

我的问题：

哪些是正确的（或者它们是相同的）？
对于数字 1，分母中似乎使用了 t+1 示例中的梯度。这是怎么做到的？这是否意味着新的权重（标记为 w_i）是例如 t+1 的权重？

【问题讨论】：

【解决方案1】：

如您所见，first presentation 在 AdaGrad 公式中包含错误/错字。公式should be w_{i, t+1} := w_{i, t} - (\eta * g_{i, t} / \sqrt{sum})，其中 sum=\sum_{t'=1 }^t g_{i, t'}^2.

在 VowpalWabbit 中，--adaptive（对应于 AdaGrad 的想法）默认开启。但是--normalized 和--invariant 默认也是打开的，这意味着在普通的 AdaGrad 之上应用了更多的技巧/改进。所有这些技巧的交互都很复杂，没有一张幻灯片可以描述所有方面，因此唯一的参考是源代码 (gd.cc)。

哪些是正确的（或者它们是相同的）？

我认为它们并不相同，但它们是复杂代码的不同“层”。我认为second presentation 的幻灯片 33（你引用为 #2）对应于幻灯片 31（你没有引用） first presentation，但我不确定。

【讨论】：

这是一个非常混乱的设置。 --sgd 是否将其设置为上面 #2 的幻灯片 11 上的更新？那么 --adaptive 真的是 --adaptive=TRUE 意味着这会打开以某种方式改变幻灯片 11？其他两个标志（--normalized 和--invariant）相同。