如果结果已知，则条件熵答案

【问题标题】：Conditional Entropy if outcome is known如果结果已知，则条件熵
【发布时间】：2016-04-13 10:11:19
【问题描述】：

我有一个关于熵和信息流的问题。假设 X = {-1, 1};这意味着它可以是 -1 或 1，并且 Y 的以下赋值：

Y := X * X

我的问题是，赋值后 Y 的值永远为 1。如果 X = -1，则 Y=1，如果 X = 1，则 Y=1。知道了这一点，我还能假设条件熵 H(X/Y) = 0，因为知道 X 总会告诉你 Y 的值。另一方面，条件熵 H(Y/X) = 1.0 因为知道 Y 不会给我X。我在思考正确的方向吗？请帮忙

【问题讨论】：

【解决方案1】：

您是部分正确的，尽管您的符号和定义似乎相当“交换”。

H(X|Y) is entropy of X given Y rather than entropy of Y given X.

另外，您应该尝试更仔细地查看这里的情况。由于 X 和 Y 之间的关系非常明确，这意味着 Y = f(X)。在那种情况下，正如你所说，条件熵是 always 0（但你的符号被交换了）。所以应该是

H(Y|X) = 0

另一方面，如果你有 Y，你完全不知道 X 是什么，而且 -1 和 1 的概率相等。所以在这种情况下

H(X|Y) = 1

【讨论】：

谢谢伊恩。我真的很感谢你为我解决这个问题。 :)
很高兴我的解释能有所帮助。不过，这种话题在 SO 中并不常见。通常你在这里展示的是代码和你的问题，尽管你也可能会问一些更概念性的东西。
不，不，我不是那个意思。我的意思是我检查了使用标签entropy 询问的人数，这非常罕见。 1000 万个问题中只有 270 个。
最后一个问题。如果 H(X/Y) 表示信息将从 Y -> X 流出，而 H(X/Y) 信息将从 X -> Y 流出。对吗？
在更严格的意义上，X|Y 仅表示给定 Y 的 X，这个符号在概率和统计的任何地方都使用。所以从这个意义上说，松散地翻译为信息流，因为 Y 先出现，它可以翻译为流 Y 然后 X。