感知器算法/线性回归的基本直觉

Question

我正在研究神经网络，我遇到了以下xorcise（那是个笑话！）问题。

我问我的朋友是否需要实现感知器算法来解决这个问题，他说“不用——想想吧”。好吧，我想了想，但我的小猴脑只能想出以下几点：

我朋友的话让我觉得这是一个技巧问题，到目前为止我们讨论的唯一技巧是感知器无法执行 XOR 函数。

这是这个问题的意思吗？

如何解决这个问题？...

A simple Perzeptron with two inputs x₁, x₂,  
BIAS, and transfer function y = f(z) = sgn(z), 
separates the two dimensional input space into 
two parts with help of a line g. 

Calculate for this Perzeptron the weights 
w1, w2, wb, so that the line separates 
the given 6 patterns (pX1, pX2; Py) into 
two classes:

1X = (0,  0;  -1), 
2X = (2, -2; +1), 
3X = (7 + ε, 3 - ε; +1), 
4X = (7  -  ε, 3 + ε; -1), 
5X = (0, -2 - ε; +1), 
6X = (0 - ε, -2; -1), 


Remark: 0 < ε << 1. 

Answer 1

如果您绘制这些点，您会看到所有 -1 都在左上角，所有 +1 都在右下角。您可以画一条与 (0, -2) 和 (7,3) 相交的线，从而得到以下表达式：

y = 5x/7 - 2

这足以跳过运行任何算法。

预测+1次出现的直线方程由下式给出：

y < 5x/7 - 2 

上面的线将二维空间一分为二。阴影区域位于线下方，线向上并向右移动。因此，对于任意点，您只需确定它是否在阴影区域（正预测 = +1）。

说，(pX1, pX2) = (35, 100)，

1) 一种方法是将 pX1 重新代入公式中（对于 x' = pX1）以找到直线上最近的部分（其中 y=5x/7-2）：

y' = 5(35)/7 - 2
y' = 23

由于线上的点是(35, 23)，而我们感兴趣的点是(35, 100)，所以它在线上。换句话说，pX2 不

2) 绘制 y'=100，所以

100 = 5x/7-2 
x = 142.8

线点=(142.8, 100)，你的点(35, 100)，我们的点在线点的左边，仍然落在阴影区域之外。

3) 您甚至可以将其绘制成图表并直观地检查它是否在阴影区域中

关键是必须进行一些计算来检查它是 IN 还是 OUT。这就是线性回归的意义所在。机器应该很容易计算出来，因为你只是在计算一件事。一旦你有了你的公式，预测应该很快。最难的部分是确定直线的公式，我们已经通过绘制点图并看到了一个明显的解决方案来完成。如果你使用机器学习，在这种情况下需要更长的时间。