线性代数
-
理解线性
- 在一维空间看到一条线，二维空间看到个平面， 三维以上超平面，反正直的，均匀的。
-
什么叫线性的问题解决
-
很多非线性问题可以通过线性问题来解决。
-
线性方程组
以前我们是用的消元法，现在还是流行用矩阵来解决这些问题。 -
线性可分和线性不可分
- 在一个空间内能够把两个东西分开，在超平面内能把这些分开。
-
理解过拟合
-参数量过多，数据太少，导致xy可以采取任何值，最后导致无穷解
参数量过少，数据太多，导致解决不了，最终模型不够聪明，导致无法算出。 -
核方法 - 解决非线性问题可以采用非线性函数解决问题，也可以采取核函数升维解决问题。
-
张量
- 标量 - 0维张量
- 向量 - 一维张量维
- 矩阵 - 二维张量，向量组合在一起就叫做矩阵
- 张量 - 三维以上，张量
-
范数
- 衡量向量大小
- 二范数，向量的模。
- 0范数表示非0的个数，1范数就是绝对值，2范数就是模长距离。
- 谱范数
-
归一化 Normalize
- 将数据限制到[-1,1]的操作
- 利于反向传播
- 常用归一化 二范数归一化
-
行列式
- 衡量矩阵大小
- 具体如何计算，需要计算机去算。
- 行列相等叫做方阵
-
常用的矩阵
- 上三角阵
- 下三角阵
- 0矩阵
- 1矩阵
- 单位矩阵
-
内积与投影
一个向量在另外一个向量上的投影，判断两个向量之间的相似程度 -
余弦相似度
判断两个向量之间的相似程度。判断正相关，负相关
最大正相关，最大负相关，垂直就是不相关。 -
相关性
空间变换中调整其中一个轴的值，导致另外一个轴的值发生变化，可以理解为这两个轴相关。- 垂直一定不相关，但是不相关不一定垂直
-
线性变换
- 点移动，坐标系不变
- 坐标系变，点不变。
- 改变整个空间，让整个坐标系一起移动
- 变换矩阵
- 向量乘以一个变换矩阵就等于这个矩阵做了一个线性变换，得到一个新的向量。
- 矩阵乘法的意义：线性变换的意义，就是乘以一个变换矩阵得到一个新的张量。
-
仿射变换
- 线性变换是一种特殊的仿射变换，图像的旋转，平移什么的，都只需要乘以一个变换矩阵。
-
特征方程
一个向量经过变换矩阵，再投影到x轴上，与这个向量乘以一个标量投影到x轴上结果等价。
特征向量就是轴。
计算需要浮点数 -
相似矩阵
AB矩阵等价，称为相似矩阵。 -
奇异值分解
-
余弦相似度，斜对角阵。
对角阵乘以一个矩阵好算。
-
-
谱范数
- 当不上方阵时，求得伪逆，叫做奇异值。称为谱。