【线代笔记】1.3 Matrices - 矩阵

1.3 Matrices - 矩阵

矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵

现有三个向量$\mathbf{u}=(1,-1,0)$u=(1,−1,0)，$\mathbf{v}=(0,1,-1)$v=(0,1,−1)，$\mathbf{w}=(0,0,1)$w=(0,0,1)，下面是他们的线性组合
$x_{1}\left[\begin{array}{r}{1} \\{-1} \\{0}\end{array}\right]+x_{2}\left[\begin{array}{r}{0} \\{1} \\{-1}\end{array}\right]+x_{3}\left[\begin{array}{l}{0} \\{0} \\{1}\end{array}\right]=\left[\begin{array}{l}{x_{1}} \\{x_{2}-x_{1}} \\{x_{3}-x_{2}}\end{array}\right]$x1​⎣⎡​1−10​⎦⎤​+x2​⎣⎡​01−1​⎦⎤​+x3​⎣⎡​001​⎦⎤​=⎣⎡​x1​x2​−x1​x3​−x2​​⎦⎤​

该式表达的$x_1\mathbf{u} + x_2\mathbf{v} + x_3\mathbf{w}$x1​u+x2​v+x3​w，可以用矩阵的方式来表达

$\mathbf{Ax}=\begin{bmatrix}1 & 0 & 0\\ -1 & 1 & 0\\ 0 & -1 & 1\end{bmatrix}\begin{bmatrix}x_1\\ x_2\\ x_3\end{bmatrix}=\begin{bmatrix}x_1\\ x_2-x_1\\ x_3-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}=\mathbf{b}$Ax=⎣⎡​1−10​01−1​001​⎦⎤​⎣⎡​x1​x2​x3​​⎦⎤​=⎣⎡​x1​x2​−x1​x3​−x2​​⎦⎤​=⎣⎡​b1​b2​b3​​⎦⎤​=b

矩阵与向量的积得到新的向量，Ax得到的结果b为矩阵A关于列的线性组合。

如果用行的观点来解释，b的每一个分量都是矩阵A每一行与x的点积

$A \boldsymbol{x}=\left[\begin{array}{rrr}{1} & {0} & {0} \\{-1} & {1} & {0} \\{0} & {-1} & {1}\end{array}\right]\left[\begin{array}{l}{x_{1}} \\{x_{2}} \\{x_{3}}\end{array}\right]=\left[\begin{array}{c}{(1,\ 0,\ 0) \cdot\left(x_{1}, x_{2}, x_{3}\right)} \\{(-1,1,0) \cdot\left(x_{1}, x_{2}, x_{3}\right)} \\{(0,-1,1) \cdot\left(x_{1}, x_{2}, x_{3}\right)}\end{array}\right]$Ax=⎣⎡​1−10​01−1​001​⎦⎤​⎣⎡​x1​x2​x3​​⎦⎤​=⎣⎡​(1, 0, 0)⋅(x1​,x2​,x3​)(−1,1,0)⋅(x1​,x2​,x3​)(0,−1,1)⋅(x1​,x2​,x3​)​⎦⎤​

Linear Equations - 线性方程组

---

Find the input x that gives the desired output b = Ax

之前的问题: 通过计算线性组合 $x_1\mathbf{u} + x_2\mathbf{v} + x_3\mathbf{w}$x1​u+x2​v+x3​w 来得到 b。
本节的问题: 对于特定的b，找出符合条件的关于u, v, w的线性组合。

如果b=0，输入只能是x=0。对于这样的矩阵A，我们称A是可逆的，可以从b求得$\mathbf{x=A^{-1}b}$x=A−1b

The Inverse Matrix - 逆矩阵

---

把重点关注到上一节问题的解$\mathbf{x=A^{-1}b}$x=A−1b上
$\left[\begin{array}{l}{x_{1}} \\{x_{2}} \\{x_{3}}\end{array}\right]=\left[\begin{array}{l}{b_{1}} \\{b_{1}+b_{2}} \\{b_{1}+b_{2}+b_{3}}\end{array}\right]=\left[\begin{array}{lll}{1} & {0} & {0} \\{1} & {1} & {0} \\{1} & {1} & {1}\end{array}\right]\left[\begin{array}{l}{b_{1}} \\{b_{2}} \\{b_{3}}\end{array}\right]$⎣⎡​x1​x2​x3​​⎦⎤​=⎣⎡​b1​b1​+b2​b1​+b2​+b3​​⎦⎤​=⎣⎡​111​011​001​⎦⎤​⎣⎡​b1​b2​b3​​⎦⎤​

我们将右边的这个新的矩阵称为原来矩阵A的逆矩阵$A^{-1}$A−1

同过观察我们可以发现，Ax=b是一个差分方程，该过程可以和微分与积分相联系

$\mathbf{A x=b \text { and } x=A^{-1} b} \quad \frac{d x}{d t}=b \text { and } x(t)=\int_{0}^{t} b d t$Ax=b and x=A−1bdtdx​=b and x(t)=∫0t​bdt

Cyclic Differences - 循环差阵

---

保持$\mathbf{u}=(1,-1,0)$u=(1,−1,0)，$\mathbf{v}=(0,1,-1)$v=(0,1,−1)不变，$\mathbf{w^{*}}$w∗变为新向量$\mathbf{w}^*=(-1,0,1)$w∗=(−1,0,1)，可以得到

$\mathbf{C x}=\left[\begin{array}{rrr}{1} & {0} & {-1} \\{-1} & {1} & {0} \\{0} & {-1} & {1}\end{array}\right]\left[\begin{array}{l}{x_{1}} \\{x_{2}} \\{x_{3}}\end{array}\right]=\left[\begin{array}{l}{x_{1}-x_{3}} \\{x_{2}-x_{1}} \\{x_{3}-x_{2}}\end{array}\right]=\mathbf{b}$Cx=⎣⎡​1−10​01−1​−101​⎦⎤​⎣⎡​x1​x2​x3​​⎦⎤​=⎣⎡​x1​−x3​x2​−x1​x3​−x2​​⎦⎤​=b

对于上述等式，我们发现：

1. 与A不同，矩阵C并不是一个三角矩阵。

2. 对于$\mathbf{Cx=0}$Cx=0，任何类似$\mathbf{x}=(3,3,3)$x=(3,3,3)的常数向量都能成立

3. 若$\mathbf{b} = (1,3,5)$b=(1,3,5)，则对于$\mathbf{Cx=b}$Cx=b，则无法存在解，说明这三个向量的线性组合无法表达整个三维空间

4. 要满足等式，必须使得$b_1+b_2+b_3=0$b1​+b2​+b3​=0，与左侧的三个差分式子的和相等

即所有$x_1\mathbf{u} + x_2\mathbf{v} + x_3\mathbf{w^*}$x1​u+x2​v+x3​w∗的线性组合都在$b_1+b_2+b_3=0$b1​+b2​+b3​=0的平面上

两个矩阵A和C的差别用图像来表示：

Independence and Dependence - 独立与非独立

---

关于矩阵A和C，根据第三个向量w是否在前两个向量构成的平面上，我们定义：

• Independence ：w is not in the plane of u and v.
• Dependence ：w^* is in the plane of u and v.

非独立，$\mathbf{w^{*}}$w∗可以表示为u和v的线性组合：

$\mathbf{u+v+w^{*}}=0 \quad \mathbf{w^{*}}=\left[\begin{array}{r}{-1} \\{0} \\{1}\end{array}\right]=\mathbf{-u-v}$u+v+w∗=0w∗=⎣⎡​−101​⎦⎤​=−u−v

回到两个等式的解上：

• $\mathbf{u, v, w}$u,v,w are independent. No combination except $\mathbf{0u+ 0v +0w= 0}$0u+0v+0w=0 gives b = 0.
• $\mathbf{u, v, w^{*}}$u,v,w∗ are dependent. Other combinations like $\mathbf{u} + \mathbf{v} + \mathbf{w^*}$u+v+w∗ give b = 0.

根据以上的两个特点，针对矩阵进行分类：

• Independent columns:$\mathbf{Ax=0}$Ax=0 has one solution. A is an invertible matrix.
• Dependent columns: $\mathbf{Cx=0}$Cx=0 has many solutions. C is a singular matrix.