线性代数复习————以MIT18.06为指导

本文从MIT的线代教程的角度重新学习线性代数。

前置定义

线性组合(Linear combination)是线性代数中具有如下形式的表达式。其中$v_i$为任意类型的项,$a_{i}$为标量。这些标量称为线性组合的系数或权。
$$
w=a_{1}v_{1}+a_{2}v_{2}+a_{3}v_{3}+\cdots +a_{n}v_{n}
$$

方程组的几何解释

以下面的方程进行讨论
$$
\begin{equation}
\begin{bmatrix}
2 & -1 \\
-1 & 2 \\
\end{bmatrix}
\begin{bmatrix}
x \\
y \\
\end{bmatrix}
=
\begin{bmatrix}
0 \\
3 \\
\end{bmatrix}
\end{equation}
$$
首先可以从行向量的角度来看待,它是平面内两条线的交点。
同时还可以从列向量的角度来看待,如何对两个列向量进行线性组合,从而得到右边的向量。
$$
\begin{equation}
x
\begin{bmatrix}
2 \\
-1 \\
\end{bmatrix}
+
y
\begin{bmatrix}
-1 \\
2 \\
\end{bmatrix}
=
\begin{bmatrix}
0 \\
3 \\
\end{bmatrix}
\end{equation}
$$

考察方程$Ax=b$是否有界,等价于所有列的线性组合能否填满整个空间。

矩阵消元

考虑下面的方程
$$
\begin{equation}
\begin{bmatrix}
1&2&1 \\
3&8&1 \\
0&4&1 \\
\end{bmatrix}
x
=
\begin{bmatrix}
2 \\
12 \\
2 \\
\end{bmatrix}
\end{equation}
$$

首先消元,做成上三角矩阵$U$。方法就是首先选定first pivot主元,位于第一行第一列的1,然后将下面的(2, 1)(3, 1)都消掉。如果主元是0,就换行。如果通过换行不能得到三个主元,那么这个矩阵就是坏的。行列式是所有主元元素的乘积(这个我听课的时候没听到)
下面是回代,即通过增广矩阵(augment matrix),将$Ax=b$变成$Ux=C$。
我们定义$E_{21}$表示能够对位置(2, 1)进行消元的矩阵,它应该是

$$
\begin{equation}
\begin{bmatrix}
1&0&0\\
-3&1&0 \\
0&0&1 \\
\end{bmatrix}
\end{equation}
$$
同理,我们还有$E_{32}$,那么我们就能够构成整个消元的过程,容易看到,变换是满足结合律的
$$
U = (E_{32} (E_{21} A))
$$
我们可以组合起来得到,这里的$E$是一个初等矩阵
$$
U = E A
$$

转置(permutation),左乘表示行变换,右乘表示列变换。因此我们常常看到有$x^T A x$这样的变换方式,这种实际上是二次型,对行和列都会进行变换。
$$
\begin{equation}
\begin{bmatrix}
0&1 \\
1&0 \\
\end{bmatrix}
\begin{bmatrix}
a&b \\
c&d \\
\end{bmatrix}
=
\begin{bmatrix}
c&d \\
a&b \\
\end{bmatrix}
\end{equation}
$$

$$
\begin{equation}
\begin{bmatrix}
a&b \\
c&d \\
\end{bmatrix}
\begin{bmatrix}
0&1 \\
1&0 \\
\end{bmatrix}
=
\begin{bmatrix}
b&c \\
d&a\\
\end{bmatrix}
\end{equation}
$$

矩阵乘法和逆矩阵

本章首先提出了矩阵乘法的五种看待方法,考虑矩阵乘法$A B = C$,其大小分别为$(m \times n) \times (n \times p) = (m \times p)$。
$$
A =
\begin{equation}
\begin{bmatrix}
1&3 \\
2&7 \\
\end{bmatrix}
\end{equation}
$$

第一种方法是最传统的,左边的行乘上右边的列,我们得到的是一个点。
第二种方法看做左边的矩阵,分别去乘上右边矩阵的每一列,这样得到$m$个列向量,然后我们把它们拼起来就能得到$C$
第三种方法看做左边的矩阵的每一行,分别去乘上右边矩阵,这样得到$p$的行向量,然后我们把它们拼起来就能得到$C$
第四种方法看做左边的矩阵的每一列,分别去乘上右边矩阵对应的行,得到$n$个矩阵,然后我们将它们对应位置加起来就能得到$C$
第五种方法是分块矩阵。

对于方阵而言,左逆等于右逆$A^{-1} A = I = A A^{-1}$。
一个可逆矩阵就是非奇异的non singular。

LU分解

逆矩阵的特性,这个只要注意到$AA^{-1}=I$就可以了,教授用了一个经典的比喻,就是穿衣服先穿里面的,再穿外面的;那么脱衣服也要先脱里面的,再脱外面的。
$$
(AB)^{-1} = B^{-1}A^{-1}
$$
证明如下,然后用结合律就行了
$$
(AB) B^{-1} A^{-1}
$$
这其实反映了把矩阵作为变换的一种角度的思考,类似地,还有
$$
(AB)^T = B^T A^T
$$
另外一个性质是
$$
(A^T)^{-1} = (A^{-1})^{T}
$$
证明是
$$
(AA^{-1})^{T} = (A^{-1})^T A^T = I
$$
关于逆和转置的性质,可以进一步从范畴论上来描述,但我目前还没怎么看懂。

LU分解将一个矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积,有时需要再乘上一个置换矩阵P,作为PLU分解。

转置与向量空间

置换矩阵$P$是对行重排的$I$,共有$n!$种。具有性质$P^{-1} = P^T$
对称矩阵定义是$A^T = A$,容易得到$R^T R$是对称的,证明就是用上一章提到的性质就行。

vector space表示向量空间,它需要对加法和数乘封闭。
subspace表示子空间。0向量一定在子空间里面,因为任何一个向量和0数乘都是0向量,而向量空间对数乘是封闭的。
两个子空间的交集一定是子空间,可以想象三维空间里面的一条线是一个子空间,那么两条线的交点一定也在这个三维空间里面。证明的话就是
$$
x \in U \wedge x \in V \\
y \in U \wedge y \in V \\
x + y \in U \\
x + y \in V \\
x + y \in (U \cap V) \\
$$

两个子空间的并集不一定是子空间,可以想象我们用两个坐标轴做加法可以张成一个平面,但平面上的向量并不都在两个坐标轴上面。

线性空间

column space表示列空间。主要用来描述$Ax = b$这个方程的解。列空间是由矩阵$A$的所有列向量生成的$R^m$上的子空间,记作$C(A)$。矩阵$A$的列空间$C(A)$中的所有向量均为矩阵$A$中列向量的某种线性组合,都为$R^m$上的向量(即$m$维向量)。那么显而易见的就是说当$b$在$A$的列空间中时, 这个方程有解。
null space表示零空间。主要用来描述$Ax = 0$这个方程的解。

Reference

  1. https://zh.wikipedia.org/wiki/%E8%A1%8C%E7%A9%BA%E9%97%B4%E4%B8%8E%E5%88%97%E7%A9%BA%E9%97%B4
  2. https://zh.wikipedia.org/wiki/LU%E5%88%86%E8%A7%A3
  3. 特征向量