Linear Algebra
Linear Algebra
本篇线性代数内容主要讲解一下关键的地方，以及一些重要的二级结论推导。全文没有严格的上下文关系。
催更｜辅导｜私塾兼职｜联系偷偷：LifeGoesOn_Rio
1. 哈密尔顿-凯莱定理（Cayley-Hamilton Theorem）
哈密尔顿-凯莱定理是线性代数中的一个重要定理，它描述了每个方阵都满足自己的特征多项式。
定理内容： 设 $A$ 是一个 $n \times n$ 的方阵，其特征多项式为
$$
p_A(\lambda) = \det(\lambda I - A) = c_n \lambda^n + c_{n-1} \lambda^{n-1} + \dots + c_1 \lambda + c_0
$$
其中 $I$ 是 $n$ 阶单位矩阵，$c_i$ 是多项式的系数。
那么，将矩阵 $A$ 代入它的特征多项式，会得到：
$$
p_A(A) = c_n A^n + c_{n-1} A^{n-1} + \dots + c_1 A + c_0 I = 0
$$
即 矩阵 $A$ 代入自己的特征多项式后，结果是零矩阵。
证明思路（大致想法） 哈密尔顿-凯莱定理的证明通常有几种方法，最常见的方法基于矩阵的最小多项式：
最小多项式法：
- 设矩阵 $A$ 的最小多项式是 $m_A(\lambda)$，即 $m_A(A) = 0$ 且 $m_A(\lambda)$ 是 $A$ 所满足的次数最低的首一多项式。
- 由于特征多项式 $p_A(\lambda)$ 是 $A$ 的一个多项式，并且所有矩阵的特征多项式都能被它的最小多项式整除（即 $p_A(\lambda) = m_A(\lambda) q(\lambda)$），因此 $p_A(A) = 0$ 也成立。
利用行列式展开：
- 设 $A$ 的特征多项式 $p_A(\lambda) = \det(\lambda I - A)$。
- 将 $A$ 代入 $p_A(\lambda)$ 后，利用矩阵的特征向量与特征值的性质，可以证明 $p_A(A) = 0$。
外代数法（或幂零矩阵分解）：
- 通过矩阵的分块结构，把 $A$ 表示为若尔当标准形的形式，再分别验证哈密尔顿-凯莱定理成立。
示例计算 假设我们有矩阵：
$$
A = \begin{bmatrix} 2 & 1 \\
0 & 3 \end{bmatrix}
$$
计算特征多项式：
$$
p_A(\lambda) = \det(\lambda I - A) = \begin{vmatrix} \lambda - 2 & -1 \\ 0 & \lambda - 3 \end{vmatrix}
$$计算行列式：
$$
(\lambda - 2)(\lambda - 3)
$$所以特征多项式为：
$$
p_A(\lambda) = \lambda^2 - 5\lambda + 6
$$代入 $A$ 计算：
$$
A^2 - 5A + 6I = \begin{bmatrix} 2 & 1 \\ 0 & 3 \end{bmatrix}^2 - 5 \begin{bmatrix} 2 & 1 \\ 0 & 3 \end{bmatrix} + 6 \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}
$$计算 $A^2$：
$$
A^2 = \begin{bmatrix} 4 & 5 \\ 0 & 9 \end{bmatrix}
$$计算：
$$
A^2 - 5A + 6I = \begin{bmatrix} 4 & 5 \\ 0 & 9 \end{bmatrix} - \begin{bmatrix} 10 & 5 \\ 0 & 15 \end{bmatrix} + \begin{bmatrix} 6 & 0 \\ 0 & 6 \end{bmatrix}
$$
$$
= \begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}
$$所以确实满足 $p_A(A) = 0$。
应用
计算矩阵的幂：
由于 $p_A(A) = 0$，可以将 $A^n$ 表示为 $A$ 的低次幂的线性组合，从而避免直接计算高次矩阵幂。求矩阵的逆：
若 $A$ 可逆，利用哈密尔顿-凯莱定理，可以通过特征多项式表示 $A^{-1}$：
$$
A^{-1} = \frac{1}{c_0}(-c_1 I - c_2 A - \dots - c_{n-1} A^{n-1})
$$
这样可以避免高维矩阵的直接求逆运算。微分方程的求解：
在常微分方程中，矩阵指数 $e^{At}$ 可以用哈密尔顿-凯莱定理来化简计算。量子力学与物理学：
在量子力学和经典力学的哈密顿系统中，哈密尔顿-凯莱定理常用于求解动力学系统的演化方程。
总结
- 核心思想：每个矩阵都满足自己的特征多项式。
- 证明方法：常用最小多项式法、行列式展开法、若尔当标准形法等。
- 应用：计算矩阵的幂、求逆矩阵、求解微分方程、应用于物理等。
2. 行列式的 Rank（秩）的几何意义
2.1. 线性相关性
矩阵的秩表示其行（或列）向量组的线性无关个数。如果一个矩阵的秩为 $r$，则意味着其中最多 $r$ 个行（或列）向量是线性无关的，而其余的行（或列）可以由这 $r$ 个向量线性表示。
- 如果秩等于矩阵的行数（或列数），那么所有的行（或列）向量都是线性无关的，矩阵是满秩的。
- 如果秩小于行（或列）数，则矩阵的行（或列）向量是线性相关的，意味着其中的某些行（或列）可以用其他行（或列）表示。
2.2. 维度与子空间
矩阵 $A$ 的秩可以理解为由 $A$ 的列向量张成的列空间（Column Space）的维度，也可以理解为由 $A$ 的行向量张成的行空间（Row Space）的维度。
- 列秩（Column Rank）：列向量张成的向量空间的维度，表示矩阵映射的目标空间的维度。
- 行秩（Row Rank）：行向量张成的向量空间的维度，表示矩阵映射的定义域的维度。
根据基本定理，列秩和行秩总是相等，因此可以用矩阵的秩（Rank）来统一表示。
2.3. 线性变换的几何意义
在几何上，矩阵可以看作是一个线性变换，其秩表示该变换所能映射到的空间的维度。
- 满秩矩阵（Full Rank）：如果一个 $m \times n$ 矩阵 $A$ 的秩等于 $\min(m, n)$，则它表示的线性变换是最大维度的，即它能够映射到尽可能大的空间。
- 降秩矩阵（Rank Deficient）：如果 $\operatorname{rank}(A) < \min(m, n)$，说明 $A$ 作为一个线性变换时，会把某些维度“压缩”到更低维的空间，可能导致信息丢失或映射不可逆。
2.4. 线性方程组解的情况
矩阵秩决定了线性方程组 $Ax = b$ 的解的情况：
- 如果 $\operatorname{rank}(A) = \operatorname{rank}([A | b])$，则系统有解。
- 如果 $\operatorname{rank}(A) < \operatorname{rank}([A | b])$，则系统无解（矛盾方程）。
- 如果 $\operatorname{rank}(A) = \operatorname{rank}([A | b]) = n$（$A$ 是方阵且满秩），则系统有唯一解。
- 如果 $\operatorname{rank}(A) < n$，则系统有无穷多解（自由变量存在）。
2.5. 低秩矩阵的几何解释
- 秩 1 矩阵：所有列向量（或行向量）都在同一个方向上，矩阵仅表示一个单一方向的缩放。
- 秩 2 矩阵：表示一个平面（二维空间）上的变换，例如剪切或旋转。
- 秩 3 及以上：随着秩的增加，变换的自由度增加，表示更高维空间的映射。
2.6. 总结
- 秩表示矩阵的行或列向量的线性无关个数。
- 秩等于矩阵列空间（或行空间）的维度，决定了矩阵的线性变换能映射到的维度。
- 在几何上，矩阵的秩决定了它如何变换空间，例如投影、压缩、旋转等。
- 在线性方程组中，秩决定了方程组是否有解，以及解的个数。
- 低秩矩阵通常表示低维空间的结构，比如秩 1 矩阵对应单一方向的变换，秩 2 矩阵对应二维平面上的变换。
3. 范德蒙行列式（Vandermonde Determinant）
范德蒙行列式是线性代数中一个重要的行列式，在多项式插值、数值分析、群论和组合数学等领域都有广泛应用。
3.1. 定义
范德蒙行列式是一个特殊形式的行列式，其元素由一组数的幂次构成：
$$
V(x_1, x_2, \dots, x_n) =
\begin{vmatrix}
1 & x_1 & x_1^2 & \cdots & x_1^{n-1} \\
1 & x_2 & x_2^2 & \cdots & x_2^{n-1} \\
1 & x_3 & x_3^2 & \cdots & x_3^{n-1} \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
1 & x_n & x_n^2 & \cdots & x_n^{n-1}
\end{vmatrix}
$$
该行列式的值称为范德蒙行列式（Vandermonde Determinant）。
3.2. 计算范德蒙行列式
范德蒙行列式的值有一个标准的封闭表达式：
$$
V(x_1, x_2, \dots, x_n) = \prod_{1 \leq i < j \leq n} (x_j - x_i)
$$
即，范德蒙行列式等于所有数 $x_1, x_2, \dots, x_n$ 之间两两之差的乘积。
示例：计算 $n=3$ 的范德蒙行列式
$$
V(x_1, x_2, x_3) =
\begin{vmatrix}
1 & x_1 & x_1^2 \\
1 & x_2 & x_2^2 \\
1 & x_3 & x_3^2
\end{vmatrix}
$$
按照行列式的展开计算：
$$
V(x_1, x_2, x_3) = (x_2 - x_1)(x_3 - x_1)(x_3 - x_2)
$$
与一般公式一致！
3.3. 范德蒙行列式的性质
(1) 反对称性
范德蒙行列式的值对任意两行（或两列）交换后变号：
$$
V(\dots, x_i, x_j, \dots) = -V(\dots, x_j, x_i, \dots)
$$
因此，如果有两个相同的 $x_i = x_j$，则 $(x_j - x_i) = 0$，导致整个行列式为零。这说明范德蒙行列式在变量相等时退化为零。
(2) 递归性质
$$
V(x_1, x_2, \dots, x_n) =
V(x_1, x_2, \dots, x_{n-1}) \prod_{j=1}^{n-1} (x_n - x_j)
$$
即，可以通过 $n-1$ 阶范德蒙行列式逐步计算出 $n$ 阶的结果。
3.4. 应用
(1) 多项式插值
在拉格朗日插值法中，范德蒙矩阵用于构造一组线性方程来求解插值系数。如果 $x_1, x_2, \dots, x_n$ 互不相同，则范德蒙矩阵是满秩的，因此该线性系统有唯一解。
(2) 线性无关性
范德蒙矩阵的行（或列）是线性无关的，当且仅当 $x_i$ 互不相同。这一性质用于多项式插值和数值分析中判断点集是否能构成唯一的插值多项式。
(3) 代数和组合数学
范德蒙行列式与牛顿插值公式、伽罗瓦理论、排列和置换的计数问题密切相关。
3.5. 总结
- 定义：范德蒙行列式是一个特殊的行列式，其元素由一组变量的幂构成。
- 计算公式：
$$
V(x_1, x_2, \dots, x_n) = \prod_{1 \leq i < j \leq n} (x_j - x_i)
$$ - 性质：
- 反对称性：交换两行（或两列）后变号。
- 若存在 $x_i = x_j$，则范德蒙行列式为 0。
- 可以递归计算。
- 应用：
- 多项式插值（如拉格朗日插值）
- 线性无关性判断
- 代数与组合数学中的应用
4. 行列式的运算规律
设 $A$、$B$ 是 $n \times n$ 的方阵，$|A|$ 表示矩阵 $A$ 的行列式。以下是常见的运算规律：
4.1 行列式的基本性质
单位矩阵的行列式为 1：
$$
|I_n| = 1
$$行列式的转置不变：
$$
|A^\mathrm{T}| = |A|
$$
4.2 初等行变换对行列式的影响
对矩阵 $A$ 进行以下初等行变换时，行列式发生如下变化：
| 初等行变换 | 对行列式的影响 |
|---|---|
| 两行交换 | 行列式变号（乘以 $-1$） |
| 某行乘以一个数 $k$ | 行列式乘以 $k$ |
| 某行加上另一行的若干倍 | 行列式不变 |
✅ 结论：可以通过行变换将矩阵化为上三角矩阵，然后通过对角线元素相乘计算行列式，记得调整符号！
4.3 行列式的乘积法则
$$
|AB| = |A||B|
$$
- 提示：前提是 $A, B$ 都是 $n \times n$ 的方阵。
- 常见用法：推导可逆条件时使用。比如若 $|A| \ne 0$，则 $A$ 可逆，且：
$$
|A^{-1}| = \frac{1}{|A|}
$$
4.4 行列式与数乘
如果矩阵 $A$ 是 $n \times n$ 的方阵，$k$ 是数，则：
$$
|kA| = k^n |A|
$$
直观理解：每一行都乘以 $k$，相当于 $n$ 个 $k$ 相乘。
4.5 行列式与逆矩阵、幂运算
逆矩阵：
$$
|A^{-1}| = \frac{1}{|A|} \quad \text{前提：}|A| \ne 0
$$幂运算（整数次幂）：
$$
|A^m| = |A|^m
$$
4.6 常见错误认识（⚠️务必注意）
行列式不能线性拆分：
$$
|A + B| \ne |A| + |B| \quad \text{一般不成立！}
$$不是所有矩阵都有行列式：
- 只有方阵才有行列式。
- 非方阵无法定义行列式。
4.7 特殊矩阵的行列式
上三角/下三角矩阵（或对角矩阵）：
$$
|\text{三角矩阵}| = \text{主对角线元素的乘积}
$$伴随矩阵（Adjoint Matrix）相关：
若 $A$ 是可逆方阵：
$$
A^{-1} = \frac{1}{|A|} \cdot \text{adj}(A)
$$