优化理论及应用精解【7】

矩阵的特征值

矩阵的特征值、特征向量与特征多项式

是线性代数中的核心概念，它们在许多数学和物理问题中都起着关键作用。下面，我将逐一解释这些概念。

1. 特征值和特征向量

定义：
设 $A$ 是一个 $n$ 阶方阵，如果存在一个非零向量 $\alpha$ 和一个数 $\lambda$，使得 $A\alpha =\lambda \alpha$，则称 $\lambda$ 为 $A$ 的特征值，$\alpha$ 为 $A$ 的对应于特征值 $\lambda$ 的特征向量。

求解方法：

1. 计算特征多项式：首先，我们需要计算矩阵 $A$ 的特征多项式 $f(\lambda )=|\lambda I-A|$，其中 $I$ 是单位矩阵。
2. 求解特征方程：然后，我们令特征多项式等于零，即 $f(\lambda )=0$，解这个方程可以得到矩阵 $A$ 的所有特征值。
3. 求解特征向量：对于每个特征值 $\lambda$，我们需要解方程组 $(A-\lambda I)x=0$，得到的非零解就是对应于特征值 $\lambda$ 的特征向量。

2. 特征多项式

定义：
特征多项式 $f(\lambda )$ 是关于 $\lambda$ 的一个多项式，其定义为 $f(\lambda )=|\lambda I-A|$，其中 $A$ 是一个 $n$ 阶方阵，$I$ 是单位矩阵。

性质：

1. 特征多项式的次数等于矩阵的阶数。
2. 特征多项式的根就是矩阵的特征值。
3. 特征多项式在矩阵的相似变换下是不变的，即如果 $B=P^{-1}AP$，那么 $B$ 和 $A$ 的特征多项式相同。

3. 举例说明

设矩阵 $A=\left(\begin{array}{cc}3& 1\\ 2& 2\end{array}\right)$，我们要求解其特征值、特征向量和特征多项式。

1. 计算特征多项式：

$f(\lambda )=\left|\left(\begin{array}{cc}\lambda -3& -1\\ -2& \lambda -2\end{array}\right)\right|=(\lambda -3)(\lambda -2)-(-1)(-2)={\lambda }^2-5\lambda +4$

2. 求解特征方程：

$f(\lambda )=0\Rightarrow {\lambda }^2-5\lambda +4=0\Rightarrow (\lambda -1)(\lambda -4)=0\Rightarrow \lambda =1\text{ 或 }\lambda =4$

3. 求解特征向量：

   • 当 $\lambda =1$ 时，解方程组 $\left(\begin{array}{cc}-2& -1\\ -2& -1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=0$，得到 $x_1=-\frac{1}{2}{x}_2$，取 $x_2=2$，则特征向量为 $\left(\begin{array}{c}-1\\ 2\end{array}\right)$。
   • 当 $\lambda =4$ 时，解方程组 $\left(\begin{array}{cc}1& -1\\ -2& 2\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)=0$，得到 $x_1=x_2$，取 $x_1=1$，则特征向量为 $\left(\begin{array}{c}1\\ 1\end{array}\right)$。

综上所述，矩阵 $A$ 的特征值为 $\lambda =1,4$，对应于 $\lambda =1$ 的特征向量为 $\left(\begin{array}{c}-1\\ 2\end{array}\right)$，对应于 $\lambda =4$ 的特征向量为 $\left(\begin{array}{c}1\\ 1\end{array}\right)$，特征多项式为 $f(\lambda )={\lambda }^2-5\lambda +4$。

特征向量的线性无关性或线性相关性

取决于它们所对应的特征值是否相同。以下是关于特征向量线性无关性和线性相关性的详细解释：

1. 线性无关的特征向量：

   • 如果一个矩阵 $A$ 有 $k$ 个不同的特征值 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_k$，并且 ${\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k$ 分别是对应于这些特征值的特征向量，那么这些特征向量是线性无关的。
   • 这是因为每个特征向量都位于与对应特征值相关的独立特征子空间中，因此它们不能由其他特征向量线性组合而成。

2. 线性相关的特征向量：

   • 如果特征值相同，那么对应的特征向量可能线性相关。这是因为同一个特征值可能对应多个线性无关的特征向量（这些向量构成了一个特征子空间），但在这个子空间内的向量之间是可以线性组合的。
   • 例如，考虑一个单位矩阵 $I$，它的所有特征值都是1，而任意向量都是对应于特征值1的特征向量。因此，这些特征向量（即任意向量）之间可能是线性相关的。

3. 特殊情况：

   • 对于重根特征值（即多次出现的特征值），我们需要通过求解特征方程组的基础解系来确定对应的线性无关的特征向量。
   • 在某些情况下，即使特征值不同，特征向量也可能由于其他原因（如矩阵的特殊性）而线性相关。但这通常不是普遍情况，而是特定矩阵的特殊情况。

综上所述，特征向量的线性无关性或线性相关性主要取决于它们所对应的特征值是否相同。在大多数情况下，不同特征值对应的特征向量是线性无关的，而相同特征值对应的特征向量可能是线性相关的。
特征向量组成线性无关基的问题，实际上是在探讨矩阵特征向量的线性独立性，并考虑它们是否能构成一个向量空间的基。以下是对这一问题的详细解答：

1. 特征向量与线性无关性

如前所述，一个矩阵 $A$ 的不同特征值对应的特征向量是线性无关的。这是因为每个特征向量都位于与对应特征值相关的独立特征子空间中。因此，如果一个矩阵 $A$ 有 $n$ 个不同的特征值，并且每个特征值对应一个特征向量，那么这些特征向量就构成了一个 $n$ 维向量空间中的一个线性无关集。

2. 构成基的条件

一个向量集的线性无关性是其能够构成基的必要条件，但不是充分条件。为了构成一个基，这个向量集还必须能够张成（即生成）整个向量空间。对于矩阵 $A$ 的特征向量来说，如果矩阵 $A$ 的所有特征向量（对应于不同特征值的）的数量等于向量空间的维数，并且它们是线性无关的，那么这些特征向量就构成了一个基。

3. 特殊情况与重根特征值

• 重根特征值：如果矩阵 $A$ 有重根特征值（即某个特征值出现多次），那么对应于这个特征值的特征向量可能不是线性无关的。在这种情况下，我们需要通过求解特征方程组的基础解系来确定对应于每个重根特征值的线性无关特征向量的数量。
• 矩阵的维数与特征向量的数量：如果矩阵 $A$ 的维数大于其不同特征值的数量，那么即使所有不同特征值对应的特征向量都是线性无关的，它们也不足以构成一个基，因为它们的数量不足以张成整个向量空间。

4. 示例

考虑一个 $3\times 3$ 矩阵 $A$，它有三个不同的特征值 ${\lambda }_1,{\lambda }_2,{\lambda }_3$，并且对应于每个特征值都有一个特征向量 ${\alpha }_1,{\alpha }_2,{\alpha }_3$。由于这些特征值是不同的，因此特征向量 ${\alpha }_1,{\alpha }_2,{\alpha }_3$ 是线性无关的。此外，由于矩阵 $A$ 是 $3\times 3$ 的，因此向量空间的维数是 3。所以，特征向量 ${\alpha }_1,{\alpha }_2,{\alpha }_3$ 构成了一个 3 维向量空间的基。

5. 结论

特征向量能否组成一个线性无关的基取决于矩阵的特征值是否不同以及特征向量的数量是否足够。在大多数情况下，如果矩阵有足够多的不同特征值，并且每个特征值对应一个特征向量，那么这些特征向量就可以构成一个线性无关的基。但是，在存在重根特征值或矩阵维数大于不同特征值数量的情况下，需要更仔细地分析特征向量的线性独立性和数量。

特征向量组成的基来将矩阵对角化

1. 特征值和特征向量的定义

对于一个方阵 $A$，如果存在一个非零向量 $\mathbf{v}$ 和一个标量 $\lambda$，使得
$$A\mathbf{v}=\lambda \mathbf{v}$$
那么 $\lambda$ 被称为 $A$ 的特征值，$\mathbf{v}$ 是对应于 $\lambda$ 的特征向量。

2. 特征多项式与特征方程

为了找到特征值，我们需要解特征多项式 $p(\lambda )$，它由以下公式给出：
$$p(\lambda )=\det (A-\lambda I)$$
其中 $I$ 是单位矩阵。特征多项式等于零时的 $\lambda$ 值就是特征值。

3. 求解特征值和特征向量

假设我们找到了矩阵 $A$ 的 $n$ 个特征值 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$，对于每个特征值 ${\lambda }_i$，我们需要解方程组
$$(A-{\lambda }_{i}I)\mathbf{v}=0$$
来找到对应的特征向量 ${\mathbf{v}}_i$。

4. 形成特征向量基

如果矩阵 $A$ 有 $n$ 个线性无关的特征向量 ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$，它们可以组成一个矩阵 $P$，其中每一列是一个特征向量：
$$P=[{\mathbf{v}}_1{\mathbf{v}}_2\cdots {\mathbf{v}}_n]$$

5. 对角化矩阵

利用特征向量矩阵 $P$，我们可以将原矩阵 $A$ 对角化，即找到一个对角矩阵 $D$，使得
$$P^{-1}AP=D$$
其中 $D$ 的对角元素就是 $A$ 的特征值：
$$D=\left(\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right)$$

示例

让我们通过一个具体的例子来演示这个过程。假设矩阵 $A$ 为
$$A=\left(\begin{array}{cc}4& 1\\ 2& 3\end{array}\right)$$

1. 计算特征多项式

$$p(\lambda )=\det (A-\lambda I)=\det \left(\begin{array}{cc}4-\lambda & 1\\ 2& 3-\lambda \end{array}\right)=(4-\lambda )(3-\lambda )-2={\lambda }^2-7\lambda +10=(\lambda -5)(\lambda -2)$$

2. 求解特征值

特征值为 ${\lambda }_1=5$ 和 ${\lambda }_2=2$。

3. 求解特征向量

• 对于 ${\lambda }_1=5$：
  $$(A-5I)\mathbf{v}=0\Rightarrow \left(\begin{array}{cc}-1& 1\\ 2& -2\end{array}\right)\mathbf{v}=0\Rightarrow {\mathbf{v}}_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$$

• 对于 ${\lambda }_2=2$：
  $$(A-2I)\mathbf{v}=0\Rightarrow \left(\begin{array}{cc}2& 1\\ 2& 1\end{array}\right)\mathbf{v}=0\Rightarrow {\mathbf{v}}_2=\left(\begin{array}{c}1\\ -2\end{array}\right)$$

4. 形成特征向量基

$$P=\left(\begin{array}{cc}1& 1\\ 1& -2\end{array}\right)$$

5. 对角化矩阵

$$P^{-1}=\frac{1}{-3}\left(\begin{array}{cc}-2& -1\\ -1& 1\end{array}\right)=\left(\begin{array}{cc}\frac{2}{3}& \frac{1}{3}\\ \frac{1}{3}& -\frac{1}{3}\end{array}\right)$$
$$P^{-1}AP=\left(\begin{array}{cc}\frac{2}{3}& \frac{1}{3}\\ \frac{1}{3}& -\frac{1}{3}\end{array}\right)\left(\begin{array}{cc}4& 1\\ 2& 3\end{array}\right)\left(\begin{array}{cc}1& 1\\ 1& -2\end{array}\right)=\left(\begin{array}{cc}5& 0\\ 0& 2\end{array}\right)$$

因此，矩阵 $A$ 被对角化为
$$\left(\begin{array}{cc}5& 0\\ 0& 2\end{array}\right)$$

实对称矩阵性质

包括所有特征值都是实数，以及对应于不同特征值的特征向量互相正交。以下是关于这两个性质的详细解释：

1. 所有特征值是实数

对于实对称矩阵 $A$，如果存在一个非零向量 $\mathbf{v}$ 和一个标量 $\lambda$，使得 $A\mathbf{v}=\lambda \mathbf{v}$，那么 $\lambda$ 必须是实数。这一性质可以通过以下步骤证明：

• 首先，考虑特征多项式 $p(\lambda )=\det (A-\lambda I)$，其中 $I$ 是单位矩阵。由于 $A$ 是实对称矩阵，其特征多项式 $p(\lambda )$ 的系数都是实数。
• 假设 $\lambda$ 是一个特征值，那么 $p(\lambda )=0$。由于 $p(\lambda )$ 的系数是实数，根据实系数多项式的虚根成对原理，如果 $\lambda$ 是一个虚数（即 $\lambda =a+bi$，其中 $a,b\in \mathbb{R}$ 且 $b\ne 0$），那么它的共轭 $\overline{\lambda }=a-bi$ 也必须是 $p(\lambda )$ 的根。
• 但是，对于实对称矩阵 $A$，如果 $\lambda$ 是一个特征值，那么 $\overline{\lambda }$ 也必须是一个特征值，且它们对应的特征向量必须是相同的（或共线的，但在这里我们只关心它们是否实数）。由于 $\lambda$ 和 $\overline{\lambda }$ 是共轭的，如果它们不同（即 $b\ne 0$），那么它们就不能同时是实数。这与假设矛盾，因此 $\lambda$ 必须是实数。

2. n个特征向量互相正交

对于实对称矩阵 $A$ 的不同特征值对应的特征向量，它们是互相正交的。这一性质可以通过以下步骤证明：

• 假设 ${\mathbf{v}}_1$ 和 ${\mathbf{v}}_2$ 是对应于不同特征值 ${\lambda }_1$ 和 ${\lambda }_2$ 的特征向量。
• 根据特征向量的定义，我们有 $A{\mathbf{v}}_1={\lambda }_1{\mathbf{v}}_1$ 和 $A{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_2$。
• 考虑两个特征向量的内积 ${\mathbf{v}}_1^T{\mathbf{v}}_2$。由于 $A$ 是实对称矩阵，其转置 $A^T$ 等于 $A$ 本身。
• 计算 ${\mathbf{v}}_1^{T}A{\mathbf{v}}_2$ 和 ${\mathbf{v}}_2^{T}A{\mathbf{v}}_1$，并利用 $A$ 的对称性和特征向量的定义进行化简。最终可以得到 ${\lambda }_1{\mathbf{v}}_1^T{\mathbf{v}}_2={\lambda }_2{\mathbf{v}}_1^T{\mathbf{v}}_2$。
• 由于 ${\lambda }_1\ne {\lambda }_2$，我们可以得出 ${\mathbf{v}}_1^T{\mathbf{v}}_2=0$，即两个特征向量是正交的。

需要注意的是，如果实对称矩阵有重根特征值（即某个特征值出现多次），那么对应于这个特征值的特征向量可能不是互相正交的。但是，通过施密特正交化过程，我们可以从这些特征向量中构造出一个正交的特征向量集。

综上所述，实对称矩阵的所有特征值是实数，且对应于不同特征值的特征向量互相正交。这两个性质是实对称矩阵在线性代数中的重要特征。

总结

通过求解特征值和特征向量，我们可以将矩阵对角化，这在许多线性代数应用中是非常重要的，例如求解线性微分方程组、主成分分析等。

简单的例子来说明特征值和特征向量

考虑矩阵 $A=\left(\begin{array}{cc}4& -2\\ 1& 1\end{array}\right)$。

为了找到这个矩阵的特征值和特征向量，我们需要解方程 $A\mathbf{v}=\lambda \mathbf{v}$，其中 $\mathbf{v}$ 是一个非零向量，$\lambda$ 是一个标量（即特征值）。

首先，我们写出特征多项式 $p(\lambda )=\det (A-\lambda I)$，其中 $I$ 是单位矩阵。对于矩阵 $A$，特征多项式为：

$p(\lambda )=\det \left(\begin{array}{cc}4-\lambda & -2\\ 1& 1-\lambda \end{array}\right)=(4-\lambda )(1-\lambda )-(-2\times 1)={\lambda }^2-5\lambda +6-(-2)={\lambda }^2-5\lambda +4=(\lambda -4)(\lambda -1)=0$

解这个方程，我们得到两个特征值：${\lambda }_1=4$ 和 ${\lambda }_2=1$。

接下来，我们为每个特征值找到对应的特征向量。

1. 对于 ${\lambda }_1=4$：
   解方程组 $\left(\begin{array}{cc}4& -2\\ 1& 1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)=4\left(\begin{array}{c}x\\ y\end{array}\right)$，即
   $\{\begin{array}{l}4x-2y=4x\\ x+y=4y\end{array}$
   简化后得到 $y=\frac{1}{3}x$。因此，一个对应的特征向量是 ${\mathbf{v}}_1=\left(\begin{array}{c}3\\ 1\end{array}\right)$（注意，特征向量不是唯一的，任何与 ${\mathbf{v}}_1$ 共线的非零向量也是特征向量）。

2. 对于 ${\lambda }_2=1$：
   解方程组 $\left(\begin{array}{cc}4& -2\\ 1& 1\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}x\\ y\end{array}\right)$，即
   $\{\begin{array}{l}4x-2y=x\\ x+y=y\end{array}$
   简化后得到 $x=0,y\ne 0$。因此，一个对应的特征向量是 ${\mathbf{v}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$（同样，特征向量不是唯一的）。

综上所述，矩阵 $A=\left(\begin{array}{cc}4& -2\\ 1& 1\end{array}\right)$ 的特征值是 ${\lambda }_1=4$ 和 ${\lambda }_2=1$，对应的特征向量分别是 ${\mathbf{v}}_1=\left(\begin{array}{c}3\\ 1\end{array}\right)$ 和 ${\mathbf{v}}_2=\left(\begin{array}{c}0\\ 1\end{array}\right)$（或任何与它们共线的非零向量）。

参考文献

1. 文心一言