Skip to content

第二讲

设\(A\)为一个矩阵，其所对应的变换的值域（像空间）定义为

\(R(A)=\{y\in R^m|y=Ax,x\in R^n\}\)

零空间定义为：\(N(A)=\{x\in R^n|Ax=0\}\)

给定\(A\in R^{m\times n}\)，\(R(A)\)是\(R^m\)的（线性）子空间，\(N(A)\)是\(R^n\)的（线性）子空间。

已知向量\(b\in R(A)\)，则一定存在向量\(x\)，使得\(Ax=b\)，

线性方程组\(Ax=b\)是否有解等价于\(b\in R(A)\)是否成立

\(A\)的像空间，就是\(A\)的列向量张成的空间。

JPEG图像压缩是有损压缩标准，图像压缩有诸多冗余部分，其可显著减少图像文件大小。

特征值分解的无损压缩

特征值分解：对一个方阵 \(A\)，特征值分解把它表示成： [ A = V \Lambda V^{-1} ] 其中，
- \(V\) 是特征向量构成的矩阵，列向量线性无关， - \(\Lambda\) 是对角矩阵，包含特征值。

特征值分解（EVD）基本步骤如下：

给定一个方阵 \( A \in \mathbb{R}^{n \times n} \)
  1. 求特征值

解特征方程
[ \det(A - \lambda I) = 0 ] 得到矩阵 \( A \) 的所有特征值 \( \lambda_1, \lambda_2, \ldots, \lambda_n \)。

  1. 求特征向量 对每个特征值 \( \lambda_i \)，求解线性方程组
    [ (A - \lambda_i I) \mathbf{v}_i = \mathbf{0} ] 得到对应的特征向量 \( \mathbf{v}_i \)，且 \( \mathbf{v}_i \neq \mathbf{0} \)。

  2. 构造特征向量矩阵和特征值对角矩阵

  3. 将所有特征向量按列组成矩阵 \( V = [\mathbf{v}_1 \ \mathbf{v}_2 \ \cdots \ \mathbf{v}_n] \)。

  4. 构造特征值对角矩阵
    [ \Lambda = \mathrm{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n) ]

  5. 验证与分解
    如果 \(A\) 可以被特征值分解，则满足
    [ A = V \Lambda V^{-1} ]

  7. 特征值分解要求方阵 \(A\) 通常为方阵且具有 \( n \) 个线性无关的特征向量（可对角化）。

  8. 对于实对称矩阵，分解可保证矩阵 \(V\) 为正交矩阵，且有更加稳定的性质。

范式（norm）是用来衡量向量大小或长度的函数，是一种把向量映射到非负实数的函数。

给定向量空间 \(V\) 中的向量 \( \mathbf{x} \)，范式是一个函数：
[ | \cdot | : V \to \mathbb{R}_{\geq 0} ] 满足以下三个条件（对所有向量 \( \mathbf{x}, \mathbf{y} \in V \)，数值 \( \alpha \in \mathbb{R} \)）：

  1. 非负性
    [ |\mathbf{x}| \geq 0 ] 且当且仅当 \( \mathbf{x} = \mathbf{0} \) 时， \(\|\mathbf{x}\| = 0\)。

  2. 齐次性（正齐次/绝对齐次）
    [ |\alpha \mathbf{x}| = |\alpha| |\mathbf{x}| ]

  3. 三角不等式
    [ |\mathbf{x} + \mathbf{y}| \leq |\mathbf{x}| + |\mathbf{y}| ]

常见范式类型
1. 欧几里得范数（2-范数）

向量的“标准长度”，定义为：
[ |\mathbf{x}|_2 = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2} ] 对应几何距离。

2. 曼哈顿范数（1-范数）

向量各分量绝对值之和：
[ |\mathbf{x}|_1 = |x_1| + |x_2| + \cdots + |x_n| ]

3. 最大范数（\(\infty\)-范数）

向量分量绝对值的最大值：
[ |\mathbf{x}|_\infty = \max_i |x_i| ]

最小二乘法用于求解线性方程组 \( A\mathbf{x} = \mathbf{b} \) （其中 \(A\) 是 \( m \times n \) 矩阵，通常 \( m \ge n \)）中无精确解时，使得误差平方和最小的近似解。

目标是找到向量 \( \mathbf{x} \) 使得残差向量的平方和最小，即：

\[ \min_{\mathbf{x}} \| A\mathbf{x} - \mathbf{b} \|_2^2 \]

当矩阵 \(A\) 的列向量线性无关时，最小二乘解的封闭式解为：

\[ \boxed{ \mathbf{x} = (A^T A)^{-1} A^T \mathbf{b} } \]

该解也叫正规方程的解。

解释
  • \( A^T A \) 是一个 \( n \times n \) 的方阵，通常对称且正定（若列满秩）。
  • \( A^T \mathbf{b} \) 是 \( n \times 1 \) 的向量。

  • 该公式本质上是在原始方程基础上通过投影将问题转化为可解的方程组。

  • 当 \( A^T A \) 不可逆时，可使用伪逆获得最小二乘解：

\[ \mathbf{x} = A^+ \mathbf{b} \]

其中 \( A^+ = (A^T A)^{-1} A^T \)（若可逆），否则可通过数值方法（如奇异值分解 SVD）计算。

对于线性系统，可以通过数据获取来大致分析系统的构造，将输入与输出抽象为向量\(\mathrm{x_i},\mathrm{y_i}\)，有$ A\mathrm{x}_i+\mathrm{b}=\mathrm{y}_i\(，可以得到\)A,\mathrm{b}$的近似值。

奇异值是矩阵奇异值分解中的重要概念，用于描述任意矩阵的本质结构和性质。

对于任意的 \( m \times n \) 实矩阵 \( A \)，奇异值分解将其分解为：

\[ A = U \Sigma V^T \]

其中：

  • \( U \) 是 \( m \times m \) 的正交矩阵（列向量是左奇异向量）。
  • \( V \) 是 \( n \times n \) 的正交矩阵（列向量是右奇异向量）。
  • \( \Sigma \) 是 \( m \times n \) 的对角矩阵，对角线上元素为 奇异值，记为：
\[ \sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_p \geq 0, \quad p = \min(m, n) \]
奇异值的性质
  • 所有奇异值均非负实数。
  • 奇异值是矩阵 \( A \) 的“尺度”度量，反映了 \( A \) 的伸缩作用。
  • 最大奇异值 \(\sigma_1\) 等于矩阵的 2-范数（谱范数）。
  • 奇异值的平方是 \( A^T A \) 或 \( A A^T \) 的特征值。
直观理解
  • 奇异值衡量矩阵如何将单位球“拉伸”成椭球，奇异值即为椭球主轴的长度。
  • 奇异值越大，矩阵在对应方向的伸缩越强。
  • 小奇异值接近0时，说明矩阵在某些方向上接近退化，容易引起数值不稳定。
应用
  • 矩阵的秩：非零奇异值的个数即为矩阵秩。
  • 条件数：矩阵的条件数定义为最大奇异值与最小奇异值之比。
  • 低秩近似：通过保留较大的奇异值，得到矩阵的最佳低秩近似。
  • 数据降维、图像压缩、主成分分析（PCA）等。

\(B=A_1A_2\cdots A_k,A_i\in M_{n_i\times n_{i+1}},n_i\in \mathbb{N^*}\)，希望求得一种乘法次序，使得总计算时间复杂度最小，可使用区间动态规划解决。