线性代数

只考虑满秩的矩阵。不满秩的矩阵其实是一种信息的冗余，没有太多意义，可以通过去掉一些列，变成满秩的。

  • 矩阵用来解释一次线性方程组解的性质（是否存在、如何求解、解的空间、有解的空间），\(Ax = b\)，从几何的视角看，就是用 \( A \) 中的列向量作为基，是否能表示 \( b \) ? 可以通过列空间，行空间，零空间去看解的结构，\( x \) 可以 换元，也就是矩阵乘法，可以用逆矩阵来求解。
  • 方阵可以表述坐标线性转换，比如旋转。坐标变换可以叠加，也就是矩阵乘法。对角矩阵的变换只是对原来的基向量的缩放，原来的基向量就是特征向量。对角矩阵是一种最简单的坐标转换（求幂，求逆，求行列式，都很简单，是最好处理的矩阵，对角化之后，还可以把矩阵写成一系列特征值乘以分矩阵的形式，类似基矩阵的感觉，在具体的应用中可以看作谱），也代表了这一类矩阵描述的转换的最简单形式（矩阵的相似性，\( Q \Lambda Q^{-1} \)，特征值对角矩阵是一类矩阵最简单的描述），实对称矩阵的特征向量是正交的，正定矩阵的性质比较好（如何确定一个矩阵是正定的？），所有特征值都是正实数，求特征值有一些技巧，和迹的关系，以及和行列式的关系。
  • \( Ax \)，也可以理解换基，换基可以分为方阵表示的坐标变换和非方阵表示的降维和升维。对于坐标变换而言，矩阵的行列式表示，表换之后面积、体积的缩放尺度。
  • 可以对坐标转换进行换基， \( B^{-1}MB \)，\( B \) 表示视角的转换， \( M \) 表示坐标转换（我让一支笔顺时针旋转，那么我对面的人，看到的是什么？）。 如果 \( M \) 表示顺时针，那么我们对面的人看到的就是逆时针，\( B^{-1}MB \) 就是一个逆时针变换的矩阵。
  • 用矩阵表示投影。利用点积，避免了角度的运算（反三角函数其实很烦人），\( A(A^TA)A^T \)，\( M \) 的列数大于行数才有意义。投影从另一个意义上讲，也可以看作一种压缩。 用 A 中的列表示 \( b \) 向量时，有些列的贡献可能很小（有损压缩，也就是投影），有些列可能为 0（无损压缩，说明找到的基很好），向量的点积代表了向量的空间垂直关系，本身也可以看作一种投影，但是是投影在向量上，而不是向量坐在的空间上。
  • A 的行数大于列数时，对矩阵与向量的乘法，算是升维（本质也是换基），把一个二维的向量，变成三维的有什么意义？ 原来的二维向量，只是某个三维空间中的面（注意二维向量是任意的，在三维空间中，二维向量在三维基向量上可以都有值，这其实才是普遍现象），升三维之后，能有另一个维度的信息表示能力，或者说从其他角度去看待同一个东西（本来二维可以唯一确定一类东西，但是我们希望从其他角度来看待，能帮助我们看到二维遮蔽的信息）。
  • SVD 是方阵对角化的非方阵推广，\( U \Sigma V^{T} \)）。
  • PCA，找到投影后的数据方差最大的基（这些方向，主导了数据的变化）。\( (\frac{1}{n} X^T X) w = \lambda w \)），基就协方差矩阵的特征向量，也能实现数据压缩的目标，同时可以作为一种分析工具，表明主要矛盾在那些方向。
  • 离散傅里叶变换中的矩阵可以表示为 \( F_{ij} = w^{i+j}\) 其中， \( w^n = 1\)，一般用复指数的方式表示 \( w = e^{i2\pi/n}\)，该矩阵为 复 Hermitian 矩阵，很容易得到逆矩阵，从而进行离散傅里叶变换的逆变换。

线性映射

在两个向量空间之间的映射 \( T: V \to W \) 被称为线性映射（Linear Map）或线性变换（Linear Transformation），如果它满足以下两个条件，对任意 \( \mathbf{u}, \mathbf{v} \in V \) 和标量 \( a \in \mathbb{F} \)：

  1. 加法保持性（Additivity）： \[ T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v}) \]

  2. 数乘保持性（Homogeneity）： \[ T(a \mathbf{u}) = a T(\mathbf{u}) \]

即，线性映射保持向量加法和数乘运算。

等价定义

线性映射 \( T: V \to W \) 可以等价地表示为： \[ T(a \mathbf{u} + b \mathbf{v}) = a T(\mathbf{u}) + b T(\mathbf{v}), \quad \forall \mathbf{u}, \mathbf{v} \in V, \forall a, b \in \mathbb{F} \] 即，线性映射保持线性组合的运算。

特殊情况

  • 如果 \( V = W \)，则 \( T \) 是从自身到自身的线性变换（线性算子，有时候一个意思，有时候有所区分）。
  • 如果 \( T \) 映射到数域 \( \mathbb{F} \)（即 \( W = \mathbb{F} \)），则 \( T \) 是一个线性函数（比如 多元一次函数）。

矩阵表示

如果 \( V \) 和 \( W \) 都是有限维向量空间，则线性映射可以用矩阵 \( A \) 表示（不能有高次，最后就写到了多元一次函数方程组）： \[ T(\mathbf{x}) = A \mathbf{x} \] 其中，\( A \) 是一个 \( m \times n \) 矩阵，\( \mathbf{x} \) 是 \( n \) 维列向量，\( T(\mathbf{x}) \) 是 \( m \) 维列向量。

例子

  1. 简单的数乘变换： \( T: \mathbb{R}^2 \to \mathbb{R}^2 \)，定义为 \( T(x, y) = (2x, 3y) \)，满足线性性，因此是线性映射。

  2. 矩阵变换： 设 \( A = \begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix} \)，则映射 \( T(\mathbf{x}) = A \mathbf{x} \) 是线性映射。

  3. 积分算子： 设 \( V \) 是所有连续函数的空间，定义 \( T(f) = \int_0^x f(t) , dt \)，可以验证 \( T \) 也是线性映射。

Copyright © 2025 • Created with ❤️ by XiaoLinhong