文章目錄
  1. 1. 求解Ax=b:可解性和解的结构
  2. 2. 四个基本子空间
    1. 2.1. 理解
  3. 3. 图和网络
  4. 4. 子空间投影
    1. 4.1. 前言——为什么要求投影
    2. 4.2. 一维投影
    3. 4.3. 高维投影
  5. 5. 正交矩阵和Gram-Schmidt正交化
    1. 5.1. 正交矩阵
    2. 5.2. Gram-Schmidt正交化
      1. 5.2.1. 一般步骤
      2. 5.2.2. 表达式

求解Ax=b:可解性和解的结构

设m为行(方程组个数、母空间维度的维数为m)、n为列(变量个数、向量个数)、r为秩

  • r = m = n(二维平面上两条不平行的直线求交点)(1个解)
    向量所占的维数等于向量的个数又等于母空间的维数。
    所以向量一定能到达母空间的任意位置,但该位置唯一,每个向量都不是自由的,要共同组合才能到该位置,所以向量前的系数也是唯一的,故有个1解。
  • r = m < n(三维空间上两个不平行平面求交点)(无数解)
    向量所占的维数等于母空间的维数,但小于向量的个数。
    前面的条件说明一定能到母空间的任意位置,后面的条件说明有自由向量。
    通过改变自由向量的系数,可以让其他向量的系数也改变且满足解。
    所以有无数解。
  • r = n < m(二维平面上三条直线求交点)(无解或1解)
    向量所占的维数等于向量的个数,但小于母空间的维数。
    后面的条件说明向量无论如何组合,也只能到母空间的一个子空间,所以有可能无解。
    前面的条件说明没有自由向量,如果恰好能到b的位置,那向量的组合也是唯一的。

  • r < n, r < m (三维空间中,一个平面和一条直线求交点)(无解或无数解)
    向量所占的维数小于向量的个数,且小于母空间的维数。
    说明有自由向量 && 只能到达母空间的某一个子空间。
    故无解或无数解。

四个基本子空间

  • 矩阵A: m×n,rank = r
  • 列空间 C(A) dim = r
  • 左零空间 $N(A^T)$ dim = m - r
  • 行空间 $C(A^T)$ dim = r
  • 零空间 N(A) dim = n - r
  • 列空间和左零空间位于Rm,其维数相加等于m
  • 行空间和零空间位于Rn,其维数相加等于n

理解

  • 列空间:由n个向量组成,每个向量是m维的,自然在Rm中。dim = rank是去掉自由变量之外的主列数量,base可以是剩下的主列。
  • 左零空间:本质是能使A的各行通过线性组合形成零行的行变换矩阵(1×m)所形成的空间,所以在Rm中(和行数一致);当把A变化为行最简式之后,底下有m-r个零行。那么可以通过枚举每一个零行位置的系数为1,其他零行系数为0,然后用其他位置的行来消掉它(因为我们已经知道它是可以被其他行砍成0的),于是base就是的dim = m - r
  • 行空间:由于初等行变换只是行之间的线性组合,所以各行在变化之后仍在原来的行空间上,所以可以通过将矩阵做行最简式得到一组best base,剩下的行数就是rank,也是dim。所以dim = rank = r;矩阵有m行,所以处于Rm上
  • 零空间:本质是让满足A×x=0的矩阵x(n行1列)所形成的空间,所以处于Rn上。有几个自由变量,就可以通过枚举每一个自由变量是1,其他是0,用其他主列来砍掉它形成0列(回代),所以dim = n - r。
  • 矩阵向量形成的空间——Rn到Rn×n的延伸(在所有3乘3矩阵形成的空间中,对角矩阵的dim是多少?可以发现,可以构造三个不同的对角矩阵,任意对角矩阵都可以用他们来构造,所以dim是3,这三个矩阵是3乘3对角矩阵的一个base):一个空间,想看看它是几维的,就去找它的一个base,看看这个base至少需要几个向量组成。

图和网络

子空间投影

前言——为什么要求投影

试想有一个二维坐标系,以及三个点(1,1),(2,2),(3,2)。问是否有一根直线穿过这三个点。
设直线为$C+Dt=b$
于是得到三个方程,分别为:
$C+D=1$
$C+2D=2$
$C+3D=2$
抽象为矩阵形式为:

相乘。
也就是$Ax=b$的形式,此时由于b不在A的列空间内,于是无解。于是我们希望找到一条与这三条最接近的一条直线,也就是一个近似解,更具体的,我们希望找到一个最接近A列空间的$p$,求出近似解$\hat(x)$,由此投影就在此应用。

一维投影

二维空间中,一个向量投影到一个一条直线(一维子空间)上。

P(投影矩阵)的性质:

  • $p×p=p$
  • 是对称矩阵

高维投影

以一个向量投影到一个平面上(多维子空间)为例

正交矩阵和Gram-Schmidt正交化

正交矩阵

正交矩阵能为后续计算带来便利。比如求一个矩阵$A$列空间上的投影矩阵,有

如果矩阵的每一列都是标准正交向量(长度为1,互相垂直),那么称这个矩阵为正交矩阵,记为$Q$

由于$Q$每一列$q_i$都互相垂直,长度为1所以有

得到

Gram-Schmidt正交化

这个方法主要来自Gram,Schmidt只提供了将向量单位化(向量除以自己的长度),所以国内广泛称其为施密特正交化,有失偏颇。

初始条件:$m×n$矩阵$A$,其各列$a_1,a_2…a_n$线性无关

目标:将矩阵$A$正交化为正交矩阵$Q$

一般步骤

取第一个向量$a_1$为第一个正交标准向量$q_i$(先不考虑向量长度的事,最后再做处理)

现在处理$a_2$,想得到$q_2$垂直于$q_1$,且$a_1,a_2$与$q_1,q_2$构成的列空间一致。
将$a_2$投影到$q_1$上,得到投影$p$,实际上误差向量$e=b-p$就是我们想要得到的$q_2$。

继续处理$a_i$, 想得到$q_i$垂直于 $q_1,q_2…q_{i-1}$并且$a_1,a_2…a_i$ 与 $q_1,q_2…q_i$ 构成的列空间一致
将$a_i$分别投影到$q_1,q_2…q_{i-1}$上,并减去投影(可以想象一下这个过程,每次垂直一个q,挪啊挪的),最后得到 $q_i$。

得到了所有的$q_i$,然后做$q_i=\frac{q_i}{|q_i|}$,得到最终的正交矩阵Q。

表达式

和$A=LU$分解一样,正交化也有表达式

证明R是个$n×n$的上三角矩阵:

  • $Q^T$是$n×m$矩阵,$A$是$m×n$矩阵,所以R是$n×n$矩阵
  • $R_{ij}=(q_i)^Ta_i$,对于$q_i$来说,它垂直于所有的$q_j,(j<i)$,而所有的$a_j与q_j(j<i)在同一个空间中$,于是$q_i$垂直所有的$a_j,(j<i)$,所以$R$是一个上三角矩阵
文章目錄
  1. 1. 求解Ax=b:可解性和解的结构
  2. 2. 四个基本子空间
    1. 2.1. 理解
  3. 3. 图和网络
  4. 4. 子空间投影
    1. 4.1. 前言——为什么要求投影
    2. 4.2. 一维投影
    3. 4.3. 高维投影
  5. 5. 正交矩阵和Gram-Schmidt正交化
    1. 5.1. 正交矩阵
    2. 5.2. Gram-Schmidt正交化
      1. 5.2.1. 一般步骤
      2. 5.2.2. 表达式