对于一组向量的集合 $\{\mathbf v^{(1)}, \dots, \mathbf v^{(n)}\}$，其线性组合为
$$ \sum_{i} c_i \mathbf v^{(i)} $$集合 $\{\mathbf v^{(1)}, \dots, \mathbf v^{(n)}\}$ 的生成空间（span）就是所有这些线性组合得到的向量组成的集合，称之为向量空间
向量空间是线性代数重要的概念，其性质：
一组线性无关的向量组定义为：其中任何一个向量，不能使用其它向量的线性组合表示。
对于 $\mathbb R^{m}$ 的向量组，其中线性无关的向量最多只有 $m$ 个。
向一组向量中加入一个这组向量的线性组合，并不会向其生成空间中加入新的向量。
因此，为了使得所有的 $b\in \mathbb R^{m}$ 都有解，$\mathbf A$ 的列向量组应当有 $m$ 个线性无关解。
为了使得方程只有一个解，我们需要限制列的个数，所以 $n \leq m$。
综合上面的结果，为了使得 $\mathbf A^{-1}$ 存在，我们需要有 $\bf A$ 满足 $m=n$ 即方阵，以及所有的列向量都是线性无关的。
有线性相关的列向量的方阵叫做奇异的。
当然，如果 $\mathbf A^{-1}$ 不存在，线性方程组 $\bf Ax=b$ 还是可能有解的。
通过消元法将矩阵 A 转换成上三角矩阵 U 的形式，令其中自由列（free column）中的自由变量（free variable）依次为1，其余为0，解得主元变量的值，将解得的向量进行线性组合为方程 $Ax=0$ 的解。
实例
$A=\begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 & 6 & 8 & 0 \end{bmatrix} \xrightarrow{eliminate} \begin{bmatrix} \underline{1} & 2 & 2 & 4 \\ 0 & 0 & \underline{2} & 4 \\ 0 & 0 & 0 & 0 \end{bmatrix} = U$
下划线的元素就是主元（pivot），其所在的列为主列（pivot column），对应x向量中的值为主元变量（pivot varibales）；其余的向量为free column，对应的x向量的值为自由变量（free variable)。
令 $x_2=1,x_4=0 \Rightarrow x_1+2+2x_3=0 \Rightarrow x=c_1\begin{bmatrix}-2 \\1\\0\\0\end{bmatrix}$
再令 $x_2=0,x_4=0 \Rightarrow 2x_3+4=0 \Rightarrow x=c_2\begin{bmatrix}2\\0\\-2\\1\end{bmatrix}$
所以方程组$Ax=0$的解：$X=c_1\begin{bmatrix}-2 \\1\\0\\0\end{bmatrix} + c_2\begin{bmatrix}2\\0\\-2\\1\end{bmatrix}$
Ax=0 中x组成的所有空间为零空间
先按照$Ax=0$的方法，将矩阵进行$A$消元操作，将其转换为上三角矩阵$U$，令所有自由变量为零，求解出特解，再求解出$Ax=0$的解，两者组合为$Ax=b$的解。
实例
如果$b=\begin{bmatrix}1 & 5 & 6 \end{bmatrix}^{T}$,通过消元操作后得到$$\begin{bmatrix} \underline{1} & 2 & 2 & 4 \\ 0 & 0 & \underline{2} & 4 \\ 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}1\\3\\0\end{bmatrix}$$
令$x_2=x_4=0$，得到$\begin{cases}x_1+2x_3=1 \\ 2x_3=3\end{cases}$, 解方程得到$\begin{cases}x_1=-1 \\ x_3=\frac{3}{2}\end{cases}$,所以$Ax=b$的一个特解为$x=\begin{bmatrix}-1\\0\\ \frac{3}{2}\\0\end{bmatrix}$,加上Ax=0的解，则Ax=b的全部解为$X=\begin{bmatrix}-1\\0\\ \frac{3}{2}\\0\end{bmatrix}+c_1\begin{bmatrix}-2\\1\\0\\0\end{bmatrix}+c_2\begin{bmatrix}2\\0\\-2\\1\end{bmatrix}$
In [ ]: