向量x,y,如果$x^{T}y=x_1y_1+x_2y_2+\cdots+x_ny_n=0$,则称之为两个向量正交(orthogonal)
秩r的$m \times n$矩阵,其行空间$\dim C(A^T)=r$和零空间$\dim N(A)=n-r$同属于$R^{n}$空间,而列空间$\dim C(A)=r$和左零空间$\dim N(A^T)=m-r$同属于$R^{m}$空间。
表明行空间与零空间将$R^{n}$拆分成两个正交的子空间;同理列空间与左零空间将$R^{m}$拆分成两个正交的子空间。
向量$\mathbf{b}$投影到向量$\mathbf{a}$上,那么投影的向量为$\mathbf{p}=x\mathbf{a}$,那么剩余的向量$\mathbf{e}=\mathbf{b}-x\mathbf{a}$,由投影关系可知 $\mathbf{e} \bot \mathbf{a}$
所以: $a^{T}e=a^{T}(b-p)=a^{T}(b-xa)=0 \Rightarrow x=\frac{a^{T}b}{a^{T}a}$ 投影后的向量$\mathbf{p}=a\frac{a^{T}b}{a^{T}a}$,由此可知,投影向量为$P=\frac{aa^{T}}{a^{T}a}$
性质
$q_i^{T}q_j=\begin{cases}0 & i \ne j \\ 1 & i = j \end{cases}$
将标准正交向量放入到矩阵中
$Q=\Bigg[ q_1q_2\ldots q_n \Bigg]$
所以
$$Q^TQ=\Bigg[q_1^Tq_2^T\ldots q_n^T \Bigg]\Bigg[ q_1q_2\ldots q_n \Bigg] = \begin{bmatrix}1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & 1\end{bmatrix} = I$$ 将$Q$称之为标准正交矩阵。若$Q$为方阵,则$Q^{T}=Q^{-1}$
若干线性无关向量 $a,b,c,\cdots$,求解出正交向量 $A,B,C,\cdots$