1.3.3　向量的投影和正交

如果有两个向量x和y，它们在空间中各自表示一个方向，就把xTy称为x在y上的投影，也可以称为y在x上的投影，如图1-10所示。

投影的意义在于y中有多少x的信息，就好比从东南方向千米可以推断方向“南”的里程为1千米。

特别的，如果两个向量在空间中是垂直的，就称它们正交，此时投影长度为0。例如，东和南就是正交。如果两个向量x和y正交，就说明y中不包含任何x的信息，如图1-11所示。

两个非0向量正交的充要条件为

xTy=0

且x≠0和y≠0。特别的，如果‖y‖=1，则称为标准投影。

在n维空间中，最多可以找到n个相互正交的向量υ1，…，υn，υi≠0。例如，在2维空间中，东和南相互正交，在3维空间中，东、南和上相互正交。

一组相互正交的向量必然是线性无关的。我们使用反证法来证明。

一组向量υ1，…，υn（υi≠0）相互正交，它们之间线性相关。例如，υ1可以由其他向量表示，即

υ1=k2υ2+…+knυn

两边都乘以，可得

但是，因为υ1≠0，所以。这就出现了矛盾。因此，假设不成立，即υ1，…，υn是线性无关的。

如果n个相互正交的向量υ1，…，υn满足‖υi‖=1，i=1，…，n，那么称υ1，…，υn为标准正交基。如果我们通过一组标准正交基υ1，…，υn对向量x进行投影，就可以得到一个新的向量

例如，在2维空间中，，，，投影如图1-12所示。

可以看出，使用标准正交基进行投影，其实就是获得同一数据点在新坐标系下的坐标，而x是在标准正交基下和的投影。

但是需要注意，标准正交基并不是唯一的。例如，以下都是标准正交基的投影。

使用不同的标准正交基，相当于选择了不同的坐标系，同一个数据点在不同坐标系下对应于不同的坐标。

如果一组向量为标准正交基，那么它们一定是一个线性无关组，但是，反过来并不成立。然而，施密特正交变换可以先将一个线性无关组转换成正交向量组，再将正交向量组中的每个向量单位化，最终得到一个标准正交基。例如，有线性无关组α1，…，αm，我们先构建正交向量组β1，…，βm，施密特正交变换的具体过程如下。

β1=α1

β2=α2-kβ1

为了使β1和β2正交，即

〈β1，β2〉=〈α1，α2-kβ1〉=〈α1，α2〉-k〈α1，β1〉=0

可以得到

所以

同理，我们可以构造向量β3=α2-k1β1-k2β2，满足

〈β3，β1〉=0

〈β3，β2〉=0

从而求得

依此类推：

通过上述公式，我们就可以得到正交向量组

β1，…，βm

最后，将正交向量组中的每个向量单位化，就能得到标准正交基，具体如下。