特征值与特征向量

特征值和特征向量是一种数据的处理方法，可以简化数据。
矩阵乘特征向量就是在其方向的投影。这点类似于向量点积既是投影。

通过求特征值和向量，把矩阵数据投影在一个正交的空间，而投影的大小就是特征值。这样就直观体现了数据的基本特征。
最大特征值并不是说数据在所有方向的投影的最大值，而仅限于正交空间的某一方向(属于那个特征向量的方向)。
一般矩阵，满足满秩，只有一个这样的正交空间。
或许有更好的空间来体现数据的特征，但一般来说，正交空间就很好，不排除特殊应用需要非正交的空间，可能会更好。

至于为什么正交矩阵属于不同特征值的特征向量一定正交,可以证明如下:

约定：
a)复数λ的共轭复数记为λ′。
b)矩阵（包括向量）A的共轭转置矩阵（向量）记为A*

A是正交矩阵，A*＝A^（-1）,

设λ1,λ2是A的两个不同特征值，则λ1λ2′≠1
(如果λ2′＝1/λ2.如果λ1λ2′＝1，则λ1＝λ2)

λ1X1＝AX.
λ2X2＝AX2.λ2′X2*＝X2*A*

λ1λ2′X2*X1＝X2*A*AX1＝X2*X1.
（λ1λ2′-1）X2*X1＝0

λ1λ2′≠1,
∴X2*X1＝0,X2与X1正交.