最小二乘准则例题
有两类样本
C 1 : [ 0 , 0 ] ⊤ , [ 0 , 1 ] ⊤ C_1:{[0, 0]^\top, [0, 1]^\top} C1:[0,0]⊤,[0,1]⊤
C 2 : [ 1 , 0 ] ⊤ , [ 1 , 1 ] ⊤ C_2:{[1, 0]^\top, [1, 1]^\top} C2:[1,0]⊤,[1,1]⊤
利用最小二乘准则（误差平方和准则）求解线性判别函数的权向量，给出线性判别函数。
解
-
规范化增广样本矩阵
将样本增广（添加偏置项 1，这个例子增加在末尾）并规范化（ C 2 C_2 C2 类样本取负）：- C 1 C_1 C1: [ 0 , 0 , 1 ] ⊤ , [ 0 , 1 , 1 ] ⊤ [0, 0, 1]^\top, [0, 1, 1]^\top [0,0,1]⊤,[0,1,1]⊤
- C 2 C_2 C2: − [ 1 , 0 , 1 ] ⊤ = [ − 1 , 0 , − 1 ] ⊤ , − [ 1 , 1 , 1 ] ⊤ = [ − 1 , − 1 , − 1 ] ⊤ -[1, 0, 1]^\top = [-1, 0, -1]^\top, -[1, 1, 1]^\top = [-1, -1, -1]^\top −[1,0,1]⊤=[−1,0,−1]⊤,−[1,1,1]⊤=[−1,−1,−1]⊤
规范化增广样本矩阵为
Z = [ z 1 ⊤ ⋮ z N ⊤ ] = [ 0 0 1 0 1 1 − 1 0 − 1 − 1 − 1 − 1 ] {\boldsymbol Z} = \begin{bmatrix} {\boldsymbol z}_1^\top \\ \vdots \\ {\boldsymbol z}_N^\top \end{bmatrix} = \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 1 \\ -1 & 0 & -1 \\ -1 & -1 & -1 \end{bmatrix} Z= z1⊤⋮zN⊤ = 00−1−1010−111−1−1
- 计算 Z ⊤ Z {\boldsymbol Z}^\top {\boldsymbol Z} Z⊤Z 及其逆矩阵
Z ⊤ Z = [ 0 0 − 1 − 1 0 1 0 − 1 1 1 − 1 − 1 ] [ 0 0 1 0 1 1 − 1 0 − 1 − 1 − 1 − 1 ] = [ 2 1 2 1 2 2 2 2 4 ] {\boldsymbol Z}^\top {\boldsymbol Z} = \begin{bmatrix} 0 & 0 & -1 & -1 \\ 0 & 1 & 0 & -1 \\ 1 & 1 & -1 & -1 \end{bmatrix} \begin{bmatrix} 0 & 0 & 1 \\ 0 & 1 & 1 \\ -1 & 0 & -1 \\ -1 & -1 & -1 \end{bmatrix} = \begin{bmatrix} 2 & 1 & 2 \\ 1 & 2 & 2 \\ 2 & 2 & 4 \end{bmatrix} Z⊤Z= 001011−10−1−1−1−1 00−1−1010−111−1−1 = 212122224
( Z ⊤ Z ) − 1 = 1 4 [ 4 0 − 2 0 4 − 2 − 2 − 2 3 ] ({\boldsymbol Z}^\top {\boldsymbol Z})^{-1} = \frac{1}{4} \begin{bmatrix} 4 & 0 & -2 \\ 0 & 4 & -2 \\ -2 & -2 & 3 \end{bmatrix} (Z⊤Z)−1=41 40−204−2−2−23
- 求伪逆矩阵 Z + {\boldsymbol Z}⁺ Z+
矩阵 Z {\boldsymbol Z} Z 的伪逆矩阵为
Z + = ( Z ⊤ Z ) − 1 Z ⊤ = 1 4 [ 4 0 − 2 0 4 − 2 − 2 − 2 3 ] [ 0 0 − 1 − 1 0 1 0 − 1 1 1 − 1 − 1 ] = 1 4 [ − 2 − 2 − 2 − 2 − 2 2 2 − 2 3 1 − 1 1 ] {\boldsymbol Z}^+ = ({\boldsymbol Z}^\top {\boldsymbol Z})^{-1} {\boldsymbol Z}^\top = \frac{1}{4} \begin{bmatrix} 4 & 0 & -2 \\ 0 & 4 & -2 \\ -2 & -2 & 3 \end{bmatrix} \begin{bmatrix} 0 & 0 & -1 & -1 \\ 0 & 1 & 0 & -1 \\ 1 & 1 & -1 & -1 \end{bmatrix} = \frac{1}{4} \begin{bmatrix} -2 & -2 & -2 & -2 \\ -2 & 2 & 2 & -2 \\ 3 & 1 & -1 & 1 \end{bmatrix} Z+=(Z⊤Z)−1Z⊤=41 40−204−2−2−23 001011−10−1−1−1−1 =41 −2−23−221−22−1−2−21
- 设定余量 y {\boldsymbol y} y并求解权向量 θ ∗ {\boldsymbol \theta}^* θ∗
取余量
y = [ 1 1 1 1 ] {\boldsymbol y} = \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix} y= 1111
θ ∗ = Z + y = 1 4 [ − 2 − 2 − 2 − 2 − 2 2 2 − 2 3 1 − 1 1 ] [ 1 1 1 1 ] = 1 4 [ − 8 0 4 ] = [ − 2 0 1 ] {\boldsymbol \theta}^* = {\boldsymbol Z}^+ {\boldsymbol y} = \frac{1}{4} \begin{bmatrix} -2 & -2 & -2 & -2 \\ -2 & 2 & 2 & -2 \\ 3 & 1 & -1 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \\ 1 \\ 1 \end{bmatrix} = \frac{1}{4} \begin{bmatrix} -8 \\ 0 \\ 4 \end{bmatrix} = \begin{bmatrix} -2 \\ 0 \\ 1 \end{bmatrix} θ∗=Z+y=41 −2−23−221−22−1−2−21 1111 =41 −804 = −201
- 线性判别函数
权向量 θ ∗ = [ − 2 , 0 , 1 ] ⊤ {\boldsymbol \theta}^* = [-2, 0, 1]^\top θ∗=[−2,0,1]⊤，对应的判别函数为：
g ( x ) = θ ∗ ⊤ z = − 2 x 1 + 0 x 2 + 1 g({\boldsymbol x}) = {\boldsymbol \theta}^{*\top} {\boldsymbol z} = -2x_1 + 0x_2 + 1 g(x)=θ∗⊤z=−2x1+0x2+1
决策规则：若 g ( x ) > 0 g({\boldsymbol x}) > 0 g(x)>0，则判为 C 1 C_1 C1；否则判为 C 2 C_2 C2。
在这个例子中，所有样本被正确分类。
- 对 C 1 C_1 C1 样本 [ 0 , 0 ] ⊤ [0, 0]^\top [0,0]⊤： g ( x ) = 1 > 0 g({\boldsymbol x}) = 1 > 0 g(x)=1>0✓
- 对 C 1 C_1 C1 样本 [ 0 , 1 ] ⊤ [0, 1]^\top [0,1]⊤： g ( x ) = 1 > 0 g({\boldsymbol x}) = 1 > 0 g(x)=1>0✓
- 对 C 2 C_2 C2 样本 [ 1 , 0 ] ⊤ [1, 0]^\top [1,0]⊤： g ( x ) = − 1 < 0 g({\boldsymbol x}) = -1 < 0 g(x)=−1<0✓
- 对 C 2 C_2 C2 样本 [ 1 , 1 ] ⊤ [1, 1]^\top [1,1]⊤： g ( x ) = − 1 < 0 g({\boldsymbol x}) = -1 < 0 g(x)=−1<0✓