Fisher准则例题——给定样本数据

已知两类数据：

$C_1:(1,0{)}^{\top },(2,0{)}^{\top },(1,1{)}^{\top }$,

$C_2:(-1,0{)}^{\top },(0,1{)}^{\top },(-1,1{)}^{\top }$,
利用Fisher线性判别方法判断新样本$(1,2{)}^{\top }$ 属于哪类？（两类均值作为分类阈值点）

---

解：两类均值分别为：

$m_1={\left(\frac{4}{3},\frac{1}{3}\right)}^{\top }$,$m_2={\left(-\frac{2}{3},\frac{2}{3}\right)}^{\top }$

两类离散度矩阵分别为：

$S_1=\sum _{x\in X_1}(x-m_1)(x-m_1{)}^{\top }=\frac{1}{3}\left(\begin{array}{cc}2& -1\\ -1& 2\end{array}\right)$

$S_2=\sum _{x\in X_2}(x-m_2)(x-m_2{)}^{\top }=\frac{1}{3}\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$

总类内离散度矩阵为：

$S_{\mathbf{w}}=S_1+S_2=\frac{1}{3}\left(\begin{array}{cc}4& 0\\ 0& 4\end{array}\right)$

最优投影方向为：

$\mathbf{w}=S_{\mathbf{w}}^{-1}(m_1-m_2)=\frac{1}{4}\left(\begin{array}{cc}3& 0\\ 0& 3\end{array}\right){\left(\begin{array}{c}6/3\\ -1/3\end{array}\right)}^{\top }={\left(\frac{3}{2},-\frac{1}{4}\right)}^{\top }$

分类阈值点为：

$y_o={\mathbf{w}}^{\top }(m_1+m_2)/2=\left(\frac{3}{2},-\frac{1}{4}\right){\left(\begin{array}{c}1/3\\ 1/2\end{array}\right)}^{\top }=\frac{3}{8}$

新样本在$\mathbf{w}$ 上的投影为：

$y={\mathbf{w}}^{\top }{\mathbf{x}}^{\ast }={\left(\frac{3}{2},-\frac{1}{4}\right)}^{\top }{\left(\begin{array}{c}1\\ 2\end{array}\right)}^{\top }=1$

由于$y>y_0$，新样本属于$C_1$ 类。