内积相似系数——内积度量相似系数
内积与相似系数
内积（Inner Product）
内积（Inner Product），也称为点积（Dot Product）或标量积，两个向量点积的结果是一个标量（通常是实数或复数）。
内积&点积
欧几里得空间中的内积
在 R n \mathbb{R}^n Rn（ n n n维欧几里得空间）中，设两个向量 x = ( x 1 , x 2 , ⋯ , x n ) \boldsymbol{x} = (x_1, x_2, \cdots, x_n) x=(x1,x2,⋯,xn)和 y = ( y 1 , y 2 , ⋯ , y n ) \boldsymbol{y} = (y_1, y_2, \cdots, y_n) y=(y1,y2,⋯,yn)，它们的内积定义为：
⟨ x , y ⟩ = ∑ i = 1 n x i y i = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \langle \boldsymbol{x}, \boldsymbol{y} \rangle = \sum_{i=1}^{n} x_i y_i = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n ⟨x,y⟩=i=1∑nxiyi=x1y1+x2y2+⋯+xnyn
或者表示为
x ⋅ y = ∑ i = 1 n x i y i = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \boldsymbol{x} \cdot \boldsymbol{y} = \sum_{i=1}^{n} x_i y_i = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n x⋅y=i=1∑nxiyi=x1y1+x2y2+⋯+xnyn
这个定义给出了两个向量的分量相乘然后求和的结果。
内积是两个向量之间的一种运算，其结果是一个实数。当 x \boldsymbol{x} x和 y \boldsymbol{y} y都是列向量时，内积可以表示为：
⟨ x , y ⟩ = x T y \langle \boldsymbol{x}, \boldsymbol{y} \rangle = \boldsymbol{x}^{\mathsf{T}} \boldsymbol{y} ⟨x,y⟩=xTy
其中， x T \boldsymbol{x}^{\mathsf{T}} xT表示向量 x \boldsymbol{x} x的转置。
内积的性质
内积满足以下基本性质：
- 对称性：对于实向量空间， x ⋅ y = y ⋅ x \boldsymbol{x} \cdot \boldsymbol{y} = \boldsymbol{y} \cdot \boldsymbol{x} x⋅y=y⋅x；对于复向量空间， ⟨ x , y ⟩ = ⟨ y , x ⟩ ‾ \langle \boldsymbol{x}, \boldsymbol{y} \rangle = \overline{\langle \boldsymbol{y}, \boldsymbol{x} \rangle} ⟨x,y⟩=⟨y,x⟩。
- 线性：对于所有向量 x , y , c \boldsymbol{x}, \boldsymbol{y}, \mathbf{c} x,y,c和所有标量 α \alpha α，有 x ⋅ ( y + c ) = x ⋅ y + x ⋅ c \boldsymbol{x} \cdot (\boldsymbol{y} + \mathbf{c}) = \boldsymbol{x} \cdot \boldsymbol{y} + \boldsymbol{x} \cdot \mathbf{c} x⋅(y+c)=x⋅y+x⋅c和 x ⋅ ( α y ) = α ( x ⋅ y ) \boldsymbol{x} \cdot (\alpha \boldsymbol{y}) = \alpha (\boldsymbol{x} \cdot \boldsymbol{y}) x⋅(αy)=α(x⋅y)。
- 正定性：对于任意非零向量 x \boldsymbol{x} x，有 x ⋅ x > 0 \boldsymbol{x} \cdot \boldsymbol{x} > 0 x⋅x>0；如果 x = 0 \boldsymbol{x} = 0 x=0，则 x ⋅ x = 0 \boldsymbol{x} \cdot \boldsymbol{x} = 0 x⋅x=0。
内积在许多方面都有应用，比如计算向量之间的角度、确定向量是否正交、计算投影等。在几何上，两个向量的内积等于它们的模长乘积与夹角余弦的乘积，即：
x ⋅ y = ∥ x ∥ ∥ y ∥ cos φ \boldsymbol{x} \cdot \boldsymbol{y} = \| \boldsymbol{x} \| \| \boldsymbol{y} \| \cos\varphi x⋅y=∥x∥∥y∥cosφ
这里 ∥ x ∥ \| \boldsymbol{x} \| ∥x∥和 ∥ y ∥ \| \boldsymbol{y} \| ∥y∥分别是向量 x \boldsymbol{x} x和 y \boldsymbol{y} y的长度（模）， φ \varphi φ是它们之间的夹角。
相似系数（Similarity Coefficient）
在机器学习中，内积经常用来衡量特征向量之间的相似性。
余弦相似度：一种常用的相似系数是余弦相似度（Cosine Similarity），它基于两个向量的内积和它们的模长（或范数）来定义。余弦相似度的公式如下：
cos φ = x ⋅ y ∥ x ∥ ∥ y ∥ \cos\varphi = \frac{\boldsymbol{x} \cdot \boldsymbol{y}}{\|\boldsymbol{x}\| \|\boldsymbol{y}\|} cosφ=∥x∥∥y∥x⋅y
这里， φ \varphi φ是向量 x \boldsymbol{x} x和 y \boldsymbol{y} y之间的夹角， ∥ x ∥ \|\boldsymbol{x}\| ∥x∥和 ∥ y ∥ \|\boldsymbol{y}\| ∥y∥分别是向量 x \boldsymbol{x} x和 y \boldsymbol{y} y的模长。
当向量归一化为单位向量时，两个向量的内积即计算它们之间的夹角余弦。根据柯西-施瓦茨不等式，余弦相似度的取值范围是 [ − 1 , 1 ] [-1, 1] [−1,1]， 0 0 0表示正交（即不相关）。
皮尔逊相关系数：另一种基于内积的相似性度量是皮尔逊相关系数（Pearson Correlation Coefficient）：
r x y = x − x ˉ ∥ x − x ˉ ∥ ⋅ y − y ˉ ∥ y − y ˉ ∥ = ∑ i = 1 n ( x i − x ˉ ) ( y i − y ˉ ) ∑ i = 1 n ( x i − x ˉ ) 2 ∑ i = 1 n ( y i − y ˉ ) 2 r_{xy} = \frac {{\boldsymbol x} - \bar{x}}{\lVert {\boldsymbol x}- \bar{x}\rVert }\cdot \frac {{\boldsymbol y} - \bar{y}} { \lVert {\boldsymbol y}- \bar{y} \rVert} = \frac{\sum\limits_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum\limits_{i=1}^{n}(x_i - \bar{x})^2 \sum\limits_{i=1}^{n}(y_i - \bar{y})^2}} rxy=∥x−xˉ∥x−xˉ⋅∥y−yˉ∥y−yˉ=i=1∑n(xi−xˉ)2i=1∑n(yi−yˉ)2i=1∑n(xi−xˉ)(yi−yˉ)
这里， x i x_i xi和 y i y_i yi是向量的元素， x ˉ \bar{x} xˉ和 y ˉ \bar{y} yˉ是相应的均值。
皮尔逊相关系数是内积在标准化向量上的应用。它考虑了变量的标准化（去除了尺度影响）。