LLM中词嵌入向量的 模长 和 角度 的物理含义

LLM中词嵌入向量的 模长 和 角度 的物理含义

在LLM（大语言模型）中，词嵌入（Word Embedding）的核心是将单词转化为高维向量，让计算机能通过向量运算理解语义。向量的模长和角度是两个基础几何属性，它们在语义层面有明确的对应含义，也能通过“物理类比”帮助理解。

可运行代码展示

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import numpy as np
from scipy.spatial.distance import cosine
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties# 设置中文字体支持
try:font