版面独特的网站网络营销所学课程

一、论文和代码网址

论文：https://arxiv.org/pdf/1607.01759v2
代码：https://github.com/facebookresearch/fastText

二、代码复现

1.Linux系统下拉取代码、编译

wget https://github.com/facebookresearch/fastText/archive/v0.9.2.zip
unzip v0.9.2.zip
cd fastText-0.9.2
make

2.数据集：情感分析

IMDB 评论25000条：https://ai.stanford.edu/~amaas/data/sentiment/

假设我们要做情感分析任务，任务是根据电影评论判断情感是积极还是消极。那么我们可以准备如下格式的训练数据：

train.txt

__label__positive  This movie is fantastic, I loved it!
__label__negative  I hated this movie, it was awful.
__label__positive  Absolutely amazing, best movie I've seen!
__label__negative  Terrible, waste of time.
__label__positive  Great movie, will watch again.
__label__negative  Didn't enjoy it at all, very boring.

3.训练

修改epoch轮次

vim classification-example.sh

找到-epoch，从5改为20

训练模型命令：

./fasttext supervised -input train_25000.txt -output model./fasttext supervised -input train_25000.txt -output model -lr 0.01 -epoch 300 -dim 300 -neg 10 -loss hs【 loss 0.137】./fasttext supervised -input train_25000.txt -output model -lr 0.05 -epoch 50 -dim 300 -neg 30 -loss ns 【ns:很差】./fasttext supervised -input train_25000.txt -output model -lr 0.1 -epoch 50 -dim 300 -neg 30 -loss hs【 loss 0.111】

最终输出：

Read 5M words
Number of words:  281111
Number of labels: 2
Progress: 100.0% words/sec/thread:  835193 lr:  0.000000 avg.loss:  0.137626 ETA:   0h 0m 0s

4.评估模型：用训练集评估模型精度

./fasttext test model.bin train.txt
./fasttext test model.bin train_25000.txt
./fasttext test model.bin test_label.txt

N	25000
P@1	0.996
R@1	0.996N	107
P@1	0.897
R@1	0.897

5.测试

test.txt

I loved this movie, it was fantastic!
The movie was very boring and predictable.
I didn't enjoy it at all, such a disappointment.

预测命令：

./fasttext predict-prob model.bin train_25000.txt

这将输出每行文本的预测标签。预测结果会以以下格式显示：

__label__positive 0.81732
__label__negative 0.698711
__label__positive 0.999979
__label__positive 0.862
__label__positive 0.999925
__label__positive 0.992208
__label__positive 0.999989
__label__positive 0.910747
__label__positive 0.848151
__label__negative 1.00001__label__positive 1.00001
__label__negative 0.832305
__label__positive 0.999992
__label__negative 0.973684
__label__positive 0.99999
__label__negative 0.965739

三、代码结构

C++辅以Python实现：

1.训练过程：fasttext.cc
(1)train()函数

void FastText::train(const Args& args, const TrainCallback& callback) {

2.模型：model.cc
模型计算与更新：model.cc 中主要处理 隐藏层计算、预测 和 模型参数更新 的过程。每次训练时都会通过 反向传播 来更新模型的 词向量。

3.损失函数：loss.cc
损失函数：loss.cc中实现了多种 损失函数(如负采样、层次化 softmax 和 标准softmax)，每个损失函数都有自己的forward方法，负责计算损失并进行反向传播。

四、模型架构

五、fastText模型评价

1.工作原理
(1)词向量
通过词向量(Word Embeddings)的方式来表示每个词。将每个词拆分成了子词(subwords)，利用n-gram技术，以更好地处理词形变化(复数形式、时态变化)和生僻词。

(2)线性分类器
fastText 使用一个线性分类器来进行文本分类任务。它会将文本中的所有词的向量表示(或子词的向量)平均起来，得到文本的向量表示，然后通过一个线性分类器(例如 logistic regression)来进行预测。
这种方法非常快速，尤其适合文本分类任务。

2.优势
没有复杂的神经网络，因此对于大规模文本，训练速度很快。

加速训练：
(1)Hierarchical Softmax
(2)负样本（Negative Samples）：

负样本是随机从词汇表中选择的 不相关的词汇，这些词不与给定的中心词共同出现在同一上下文中。
例如，在训练 “cat” 的词向量时，负样本可能是从整个词汇表中随机选择的单词 “dog”、“apple”、“car” 等，这些词不与 “cat” 出现在同一上下文中。

3.缺陷
对于双重否定句，无法准确判断。

4.改进：
改用LSTM、GRU、Transformer、BERT等深度学习模型。含有自注意力机制的模型对中长语句的理解能力更强。能更好地处理文本中的长距离依赖和上下文信息，捕捉到更丰富的句法和语义信息。

fastText太轻量级，以至于无法加入早停和Dropout，采用的是负采样和层次化softmax来训练词向量。