想象一下，你跟一位只懂数字、不懂文字的外星人对话。怎么让它理解「苹果」「橘子」「香蕉」之间的联系？
这时，词向量（Word Embeddings）就登场了：它能把单词变成一串数字，让电脑明白，“橘子”和“香蕉”比“橘子”和“桌子”更相似。
1 词向量是什么？为什么它很重要？
在传统的「词袋模型」（Bag of Words）里，“苹果”和“橘子”只会被视为两个不同的单词，模型只知道它们在文本中出现的频率，不知道它们在现实世界中都有“水果”“可食用”的相似属性。
词向量就像一把「魔法尺子」，能测量单词之间的语义距离。举个例子，如果把单词都映射到一个 50 维的空间里，“苹果”和“橘子”的向量坐标彼此接近，而“苹果”和“桌子”就会相隔较远。
这种“让单词拥有坐标”的好处是巨大的——模型可以：
- 判断单词之间的相似度（如“快乐”和“开心”）。
- 理解上下文，完成更复杂的任务（如情感分析、搜索引擎、推荐系统等）。
实际应用：你为什么会用到词向量？
- 搜索与推荐：比如在电商网站上，当用户搜索“手机”时，你的系统能推断“手机壳”“屏幕保护膜”也相关，这就需要词向量来评估语义相似度。
- 聊天机器人：当用户输入“我想知道今天的天气”，机器人需要理解“天气”这一概念，联想到“温度”“下雨”等词，从而准确响应。
- 文本聚类与分类：做新闻分类时，通过词向量可以让主题相似的新闻自动聚在一起，比如“体育”类新闻会包含“足球”“篮球”等相近向量。
2 常见的词向量模型：从 Word2Vec 到 FastText
-
Word2Vec
- 原理简述：通过观察单词及其周围的上下文来学习单词的向量。
- 类比：就像学外语时，你通过在句子里看“苹果”旁边常出现“水果”“好吃”“超市”等词，就能明白“苹果”大致是什么。
-
GloVe
- 原理简述：利用统计学方法，计算单词在大规模语料中同时出现（共现）的频率。
- 类比：就像一个喜欢数数的“统计学家”，把所有单词两两放在一起数出现的次数，然后根据这些数字来判断词和词的关系是否亲密。
-
FastText
- 原理简述：在 Word2Vec 的基础上，进一步将单词切分成子词（子字符），从而更好地应对“新词”“拼写错误”等问题。
- 类比：想象一下，如果你不知道「strawberry」是什么意思，但你认识「straw」「berry」，FastText 能够将这些子词的向量组合起来，让你对这个词有大致的理解。
3 使用 gensim 训练 Word2Vec：动手做一做
要把理论变成实操，我们先来“煮”一锅“词向量的汤”。
# 安装 gensim
# pip install gensimfrom gensim.models import Word2Vec# 这里以简单的中文句子为例
sentences = [["我", "喜欢", "看", "电影"],["电影", "可以", "带给", "人们", "快乐"],["自然语言处理", "是", "人工智能", "的重要", "分支"],["我", "喜欢", "学习", "人工智能"]
]# 训练 Word2Vec 模型
model = Word2Vec(sentences,vector_size=50, # 向量维度window=3, # 上下文窗口大小min_count=1, # 词频阈值workers=4 # 使用的CPU线程数
)# 看看“电影”的词向量
print("‘电影’的词向量：", model.wv["电影"])# 查找与“电影”最相似的词
print("与‘电影’最相似的词：", model.wv.most_similar("电影"))
-
为什么要训练模型？
因为每种文本数据有自己的“语言习惯”，就像各地方言。你想让模型懂你的数据，就需要让它在你的数据上学会词与词之间的关系。 -
为什么设置这些参数？
vector_size=50：决定了“词向量有多少个数字维度”，太小无法捕捉足够信息，太大训练成本又会飙升。window=3：相当于告诉模型“每个单词只看前后 3 个邻居”，这能适度捕捉上下文信息。
4 使用 Hugging Face Transformers 提取词嵌入
如果 Word2Vec 是「词向量的入门食谱」，那 BERT 等 Transformer 模型就是「米其林大餐」。它不仅能考虑词与词的关系，还能敏锐地感知上下文变化。
# 安装 transformers
# pip install transformers torchfrom transformers import AutoTokenizer, AutoModel
import torchtokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModel.from_pretrained("bert-base-chinese")text = "自然语言处理改变了世界"
tokens = tokenizer(text, return_tensors="pt")# 提取词向量
with torch.no_grad():output = model(**tokens)# 取最后一层隐藏状态的平均值来表示整个句子
embedding = output.last_hidden_state.mean(dim=1)print("句子向量：", embedding.numpy())
-
为什么要用 BERT？
因为相比传统模型，BERT 会根据上下文动态调整每个单词的含义。比如“苹果”在“我吃了一个苹果”和“苹果公司发布新手机”里，含义不同，BERT 就会给出截然不同的向量。 -
什么场景用 BERT？
在需要“深度语义理解”的任务中，如阅读理解、问答系统、文本摘要、情感分析等，BERT 这样的 Transformer 模型往往表现更好。
5 应用场景与难点总结
-
应用场景回顾
- 情感分析：判断一条微博是“开心”还是“生气”，基于词向量去捕捉“生气”“愤怒”的相似度。
- 搜索推荐：输入“手机”，返回相关产品，如“耳机”“手机壳”。
- 机器翻译：将源语言单词映射到目标语言单词的向量空间，从而建立跨语言的联系。
-
常见难点
- OOV（Out-of-Vocabulary）问题：当模型遇到从未见过的词时，就会懵逼。这时 FastText 或 BERT 常常更胜一筹，因为它们能更好地处理新词或子词。
- 向量维度的选择：需要在“信息量”和“计算资源”之间找到平衡点。
- 数据量的要求：如果你的语料库特别小，训练词向量的效果可能有限，这时就需要考虑预训练模型。
6 课后练习：动手试一试，玩出“词向量花样”
-
训练自己的 Word2Vec
- 使用《西游记》或其他公开语料，分句、分词后训练词向量。
- 试着看看“孙悟空”和“猪八戒”谁和“师徒”更相近？结果是否符合你的认知？
-
BERT 句子嵌入相似度
- 编写一个小脚本，输入两句话，输出它们的余弦相似度，看它们相似程度有多高。
- 例如，比较“我很喜欢吃苹果”和“我喜欢苹果手机”。观察相似度多大？这能帮你感受上下文的重要性。
7 课后思考：为什么词向量如此神奇？
词向量之所以“神奇”，因为它架起了人类语言与计算机世界之间的桥梁。通过将语言抽象成数字，模型能「理解」并进一步「推理」单词和句子的含义。在越来越多的应用场景中，精准的词向量不仅能提升系统性能，也能让你的应用更“聪明”、更“懂你”。
记住：NLP 不仅仅是“自然语言处理”，它更是“让机器理解人类语言并做出有用回应”的艺术。词向量就是这门艺术的基石。
希望这篇文章能让你对词向量与嵌入有更直观、更生动的认识。任何时候，你都可以带着好奇心去尝试不同的模型和参数，探索更好的“让机器读懂文字”的方法。祝学习愉快，创造更多神奇的应用！