Python 机器学习中的自然语言处理特征工程，词嵌入、TF-IDF、情感分析
目录
- 🧠 词嵌入 (Word Embeddings)
- 🔑 TF-IDF
- ❤️ 情感分析
1. 🧠 词嵌入 (Word Embeddings)
在自然语言处理中，词嵌入是将单词转化为低维向量的一种方法，这些向量能够捕捉词汇之间的语义关系。最常用的词嵌入技术包括 Word2Vec 和 GloVe。Word2Vec 通过上下文预测和词汇共现来学习词向量，GloVe 则基于全局词频统计来实现。这些方法的最终目标是将语义相近的词映射到相近的向量空间中。
以下是一个简单的 Word2Vec 实现示例：
from gensim.models import Word2Vec# 准备语料，通常是经过预处理的文本数据
sentences = [["我", "爱", "机器学习"], ["自然语言", "处理", "是", "有趣的"], ["词嵌入", "使", "NLP", "更", "有效"]]# 训练 Word2Vec 模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)# 获取词向量
word_vector = model.wv['机器学习']
print(word_vector)
在这个示例中，首先创建了一个包含多个句子的列表，然后使用 Word2Vec 类进行训练。训练完成后，可以通过模型获得特定词汇的向量表示。词嵌入的使用场景非常广泛，例如在文本分类、情感分析和问答系统中，都能显著提高模型的性能。
2. 🔑 TF-IDF
TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于评估词语在文档集合中的重要性的统计方法。它的核心思想是：如果一个词在某篇文档中出现频率高，而在其他文档中出现频率低，则认为这个词对该文档具有重要意义。TF-IDF 的计算分为两个部分：词频（TF）和逆文档频率（IDF）。
以下是计算 TF-IDF 的代码示例：
from sklearn.feature_extraction.text import TfidfVectorizer# 准备文档集合
documents = ["我喜欢机器学习","机器学习和自然语言处理相辅相成","TF-IDF 是文本挖掘中的一种重要技术"
]# 初始化 TfidfVectorizer
vectorizer = TfidfVectorizer()# 计算 TF-IDF 矩阵
tfidf_matrix = vectorizer.fit_transform(documents)# 获取词汇
words = vectorizer.get_feature_names_out()# 打印 TF-IDF 矩阵
for i in range(len(documents)):print(f"文档 {i + 1} 的 TF-IDF 值：")for j in range(len(words)):print(f"{words[j]}: {tfidf_matrix[i, j]}")
在这个示例中，使用 TfidfVectorizer 来计算文档中每个词的 TF-IDF 值。可以根据这些值识别出文档的关键词，从而帮助进行文档分类或聚类等任务。TF-IDF 的灵活性和可解释性使其在信息检索和文本分析领域依然占据重要地位。
3. ❤️ 情感分析
情感分析是自然语言处理中的一个重要任务，其目标是识别和提取文本中的主观信息。常见的方法有基于情感词典的方法和基于机器学习的模型。情感词典方法通过查找预定义的情感词汇来判断文本情感，而机器学习方法则需要训练一个模型来分类情感。
以下是一个使用情感词典进行情感分析的示例：
from textblob import TextBlob# 输入文本
text = "这个产品太棒了，我非常满意！"# 使用 TextBlob 进行情感分析
blob = TextBlob(text)# 获取情感极性
polarity = blob.sentiment.polarity
print(f"情感极性: {polarity}")
在这个示例中，使用了 TextBlob 库来分析文本情感。情感极性值范围从 -1 到 1，负值表示消极情感，正值表示积极情感。情感分析广泛应用于市场调研、社交媒体监控以及客户反馈等领域，可以帮助企业快速了解用户情绪和需求。