NLP:分为NLU与NLG。
NLU:Nature Language Understand
NLG:
NLP现存的挑战:
(1)一种意思可能有多种表达方式。例如:
(2)一词多义(Ambiguity),在NLP中可以通过上下文来解决该问题。例如:
Context:上下文
隐马尔可夫模型(HMM):
NLP经典场景:
(1)问答系统(基于检索的方法)
(2)情感分析
(3)机器翻译
(4)自动提取摘要
(5)聊天机器人
(6)信息抽取
语料库:问答对
NLP处理流程
(1)分词
(2)NLP预处理:
拼写纠错---->原型--->停用词过滤--->特殊字符过滤--->同义词替换
(3)文本表示:
将文本转换为向量,有4种方案:
word2vec
(4)计算相似度
(5)根据相似度排序
(6)过滤
(7)返回结果