应用场景
拼写检查, 关键词检索
文本挖掘
文本分类
机器翻译
客服系统
复杂对话系统
深度学习
手工特征耗时耗力, 还不易拓展
自动特征学习快, 方便扩展
深度学习提供了一种通用的学习框架, 可以用来表示世界, 视觉和语言学信息
深度学习可以无监督学习, 也可以监督学习
语言模型
概念
我 今天 下午 打篮球
p(S) = p(w1, w2, w3, w4, w5, ...., wn)
= p(w1) p(w2|w1) p(w3|w1,w2) ..... p(wn|w1,w2.....wn-1)
p(S) 被称为语言模型, 即用来计算一个句子概率的模型
长句问题
对于某些很长的句子, 里面包含很多的词的时候就会产出两个问题
参数空间太大, 计算量过大
数据过于稀疏, 长句概率更少