array(2) { ["docs"]=> array(10) { [0]=> array(10) { ["id"]=> string(3) "428" ["text"]=> string(77) "Visual Studio 2017 单独启动MSDN帮助（Microsoft Help Viewer）的方法" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(8) "DonetRen" ["tagsname"]=> string(55) "Visual Studio 2017|MSDN帮助|C#程序|.NET|Help Viewer" ["tagsid"]=> string(23) "[401,402,403,"300",404]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400964" ["_id"]=> string(3) "428" } [1]=> array(10) { ["id"]=> string(3) "427" ["text"]=> string(42) "npm -v；报错 cannot find module "wrapp"" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "zzty" ["tagsname"]=> string(50) "node.js|npm|cannot find module "wrapp“|node" ["tagsid"]=> string(19) "[398,"239",399,400]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400760" ["_id"]=> string(3) "427" } [2]=> array(10) { ["id"]=> string(3) "426" ["text"]=> string(54) "说说css中pt、px、em、rem都扮演了什么角色" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(12) "zhengqiaoyin" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511400640" ["_id"]=> string(3) "426" } [3]=> array(10) { ["id"]=> string(3) "425" ["text"]=> string(83) "深入学习JS执行--创建执行上下文（变量对象，作用域链，this）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "Ry-yuan" ["tagsname"]=> string(33) "Javascript|Javascript执行过程" ["tagsid"]=> string(13) "["169","191"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511399901" ["_id"]=> string(3) "425" } [4]=> array(10) { ["id"]=> string(3) "424" ["text"]=> string(30) "C# 排序技术研究与对比" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "vveiliang" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(8) ".Net Dev" ["catesid"]=> string(5) "[199]" ["createtime"]=> string(10) "1511399150" ["_id"]=> string(3) "424" } [5]=> array(10) { ["id"]=> string(3) "423" ["text"]=> string(72) "【算法】小白的算法笔记：快速排序算法的编码和优化" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(9) "penghuwan" ["tagsname"]=> string(6) "算法" ["tagsid"]=> string(7) "["344"]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511398109" ["_id"]=> string(3) "423" } [6]=> array(10) { ["id"]=> string(3) "422" ["text"]=> string(64) "JavaScript数据可视化编程学习（二）Flotr2，雷达图" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "chengxs" ["tagsname"]=> string(28) "数据可视化|前端学习" ["tagsid"]=> string(9) "[396,397]" ["catesname"]=> string(18) "前端基本知识" ["catesid"]=> string(5) "[198]" ["createtime"]=> string(10) "1511397800" ["_id"]=> string(3) "422" } [7]=> array(10) { ["id"]=> string(3) "421" ["text"]=> string(36) "C#表达式目录树（Expression）" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(4) "wwym" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(4) ".NET" ["catesid"]=> string(7) "["119"]" ["createtime"]=> string(10) "1511397474" ["_id"]=> string(3) "421" } [8]=> array(10) { ["id"]=> string(3) "420" ["text"]=> string(47) "数据结构 队列_队列实例：事件处理" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(7) "idreamo" ["tagsname"]=> string(40) "C语言|数据结构|队列|事件处理" ["tagsid"]=> string(23) "["246","247","248",395]" ["catesname"]=> string(12) "数据结构" ["catesid"]=> string(7) "["133"]" ["createtime"]=> string(10) "1511397279" ["_id"]=> string(3) "420" } [9]=> array(10) { ["id"]=> string(3) "419" ["text"]=> string(47) "久等了,博客园官方Android客户端发布" ["intro"]=> string(288) "目录 ECharts 异步加载 ECharts 数据可视化在过去几年中取得了巨大进展。开发人员对可视化产品的期望不再是简单的图表创建工具，而是在交互、性能、数据处理等方面有更高的要求。 chart.setOption({ color: [ " ["username"]=> string(3) "cmt" ["tagsname"]=> string(0) "" ["tagsid"]=> string(2) "[]" ["catesname"]=> string(0) "" ["catesid"]=> string(2) "[]" ["createtime"]=> string(10) "1511396549" ["_id"]=> string(3) "419" } } ["count"]=> int(200) } 222 【NLP01】NLP基础——语言模型 - 爱码网

【NLP01】NLP基础——语言模型

本次学习是根据贪心科技的李文哲老师的语言模型课程所整理的相关笔记，并加上自己的理解。

内容包括
语言模型的介绍
Chain Rule 以及马尔可夫假设
Unigram, Bigram, Ngram
估计语言模型的概率
评估语言模型 - Perplexity
Add-one 平滑，Add-K平滑
Interpolation平滑

【0】语言模型（Language Model, LM）

  • 概念：用来判断一个句子的合理性，即一句话在语法上是否通顺；
  • 方法：通过符合语法的概率来判断；
  • 常见的应用场景：拼写纠错；
    【NLP01】NLP基础——语言模型

【1】Chain Rule（链式法则）

  • 假设一个句子s是由w1,w2,…,wT组成，则根据贝叶斯公式可得联合概率p(s)
  • 定理公式：
    【NLP01】NLP基础——语言模型
    由上，一个统计语言模型可以表示成：由前面词求后一个词出现的条件概率
  • 例如：s = “I want to do somethings.”
    P(S) = P(i)P(want|i)P(to|i want)P(do|i want to)P(somethings|i want to do)
    那么，如何求解上面的概率呢？我们很容易的想到：可以通过计算它们在语料库出现的频数比值得出概率，如P(to|i want) = count(i want to) / count(i want)
  • 缺点：条件概率通过语料库来进行计算；由于语料库的不足，存在稀疏性问题（存在得出的条件概率为0情况），需要通过马尔可夫假设来解决

【2】Markov Assumption（马尔可夫假设）

  • 简化条件概率，只与临近的几个词有关
  • 1st order、2nd order、3rd order
    【NLP01】NLP基础——语言模型
    【NLP01】NLP基础——语言模型

【3】训练和使用语言模型

  • 训练
    • 计算概率和条件概率的过程
    • 朴素贝叶斯
  • 使用
    • 根据训练得到的概率，计算句子的联合概率
  • Unigram
    • 假设每个单词都是独立的
    • 只考虑当前词
    • 条件概率没有了条件，调整句子词的顺序概率不变
    • 缺点：有相同词语组成的不同序列句子，概率是相同的
      【NLP01】NLP基础——语言模型
      【NLP01】NLP基础——语言模型
  • Bigram
    • 考虑当前词，和临近的1个词
    • 解决Unigram问题
      【NLP01】NLP基础——语言模型
      【NLP01】NLP基础——语言模型
  • N-gram
    • 考虑当前词，和临近的N-1个词
    • 缺点：存在概率为0的问题，需要通过“平滑”来解决
      【NLP01】NLP基础——语言模型
      【NLP01】NLP基础——语言模型

【4】评估语言模型 Perplexity

  • Perplexity是用在NLP中，衡量语言模型好坏的指标。主要是根据每个词来 估计一句话出现的概率，并用句子长度做normalize，公式如下：
    Perplexity = 2-(x), 其中 x : average log likelihood 即 x = -((1/N) * sum(logP(wi)))
    * x 越大，Perplexity越小，则模型效果越好
    【NLP01】NLP基础——语言模型
    【NLP01】NLP基础——语言模型
    【NLP01】NLP基础——语言模型
    在上图的例子中，Trigram模型是最好的。

【5】smoothing平滑

  • 语料库中没有出现的词概率会变成0
  • Add-one平滑
    • P(wi|wi-1) = (c(wi-1, wi)+1) / (c(wi)+V)
    • V是词典大小：这样，对p(wi|w0)的所有i求和是1
      • 思考题：为什么是V，而不是2V或其他值
      • 答：为了保证所有词概率之和为1
  • Add-k平滑
    • P(wi|wi-1) = (c(wi-1, wi)+k) / (c(wi)+kV)
    • 思考题：k的选择？
    • 答：通过Perplexity来构造关于k的损失函数，求解最优k
  • interpolation平滑
    • Why need this？
      • 若P(a|c, d) = 0, P(b|c, d) = 0
      • P(c, d, a) = P(c )P(d|c)P(a|c, d) = 0
      • P(c, d, b) = P(c )P(d|c)P(b|c, d) = 0
      • 概率相同，不合理
    • 核心思路：计算Trigram概率时，同时考虑Unigram, Bigram, Trigram出现的频次，即三种语言模型的加权平均
    • P(wi|wi-2, wi-1) = λ\lambda1P(wi|wi-2, wi-1) + λ\lambda2P(wi|wi-1) + λ\lambda3P(wi)
      其中：λ\lambda1 + λ\lambda2 + λ\lambda3 = 1
      【NLP01】NLP基础——语言模型
  • Good-Turning Smoothing

这篇基于斯坦福大学的NLP入门笔记也不错：https://blog.csdn.net/kunpen8944/article/details/83049405

总结：

基于以上方法的改进也有很多，但也不是说某个改进一定时最好的，需要我们在实践中，选择最适合的方法和模型。

相关文章：

猜你喜欢
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode