介绍三种构造狄利克雷过程的方法

  1. 断棍构造过程(Stick-Breaking Construction)

给出了一种显式采样方法,即构造一个有明确定义的G ,使得G满足狄利克雷过程。

构造:第一步,给定一个正实数断棍构造过程-波利亚翁方案-中餐馆过程 ,先从beta分布中构造一个断棍构造过程-波利亚翁方案-中餐馆过程断棍构造过程-波利亚翁方案-中餐馆过程,这里k从1到断棍构造过程-波利亚翁方案-中餐馆过程 ;再利用断棍构造过程-波利亚翁方案-中餐馆过程构造一个断棍构造过程-波利亚翁方案-中餐馆过程断棍构造过程-波利亚翁方案-中餐馆过程。之所以要这样得到断棍构造过程-波利亚翁方案-中餐馆过程是为了让断棍构造过程-波利亚翁方案-中餐馆过程 ,即我们希望得到一个概率质量函数。

    第二步,从参数空间断棍构造过程-波利亚翁方案-中餐馆过程 中的一个基分布H 中采样一个参数序列断棍构造过程-波利亚翁方案-中餐馆过程 ,这个断棍构造过程-波利亚翁方案-中餐馆过程 是服从分布H的。

    第三步,把他们合在一起构成离散分布断棍构造过程-波利亚翁方案-中餐馆过程 ,这便是狄利克雷过程的一个采样。

记为断棍构造过程-波利亚翁方案-中餐馆过程 ~GEM(断棍构造过程-波利亚翁方案-中餐馆过程 ).

  1. 波利亚翁方案

这种方法并不去显式的构造分布G,而是根据后验分布的性质断棍构造过程-波利亚翁方案-中餐馆过程

方法:从狄利克雷过程当中观察得到N个观测值断棍构造过程-波利亚翁方案-中餐馆过程时,这些断棍构造过程-波利亚翁方案-中餐馆过程 的取值可能有K个不同值,记作断棍构造过程-波利亚翁方案-中餐馆过程,那么下一个观测值断棍构造过程-波利亚翁方案-中餐馆过程的条件分布为:

断棍构造过程-波利亚翁方案-中餐馆过程,注意这里只取了分布中的期望部分,断棍构造过程-波利亚翁方案-中餐馆过程 是取值为断棍构造过程-波利亚翁方案-中餐馆过程 的个数。

这个东西有一个形象的理解:我们要从一个翁和一个分布H中取彩球,从翁中取球的概率正比于翁中球的个数,从H中取球的概率正比于断棍构造过程-波利亚翁方案-中餐馆过程 。刚开始的时候翁是空的,从H中取球断棍构造过程-波利亚翁方案-中餐馆过程,放进翁中。如果球是从翁中取出的就放进一只同样颜色的球,这样每次取出颜色为断棍构造过程-波利亚翁方案-中餐馆过程的球的概率就正比于翁中已有的颜色为断棍构造过程-波利亚翁方案-中餐馆过程 的球。

  1. 中餐馆过程(Chinese Restaurant Process)

如果我们从狄利克雷过程断棍构造过程-波利亚翁方案-中餐馆过程中按波利亚瓮方案采样断棍构造过程-波利亚翁方案-中餐馆过程,它们取K < N 个不同的值断棍构造过程-波利亚翁方案-中餐馆过程,那么这N 个样本就形成了K 个团簇。也就是说,随机地按波利亚瓮方案采样N 个观察值对应着对整数集合{1,…,N}的一个划分,每一种划分方式都存在一定的概率,描述这种划分的分布叫做中餐馆过程

为了更明显的区分断棍构造过程-波利亚翁方案-中餐馆过程断棍构造过程-波利亚翁方案-中餐馆过程,我们把类别标号写成断棍构造过程-波利亚翁方案-中餐馆过程断棍构造过程-波利亚翁方案-中餐馆过程 ,即断棍构造过程-波利亚翁方案-中餐馆过程。则有断棍构造过程-波利亚翁方案-中餐馆过程

中餐馆过程是一种聚类过程,假设餐馆中没有顾客,刚进来的第一个人随机选择一张桌子坐下,每张桌子代表一类,后进来的顾客按照如下原则选择桌子:以概率断棍构造过程-波利亚翁方案-中餐馆过程 选择第k张已经有人的桌子坐下,以概率断棍构造过程-波利亚翁方案-中餐馆过程的概率选择一张没有人的桌子坐下。这样人数越多的桌子越有可能聚集更多的顾客形成团簇效果。

中餐馆过程具有一个性质在后面的讨论中要用到——可交换性(exchangeability ).说的是形成划分如果相同,那么与采样顺序是无关的,也就是在形成一个聚类效果之后,无论顾客进入餐馆的顺序如何,这种聚类的概率是相同的。

    优势:由于分类中会以概率断棍构造过程-波利亚翁方案-中餐馆过程 引进新的类别,所以这种聚类的聚类个数不需要人为指定。

相关文章:

  • 2022-02-06
  • 2021-07-26
  • 2021-08-02
  • 2021-06-23
  • 2022-12-23
  • 2021-06-23
  • 2022-12-23
猜你喜欢
  • 2022-01-15
  • 2022-02-09
  • 2021-06-13
  • 2022-12-23
  • 2022-02-02
  • 2022-12-23
  • 2021-08-17
相关资源
相似解决方案