前向最大匹配(forward-max matching)

根据自定义的max_length来对文本进行分词及判断。从前开始匹配。
贪心学院—自然语言处理—分词原理

后向最大匹配(backward-max matching)

从后开始匹配。
贪心学院—自然语言处理—分词原理

缺点:
未考虑语义信息
效率基于max_length

维特比算法(viterbi algorithm)

百度百科解释。考虑语义,将分词与求概率进行结合。
贪心学院—自然语言处理—分词原理


个人整理笔记,方便复习,若侵权,请联系。
附贪心学院课程链接: https://www.greedyai.com/courseinfor/105

相关文章:

  • 2022-01-14
  • 2021-12-12
  • 2022-01-03
  • 2021-07-11
  • 2021-11-18
  • 2021-04-04
猜你喜欢
  • 2022-01-23
  • 2021-12-06
  • 2022-01-06
  • 2021-12-10
  • 2021-11-16
  • 2021-08-07
  • 2021-08-11
相关资源
相似解决方案