NLP的基础任务及常见应用

NLP的两大核心任务：NLP = NLU + NLG

NLU（自然语言理解）：

NLG（自然语言生成）：

NLP的基础任务：

• 分词（前向最大匹配算法，后向最大匹配算法）
• 词性标注（POS，也叫序列标注sequence labeling，每个单词单独做分类，
  算法：HMM,CRF）
• 命名实体识别（NER）
• 句法分析（syntatic analysis，主谓宾）
• 语义分析（semantic analysis，如何理解一个单词和文本的意思）

NLP常见的应用：

• 写作助手（拼写纠错，语言模型）
• 文本分类（情感，情绪，主题分类）
• 信息检索（搜索引擎）
  检索 —> 文本处理 —> 搜索（文本库—>索引（倒排表）） —> 排序（pagerank）
• 问答系统（QA）
  -目的：直接给用户提供答案
  -问答系统和检索系统的区别：检索返回相关结果，问答直接返回答案
  -问答系统需要更多语义方面的理解
  -自动生成文本摘要(抽取式，生成式)
• 机器翻译
  • 基于规则
  • 基于统计
  • 神经网络（端到端）
• 信息抽取（NER，实体统一，指代消解，关系分类）