NLP文本处理的流程

文本处理流程

• 首先先看一个整体的流程图
  
• 原始文本：从网页、新闻或者指定资源获取的没有经过处理的原始文本数据。
• 分词：一般分为英文和中文，英文相对较简单，多数通过空格或者其他标点符号就可以，而中文相对困难。
• 清洗： 1.无用的标签，如：html；2. 特殊符号，如！；3. 停用词，如，英文中的a， an，the；4.大写转小写，
• 标准化：主要用在英文语料中，把多个单词转换成统一的单词，简单的说就是同义词转换，把相同意思的单词都转换成统一的一个单词。
• 特征提取：用常用的技术如：tf-idf，word2vec等将标准化的string数据转换成向量，用于输入模型进行训练。
• 建模：搭建模型。
• 评估：评估模型的好坏。