带你上手基于Pytorch和Transformers的中文NLP训练框架
基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。 ... »
nlp入门（五）隐马尔科夫模型
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 一、马尔科夫模型概念 1.1 马尔科夫模型：具有马尔可夫性质并以随机过程为基础的模型 1.2 马尔科夫性质：过去状态只能影响现在状态，影响不了将来的状态 1.3 马尔科夫过程：随机过程满足马尔科夫性质，状态转移矩 ... »
nlp入门（四）新闻分类实验
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源： 搜狗新闻语料库 由于链接失效，现在使用百度网盘分享 链接：https://pan.baidu.com/s/1RTx2k7V3Ujgg9-Rv8I8IRA?pwd=ujn3 提取码：ujn3 停用词 来 ... »
nlp入门（三）基于贝叶斯算法的拼写错误检测器
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源：norvig.com/big.txt 贝叶斯原理可看这里：机器学习算法学习笔记 - 过客匆匆，沉沉浮浮 - 博客园 (cnblogs.com) 一、数据预处理 将输入的数据全部变为小写方便后续处理 de ... »
nlp入门（二） ：商品信息可视化与文本分析实战
源码请到：自然语言处理练习: 学习自然语言处理时候写的一些代码 (gitee.com) 数据来源：麦卡里价格建议挑战Mercari Price Suggestion Challenge | Kaggle 如果不会使用魔法可以使用百度云 链接：https://pan.baidu.com/s/1EM2M ... »
聊聊自然语言处理NLP
## 概述 自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene Co ... »
论文日记四：Transformer(论文解读+NLP、CV项目实战)
# 导读 重磅模型**transformer**,在2017年发布，但就今天来说产生的影响在各个领域包括NLP、CV这些都是巨大的！ Paper《[Attention Is All You Need](https://arxiv.org/pdf/1706.03762.pdf)》,作者是在机器翻译这个 ... »
自然语言处理 Paddle NLP - 预训练模型产业实践课-理论
 模型压缩：理论基础 模型压缩基本方法分为三类: - 量化 - 裁剪 - 蒸馏  是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能. 抽取式阅读理解：它的答案一定是段落里的一个片段，所以在训练前，先要 ... »
自然语言处理 Paddle NLP - 基于预训练模型完成实体关系抽取
[自然语言处理 Paddle NLP - 信息抽取技术及应用](https://www.cnblogs.com/vipsoft/p/17460173.html) 重点：SOP 图、BCEWithLogitsLoss # 基于预训练模型完成实体关系抽取 信息抽取旨在从非结构化自然语言文本中提取结构化知 ... »
自然语言处理 Paddle NLP - 情感分析技术及应用SKEP-实践
## Part A. 情感分析任务 众所周知，人类自然语言中包含了丰富的情感色彩：表达人的情绪（如悲伤、快乐）、表达人的心情（如倦怠、忧郁）、表达人的喜好（如喜欢、讨厌）、表达人的个性特征和表达人的立场等等。情感分析在商品喜好、消费决策、舆情分析等场景中均有应用。利用机器自动分析这些情感倾向，不但有 ... »
自然语言处理 Paddle NLP - 情感分析技术及应用-理论
对带有感情色彩的主观性文本进行 分析、处理、归纳和推理的过程，输入文本 => (描述实体/entity，属性/aspect，情感/opinion ,观点持有者/holder，时间/time) ... »
自然语言处理 Paddle NLP - 信息抽取技术及应用
1.什么是信息抽取 > 即自动从无结构或半结构的文本中抽取出结构化信息的任务(病历抽取) 2.实体抽取 3.关系抽取 4.事件抽取 信息抽取和知识图谱是一个上下游的关系。抽取的结果，可以组装成知识图谱（一种存储知识的结构） 
文档检索：需要把业务问题拆解成子任务。文本分类 -> 文本匹配 -> 等任务 -> Panddle API 完成子任务 -> 子任务再拼起来 ## 介绍 在2017年之前，工业界和学术界对文本处理依赖于序列模型[Recurrent Neural Network (RNN)](https://baik ... »
自然语言处理 Paddle NLP - 词法分析技术及其应用
词法分析就是利用计算机对自然语言的形态(morphology) 进行分析，判断词的结构和类别等。”简单而言，就是分词并对每个词进行分类，包括：分词、词性标注、实体识别三个任务  ... »