[自然语言处理] 基于pycorrector实现文本纠错
文本纠错（Text Error Correction）技术旨在自动修正输入文本中的拼写、语法、标点符号等错误，以提高文本的准确性、通顺性和规范性。该技术可以通过自然语言处理技术实现，基于上下文和语言规则对文本进行分析和推断，发现其中的错误，并给出正确的替换或修改建议。 pycorrector是一个开 ... »
使用自动模型
本文通过文本分类任务演示了HuggingFace自动模型使用方法，既不需要手动计算loss，也不需要手动定义下游任务模型，通过阅读自动模型实现源码，提高NLP建模能力。 一.任务和数据集介绍 1.任务介绍 前面章节通过手动方式定义下游任务模型，HuggingFace也提供了一些常见的预定义下游任务模 ... »
中文命名实体识别
本文通过people_daily_ner数据集，介绍两段式训练过程，第一阶段是训练下游任务模型，第二阶段是联合训练下游任务模型和预训练模型，来实现中文命名实体识别任务。 一.任务和数据集介绍 1.命名实体识别任务 NER（Named Entity Recognition）和Pos（Part-of-S ... »
中文情感分类
本文通过ChnSentiCorp数据集介绍了文本分类任务过程，主要使用预训练语言模型bert-base-chinese直接在测试集上进行测试，也简要介绍了模型训练流程，不过最后没有保存训练好的模型。 一.任务和数据集介绍 1.任务 中文情感分类本质还是一个文本分类问题。 2.数据集 本文使用ChnS ... »
使用训练工具
HuggingFace上提供了很多已经训练好的模型库，如果想针对特定数据集优化，那么就需要二次训练模型，并且HuggingFace也提供了训练工具。 一.准备数据集 1.加载编码工具 加载hfl/rbt3编码工具如下所示： def load_encode(): # 1.加载编码工具 # 第6章/加载 ... »
❤️ GitHub Copilot 读心术揭秘，Copilot 逆向工程笔记
# 总览 你是否好奇 GitHub Copilot 如何知道你想写的内容？有时候它聪明得甚至好像读过你项目里其他文件一样，不要怀疑，它确实读过。这篇文章记录了我阅读一个对 Copilot 的[逆向工程](https://thakkarparth007.github.io/copilot-explor ... »
一文详解自然语言处理两大任务与代码实战：NLU与NLG
> 自然语言处理（NLP）涵盖了从基础理论到实际应用的广泛领域，本文深入探讨了NLP的关键概念，包括词向量、文本预处理、自然语言理解与生成、统计与规则驱动方法等，为读者提供了全面而深入的视角。 > 作者 TechLead，拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦 ... »
聊聊自然语言处理NLP
## 概述 自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene Co ... »
[自然语言处理] 自然语言处理库spaCy使用指北
spaCy是一个基于Python编写的开源自然语言处理库。基于自然处理领域的最新研究，spaCy提供了一系列高效且易用的工具，用于文本预处理、文本解析、命名实体识别、词性标注、句法分析和文本分类等任务。 spaCy的官方仓库地址为：[spaCy-github](https://github.com/ ... »
自然语言处理 Paddle NLP - 预训练模型产业实践课-理论
 模型压缩：理论基础 模型压缩基本方法分为三类: - 量化 - 裁剪 - 蒸馏  是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能. 抽取式阅读理解：它的答案一定是段落里的一个片段，所以在训练前，先要 ... »
怎么让英文大预言模型支持中文？（一）构建自己的tokenization
代码地址：https://github.com/taishan1994/sentencepiece_chinese_bpe Part1前言 目前，大语言模型呈爆发式的增长，其中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里 ... »
自然语言处理 Paddle NLP - 基于预训练模型完成实体关系抽取
[自然语言处理 Paddle NLP - 信息抽取技术及应用](https://www.cnblogs.com/vipsoft/p/17460173.html) 重点：SOP 图、BCEWithLogitsLoss # 基于预训练模型完成实体关系抽取 信息抽取旨在从非结构化自然语言文本中提取结构化知 ... »
自然语言处理 Paddle NLP - 情感分析技术及应用SKEP-实践
## Part A. 情感分析任务 众所周知，人类自然语言中包含了丰富的情感色彩：表达人的情绪（如悲伤、快乐）、表达人的心情（如倦怠、忧郁）、表达人的喜好（如喜欢、讨厌）、表达人的个性特征和表达人的立场等等。情感分析在商品喜好、消费决策、舆情分析等场景中均有应用。利用机器自动分析这些情感倾向，不但有 ... »
自然语言处理 Paddle NLP - 情感分析技术及应用-理论
对带有感情色彩的主观性文本进行 分析、处理、归纳和推理的过程，输入文本 => (描述实体/entity，属性/aspect，情感/opinion ,观点持有者/holder，时间/time) ... »
【技术积累】自然语言处理中的基础知识【二】
博客推行版本更新，成果积累制度，已经写过的博客还会再次更新，不断地琢磨，高质量高数量都是要追求的，工匠精神是学习必不可少的精神。因此，大家有何建议欢迎在评论区踊跃发言，你们的支持是我最大的动力，你们敢投，我就敢肝 ... »