自然语言处理

# 概览：ChatGPT 与自然语言处理 本文将介绍 ChatGPT 与自然语言处理的相关知识。 ## ChatGPT 与图灵测试 图灵测试是人工智能领域的一个经典问题，它旨在检验计算机是否能够表现出像人一样的语言理解和生成能力。其基本思路是建立一个测试人员（通常是人类）与两个实体进行对话，一个是人 ... »

前预训练时代的自监督学习自回归、自编码预训练的前世  神经网络(Neural Network, NN) ![im ... »

"自然语言处理（Natural Language Processing, NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。" ### 自然语言处理有啥用 - 智能问答 ... »

“中国法研杯”司法人工智能挑战赛：基于UTC的多标签/层次分类小样本文本应用，Macro F1提升13%+ 相关文章推荐： 本项目主要完成基于UTC的多标签应用，更多部署细节请参考推荐文章。本项目提供了小样本场景下文本多标签分类的解决方案，在 UTC的基础上利用提示学习取得比微调更好的分类效果，充分 ... »

Prompt工程师指南[从基础到进阶篇]：用于开发和优化提示，以有效地使用语言模型（LMs）进行各种应用和研究主题 ... »

Prompt learning 教学[进阶篇]：简介Prompt框架并给出自然语言处理技术：Few-Shot Prompting、Self-Consistency等；项目实战搭建知识库内容机器人 ... »

Part1基本介绍 大语言模型目前一发不可收拾，在使用的时候经常会看到transformers库的踪影，其中xxxCausalLM和xxxForConditionalGeneration会经常出现在我们的视野中，接下来我们就来聊聊transformers库中的一些基本任务。 这里以三类模型为例：be ... »

Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以 ... »

Gradio入门到进阶全网最详细教程[二]：快速搭建AI算法可视化部署演示(侧重参数详解和案例实践) 相关文章：Gradio入门到进阶全网最详细教程[一]：快速搭建AI算法可视化部署演示(侧重项目搭建和案例分享) 在教程一中主要侧重讲解gradio的基础模块搭建以及demo展示，本篇文章则会侧重实际 ... »

Part1配置及参数 transformers==4.28.1 源码地址：transformers/configuration_utils.py at v4.28.1 · huggingface/transformers (github.com) 文档地址：Generation (huggingfa ... »

目录 概要 数据集 数据预处理 模型构建 模型训练 模型评估 结论 概要 在自然语言处理（NLP）领域，情感分析及分类是一项十分热门的任务。它的目标是从文本中提取出情感信息和意义，通常分为两类：正向情感和负向情感，并且可以细化为多个情感级别。 在这篇文章中，我们将介绍如何使用TextRN »

pytorch在有限的资源下部署大语言模型（以ChatGLM-6B为例） Part1知识准备 在PyTorch中加载预训练的模型时，通常的工作流程是这样的： my_model = ModelClass(...)state_dict =torch.load(checkpoint_file) 用简单的话 ... »

零样本文本分类应用：基于UTC的医疗意图多分类，打通数据标注-模型训练-模型调优-预测部署全流程。 1.通用文本分类技术UTC介绍 本项目提供基于通用文本分类 UTC（Universal Text Classification） 模型微调的文本分类端到端应用方案，打通数据标注-模型训练-模型调优-预 ... »

DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍 1. 概述 近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。 这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性，能够执行归纳、编程、翻译等任务，其结果与人 ... »

基于Label studio实现UIE信息抽取智能标注方案，提升标注效率！ 项目链接见文末 人工标注的缺点主要有以下几点： 产能低：人工标注需要大量的人力物力投入，且标注速度慢，产能低，无法满足大规模标注的需求。 受限条件多：人工标注受到人力、物力、时间等条件的限制，无法适应所有的标注场景，尤其是一 ... »

基于Labelstudio的UIE半监督智能标注方案（本地版） 更多技术细节参考上一篇项目，本篇主要侧重本地端链路走通教学，提速提效： 基于Labelstudio的UIE半监督深度学习的智能标注方案(云端版)，提效 更多内容参考文末码源 自然语言处理信息抽取智能标注方案包括以下几种： 基于规则的标注 ... »

ChatGPT是一个基于GPT-3.5架构的自然语言处理工具，它具有文本生成、文本分类、对话生成等多种能力。作为一种强大的自然语言处理工具，ChatGPT可以应用于智能客服、智能问答、内容创作等多个领域。如果您对ChatGPT感兴趣，可以通过关注本公众号了解更多信息，并体验基于ChatGPT的小程序... ... »

本文主要内容，获取解析豆瓣《狂飙》的短评相关数据和演职员信息，在数据预处理后，进行简单的数据分析和可视化展示。 ... »

推荐可分为以下四个流程，分别是召回、粗排、精排以及重排： 1. 召回是源头，在某种意义上决定着整个推荐的天花板； 2. 粗排是初筛，一般不会上复杂模型； 3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂； 4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ... »

推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】 ... »