自然语言处理

全都会!预测蛋白质标注!创建讲义!解释数学公式!最懂科学的智能NLP模型Galactica尝鲜 ⛵

本文浅试Meta开源的大型AI语言模型『Galactica』,带大家体验安装与多场景使用。Galactica被称为“最懂科学的智能NLP模型”,能够预测蛋白质标注!创建讲义!解释数学公式!全都会! ... »

AI绘画提示词创作指南:DALL·E 2、Midjourney和 Stable Diffusion最全大比拼 ⛵

随着Diffusion Model的普及,AI绘画只需要你输入文本描述,模型就能在几分钟内生成精准匹配的精美图像。本文从使用步骤、费用和商用等角度对3个主流平台进行比较:DALL·E2、Midjourney、Stable Diffusion。 ... »

带你了解NLP的词嵌入

摘要:今天带领大家学习自然语言处理中的词嵌入的内容。 本文分享自华为云社区《【MindSpore易点通】深度学习系列-词嵌入》,作者:Skytier。 1 特征表示 在自然语言处理中,有一个很关键的概念是词嵌入,这是语言表示的一种方式,可以让算法自动的理解一些同类别的词,比如苹果、橘子,比如袜子、手 ... »

huaweiyun

我暂时尝试移动自然语言处理

我是第一次发文章。我通常使用 PHP 进行开发。 突然,我在高中的时候就想成为一名作家。那个时候,我对轻小说很上瘾,所以以后我要做一个轻小说作者!我心中藏着一个梦想。 你为什么不呢? 当我把我写的东西给一个朋友看时,他撕了纸说:“这绝对行不通。”我纯洁的心受损,我放弃了写作。 决心 我又重拾了对 »

大数据关键技术:自然语言处理入门篇

分词与词向量 自然语言处理简介 自然语言处理概况 什么是自然语言处理? 自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算 ... »

ranxi169

自然语言处理NLP程序包(NLTK/spaCy)使用总结

NLTK和SpaCy是NLP的Python应用,提供了一些现成的处理工具和数据接口。下面介绍它们的一些常用功能和特性,便于对NLP研究的组成形式有一个基本的了解。 NLTK Natural Language Toolkit (NLTK) 由宾夕法尼亚大学开发,提供了超过50种语料库,以及一些常用的文 ... »

一文了解循环神经网络

摘要:循环神经网络(RNN)可是在语音识别、自然语言处理等其他领域中引起了变革! 本文分享自华为云社区《【MindSpore易点通】深度学习系列-循环神经网络上篇》,作者:Skytier 循环神经网络(RNN)可是在语音识别、自然语言处理等其他领域中引起了变革! 1 应用场景 循环神经网络(RNN) ... »

基于模板的中文命名实体识别数据增强

前言 本文将介绍一种基于模板的中文命名实体识别数据增强方法,自然语言处理中最常见的一个领域就是文本分类。文本分类是给定一段文本,模型需要输出该文本所属的类别。对文本分类进行数据增强较为简单的一种是对文本中的词进行同义词替换、随机删除、随机插入、打乱顺序等。命名实体识别不同于文本分类,但又和文本分类密 ... »

基于bert_bilstm_crf的命名实体识别

前言 本文将介绍基于pytorch的bert_bilstm_crf进行命名实体识别,涵盖多个数据集。命名实体识别指的是从文本中提取出想要的实体,本文使用的标注方式是BIOES,例如,对于文本虞兔良先生:1963年12月出生,汉族,中国国籍,无***永久居留权,浙江绍兴人,中***员,MBA,经济师。,我 ... »

基于bert训练自己的分词系统

前言 在中文分词领域,已经有着很多优秀的工具,例如: jieba分词 SnowNLP 北京大学PKUse 清华大学THULAC HanLP FoolNLTK 哈工大LTP 斯坦福分词器CoreNLP BaiduLac 这里,我们不使用上述的工具,而是利用bert训练一个自己的分词器。 数据预处理 首 ... »

你有一份斗破苍穹词库,请查收

对于一个特定的领域而言,我们可能需要其相关的一些词语,这些词语可以用来进行分词、关键词提取、主题分析等。那么,如何去获得这些词语呢?本文接下来将通过斗破苍穹小说来介绍新词发现。 ... »

基于英雄联盟的知识图谱问答系统

介绍 代码地址:https://github.com/taishan1994/lol_knowledge_graph_qa 该文介绍了英雄联盟知识图谱的构建以及搭建一个简单的基于知识图谱的英雄联盟问答系统。需要提前安装好以下依赖: py2neo版本:py2neo-2021.2.3 neo4j版本:n ... »

Transformer算法完全解读

2017年6月谷歌发布论文《Attention is All You Need》,提出Transformer这一引燃机器学习领域的算法。数年过去,Transformer算法在计算机视觉、自然语言处理等众多应用领域展现了极为惊艳的表现。   大家都是神经网络,为何你的腰椎间盘却如此突出?   可以... ... »

知识图谱系列---自然语言处理---分词词向量与文本分类

【分词与词向量】 主要是 jieba 和 gensim.models.word2vec 使用 【结巴分词资料汇编】结巴中文分词官方文档分析(1) 【结巴分词资料汇编】结巴中文分词源码分析(2) 【结巴分词资料汇编】结巴中文分词基本操作(3) python版本word2vec实现 python版本doc2vec实现 参数数据源:http://mattmahoney.net/dc/text8.zip »

中文自然语言处理中去掉英文字符、数字和特殊字符的便捷用法

   做自然语言处理的同学,经常会对中文文本进行处理,对于一些特殊字符要去掉,现在把代码收集一下,用的时候也方便 1 import re 2 3 s = 'dneog1893^&&341den' 4 r1 = "[a-zA-Z0-9\s+\.\!\/_,$%^*(+\"\']+|[+——!,。?、:;;《》“”~@#¥%……&*()]+" 5 data = re.sub »

学习NLP:《精通Python自然语言处理》中文PDF+英文PDF+代码

自然语言处理是计算语言学和人工智能之中与人机交互相关的领域之一。 推荐学习自然语言处理的一本综合学习指南《精通Python自然语言处理》,介绍了如何用Python实现各种NLP任务,以帮助读者创建基于真实生活应用的项目。全书共10章,分别涉及字符串操作、统计语言建模、形态学、词性标注、语法解析、语义分析、情感分析、信息检索、语篇分析和NLP系统评估等主题。 学习参考: 《精通Python自然语言处 »

如何找到自己心仪又合适的工作???(自然语言处理)

我是一个从本科就读建筑工程类专业夸到计算机专业读研的计算机小白!!!(To be or not to be ,this is a question !!!) 研一一年在计算机专业领域的摸爬滚打中,渐渐了解了一些计算机专业的基础知识。但是作为一个既不是计算机专业大类,软件工程,网络工程等,也不是一些统计学,数学系,机械工程类的专业。着实会在寻找工作方面头痛万分。 这几天是18级秋招的结尾了,有一个师 »

自然语言处理---新词发现---微博数据预处理2

好吧,我low了,用Java一行行读进行处理,结果还是虚拟机内存溢出: Error occurred during initialization of VM Incompatible minimum and maximum heap sizes specified 换python,曾经找过python一行行读入数据的资料,没用对那方法,以为没有,low了。加上时间有些久没用python,进度有 »