深度学习基础-优化算法详解
所谓深度神经网络的优化算法,即用来更新神经网络参数,并使损失函数最小化的算法。优化算法对于深度学习非常重要,网络参数初始化决定模型是否收敛,而优化算法的性能则直接影响模型的训练效率。 ... »
所谓深度神经网络的优化算法,即用来更新神经网络参数,并使损失函数最小化的算法。优化算法对于深度学习非常重要,网络参数初始化决定模型是否收敛,而优化算法的性能则直接影响模型的训练效率。 ... »
前言 神经网络的历史和背景 神经网络是一种模拟人类神经系统的计算模型,它由大量简单的神经元单元组成,通过它们之间的连接和传递信息来模拟人脑的学习和推理过程。神经网络起源于上世纪40年代,当时Warren McCulloch和Walter Pitts提出了一种可模拟生物神经元的数学模型,这是第一个神经 ... »
I.前言 介绍RNN的概念和应用 RNN(Recurrent Neural Network,循环神经网络)是一类能够处理序列数据的神经网络,它在处理时考虑了之前的状态,因此能够对序列数据中的每个元素进行建模和预测。 RNN的应用非常广泛,特别是在自然语言处理和时间序列分析方面。以下是RNN在各个领域 ... »
引言: 信息时代的高速发展导致数据的大量产生与频繁传输,单单依靠人力很难处理这些数据。依托于人工智能的兴起与发展,数据的利用变得更加高效。表格作为数据的一种重要载体,是人们为了让数据的组织形式更加标准和结构化而使用的一种数据类型。 表格的特点: 信息高度精炼集中,方便信息的检索和比较。表格被广泛用于 ... »
本文介绍基于Python语言,对神经网络模型的结构进行可视化绘图的方法~ 本文介绍基于Python语言,对神经网络模型的结构进行可视化绘图的方法。 最近需要进行神经网络结构模型的可视化绘图工作。查阅多种方法后,看到很多方法都比较麻烦,例如单纯利用graphviz模块,就需要手动用 »
文章地址 介绍 训练好的模型要给业务调用,deepjavalibrary/djl:Java 中与引擎无关的深度学习框架 (github.com) 可以完成这件事,它支持使用 Java 调用 PyTorch、TensorFlow、MXNet、ONNX、PaddlePaddle 等引擎的模型(也支持部分 »
目录 1 写在前面 2 代码分解介绍 2.1 准备工作 2.2 参数配置 2.3 原有模型删除 2.4 数据导入与数据划分 2.5 Feature Columns定义 2.6 模型优化方法构建与模型结构构建 2.7 模型训练 2.8 模型验证与测试 2.9 精度评定、拟合图像绘制与模型参数与精度 »
本文介绍基于Python下OneHotEncoder与pd.get_dummies两种方法,实现机器学习中最优的编码方法——独热编码的方法~ ... »
当我们处理的数据具有不同尺度时,执行数据标准化操作是很有必要的。本文给出了数据标准化(Normalization)的定义、常用方法以及为什么要做数据标准化,并给出相关代码实现。 前言 一,Normalization 概述 1.1,Normalization 定义 1.2,什么情况需 »
本文介绍基于MATLAB实现人工神经网络(ANN)回归的详细代码与操作。 在之前的文章MATLAB实现随机森林(RF)回归与自变量影响程度分析中,我们对基于MATLAB的随机森林(RF)回归与变量影响程度(重要性)排序的代码加以详细讲解与实践。本次我们继续基于MATLAB,对另一种常用的机器学习方法 ... »
本文介绍基于MATLAB,利用随机森林(RF)算法实现回归预测,以及自变量重要性排序的操作。 本文分为两部分,首先是对代码进行分段、详细讲解,方便大家理解;随后是完整代码,方便大家自行尝试。另外,关于基于MATLAB的神经网络(ANN)代码与详细解释,我们将在后期博客中介绍。 1 分解代码 1.1 ... »
本文介绍基于Python语言中TensorFlow的Keras接口,实现深度神经网络回归的方法。 1 写在前面 前期一篇文章Python TensorFlow深度学习回归代码:DNNRegressor详细介绍了基于TensorFlow tf.estimator接口的深度学习网络;而在TensorFl ... »
本文介绍基于Python语言中TensorFlow的tf.estimator接口,实现深度学习神经网络回归的具体方法~ 本文介绍基于Python语言中TensorFlow的tf.estimator接口,实现深度学习神经网络回归的具体方法。 目录 1 写在前面 2 代码分解介绍 »
NLP知识图谱项目合集(信息抽取、文本分类、图神经网络、性能优化等) 这段时间完成了很多大大小小的小项目,现在做一个整体归纳方便学习和收藏,有利于持续学习。 1. 信息抽取项目合集 1.PaddleNLP之UIE技术科普【一】实例:实体识别、情感分析、智能问答https://aistudio.b »
深度学习是机器学习的一个特定分支。我们要想充分理解深度学习,必须对机器学习的基本原理有深刻的理解。 大部分机器学习算法都有超参数(必须在学习算法外手动设定)。机器学习本质上属于应用统计学,其更加强调使用计算机对复杂函数进行统计估计,而较少强调围绕这些函数证明置信区间;因此我们会探讨两种统计学的主要... ... »
本文分析了激活函数对于神经网络的必要性,同时讲解了几种常见的激活函数的原理,并给出相关公式、代码和示例图。从机器学习的角度来看,神经网络其实就是一个非线性模型,其基本组成单元为具有非线性激活函数的神经元,通过大量神经元之间的连接,使得多层神经网络成为一种高度非线性的模型。神经元之间的连接权重就是需要... ... »
TensorRT 是 NVIDIA 官方推出的基于 CUDA 和 cudnn 的高性能深度学习推理加速引擎,能够使深度学习模型在 GPU 上进行低延迟、高吞吐量的部署。采用 C++ 开发,并提供了 C++ 和 Python 的 API 接口,支持 TensorFlow、Pytorch、Caffe、M »
目录 前言 大纲 实现 1. 获取数据 2. 处理数据 3. 搭建并训练模型 4. 生成文本逻辑 5. 预测 6. 保存和读取模型 前言 本文使用 cpu 的 tensorflow 2.8 来完成 GRU 文本生成任务。如果想要了解文本生成的相关概念,可以参考我之前写的文章:htt »
目录 对单词最后一个字母的预测 结果打印 对单词最后一个字母的预测 LSTM 的原理自己找,这里只给出简单的示例代码,就是对单词最后一个字母的预测。 # LSTM 的原理自己找,这里只给出简单的示例代码 import tensorflow as tf import numpy a »
处理数据样本的代码会因为处理过程繁杂而变得混乱且难以维护,在理想情况下,我们希望数据预处理过程代码与我们的模型训练代码分离,以获得更好的可读性和模块化,为此,PyTorch提供了torch.utils.data.DataLoader 和 torch.utils.data.Dataset两个类用于数据... ... »