深度学习

神经元 激活函数的性质 连续并可导（允许少数点上不可导）的非线性函数。 ​ 可导的激活函数可以直接利用数值优化的方法来学习网络参数。 激活函数及其导函数要尽可能的简单 ​ 有利于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区间内 ​ 不能太大也不能太小，否则会影响训练的效率和稳定性。 单 ... »

NLP进阶课程，详解前沿技术点与典型应用。课程重点是【神经语言模型】和【迁移学习】，这二者都极大推动了最先进技术的发展。 ... »

神经网络在学习能力与性能方面，远超传统机器学习算法，其大量层与数十亿参数的网络可以轻松学习数据的模式与规律，也容易陷入了『过拟合』问题。本篇梳理4类缓解过拟合的方法：数据增强、Dropout随机失活、L1和L2正则化、Early Stopping/早停止。 ... »

前言：最近研究深度学习，安装了好多环境，记录一下，方便后续查阅。 1. Anaconda软件安装 1.1 Anaconda Anaconda是一个用于科学计算的Python发行版，支持Linux、Mac、Windows，包含了众多流行的科学计算、数据分析的Python包。请自行到官网下载安装，下载速 ... »

学习玩游戏一直是当今AI研究的热门话题之一。使用博弈论/搜索算法来解决这些问题需要特别地进行周密的特性定义，使得其扩展性不强。使用深度学习算法训练的卷积神经网络模型（CNN）自提出以来在图像处理领域的多个大规模识别任务上取得了令人瞩目的成绩。本文是要开发一个一般的框架来学习特定游戏的特性并解决这个问... ... »

1.概念 1.1 pipeline 一个基础的 深度学习的Pipeline 主要包含了下述 5 个步骤（5个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收集开始至输出我们需要的最终结果。）： （1）.数据读取 （2）.数据预处理 （3）.创建模型（具体到模型也有相应的Pipeline,比如模 ... »

在迁移学习/领域自适应中，我们常常需要寻找领域不变的表征(Domain-invariant Representation)，这种表示可被认为是学习到各领域之间的共性，并基于此共性进行迁移。而获取这个表征的过程就与深度学习中的“表征学习”联系紧密。生成模型，自监督学习/对比学习和最近流行的因果表征学习... ... »

Sentiment classification using LSTM 在这个笔记本中，我们将使用LSTM架构在电影评论数据集上训练一个模型来预测评论的情绪。首先，让我们看看什么是LSTM？ LSTM，即长短时记忆，是一种序列神经网络架构，它利用其结构保留了对前一序列的记忆。第一个被引入的序列模型是 ... »

摘要： 了解通用目标检测与识别一站式方案的功能与特性，还有实现流程，以及可定制点。 本文分享自华为云社区《玩转CANN目标检测与识别一站式方案》，作者： Tianyi_Li。 背景介绍 目标检测与识别是计算机视觉领域中的关键技术，随着深度学习技术的发展，目标检测与识别的应用场景也越来越广泛。当前, ... »

梯度下降在【机器学习基础】中已经总结了，而在深度学习中，由于模型更加复杂，梯度的求解难度更大，这里对在深度学习中的梯度计算方法进行回顾和学习。 本节主要是了解深度学习中（或者说是tensorflow中）梯度的计算是怎么做的。 1. 计算图 在学习tensorflow中，我们知道tensorflow都 ... »

传送门： https://www.cnblogs.com/greentomlee/p/12314064.html github: Leezhen2014: https://github.com/Leezhen2014/python_deep_learning 在第二篇中介绍了用数值微分的形式计... ... »

2021年11月 微软开源一款简单的、多语言的、大规模并行的机器学习库 SynapseML（以前称为 MMLSpark），以帮助开发人员简化机器学习管道的创建。具体参见[1]微软深度学习库 SynapseML：可直接在系统中嵌入 45 种不同机器学习服务、支持 100 多种语言文本翻译。2022年8 ... »

损失函数在【机器学习基础】中有所提及，在深度学习中所使用最多的是均值平方差（MSE）和交叉熵（cross entropy）损失，这里着重介绍一下这两个损失函数及其在tensorflow中的实现。 1. 均方差损失 均方差就是预测值与真实值之间的差异，其公式为： 一般对于标签是实数且***的值的时候，损 ... »

本节主要复习一下深度学习中这些常见的网络结构在tensorflow（1.x）中的使用，便于后续tensorflow的学习。 1. 全连接网络结构 全连接网络就是后层的每一个神经元均与前一层的神经元有关，按照上一节的推导，zl=w*al-1+b，然后再经过激活函数记得到了第l层的神经元al： 那么在t ... »

大家好~我开设了“深度学习基础班”的线上课程，带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序 本文为第一节课：课程介绍的复盘文章 ... »

古语有言：“它山之石可以攻玉”，迁移学习就是这么一种思想，将在其他训练集上训练好的神经网络迁移到目标任务上。自打迁移学习的思想提出后，在工业实践上，就很少有人会从头开始（随机初始化）训练网络。 ... »

推荐系统的主要目的是从海量物品库中高效检索用户最感兴趣的物品，既然是“海量”，意味着用户基本不可能浏览完所有的物品，所以才需要推荐系统来辅助用户高效获取感兴趣的信息。同样也正是因为“海量”，由于算力的限制，复杂模型也是很难直接遍历每个物品算出分数来排序。如今的推荐系统通常大致分为召回 (retrie ... »

U-Net是一种卷积网络架构，用于快速、精确地分割生物医学图像。本文讲解使用 U-Net 进行肺部影像分割的案例全过程：工具库&环境准备、数据读取、数据切分、TensorFlow IO准备、U-Net 网络构建、评估准则&损失函数、超参数设置&模型编译、回调函数&模型训练、模型加载&新数据预估。【代... ... »

AI识万物：从0搭建和部署手语识别系统，检测手语并将翻译！搭建和部署完成后，你可以通过摄像头，轻松测试模型啦~ ... »

神经网络的原理 对于一个神经网络我们可以分为输入层，隐藏层，输出层，对于神经网络的训练可以分为正向传播和反向传播。这里对神经网络不同层次的数据表示进行约定。这里我们以一个二层的神经网络模型进行演示。 在这里我们将A0定义为输入层数据，将A1定义为隐藏层数据，最后的A2定义为输出层数据。这A0时输入的 ... »