深度学习

神经网络与深度学习(二):前馈神经网络

神经元 激活函数的性质 连续并可导(允许少数点上不可导)的非线性函数。 ​ 可导的激活函数可以直接利用数值优化的方法来学习网络参数。 激活函数及其导函数要尽可能的简单 ​ 有利于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区间内 ​ 不能太大也不能太小,否则会影响训练的效率和稳定性。 单 ... »

使用LabVIEW实现基于pytorch的DeepLabv3图像语义分割

前言 今天我们一起来看一下如何使用LabVIEW实现语义分割。 一、什么是语义分割 图像语义分割(semantic segmentation),从字面意思上理解就是让计算机根据图像的语义来进行分割,例如让计算机在输入下面左图的情况下,能够输出右图。语义在语音识别中指的是语音的意思,在图像领域,语义指 ... »

实际应用效果不佳?来看看提升深度神经网络泛化能力的核心技术(附代码)

神经网络在学习能力与性能方面,远超传统机器学习算法,其大量层与数十亿参数的网络可以轻松学习数据的模式与规律,也容易陷入了『过拟合』问题。本篇梳理4类缓解过拟合的方法:数据增强、Dropout随机失活、L1和L2正则化、Early Stopping/早停止。 ... »

【YOLOv5】手把手教你使用LabVIEW ONNX Runtime部署 TensorRT加速,实现YOLOv5实时物体识别(含源码)

前言 上一篇博客给大家介绍了LabVIEW开放神经网络交互工具包【ONNX】,今天我们就一起来看一下如何使用LabVIEW开放神经网络交互工具包实现TensorRT加速YOLOv5。 以下是YOLOv5的相关笔记总结,希望对大家有所帮助。 内容地址链接 【YOLOv5】LabVIEW+OpenVIN ... »

LabVIEW开放神经网络交互工具包【ONNX】,大幅降低人工智能开发门槛,实现飞速推理

前言 前面给大家介绍了自己开发的LabVIEW AI视觉工具包,后来发现有一些onnx模型无法使用opencv dnn加载,且速度也偏慢,所以就有了今天的onnx工具包,如果你想要加载更多模型,追求更高的速度,那可以使用LabVIEW onnx工具包实现模型的推理与加速。 一、工具包内容 这个开放神 ... »

Tensorflow Lite从入门到精通

TensorFlow Lite 是 TensorFlow 在移动和 IoT 等边缘设备端的解决方案,提供了 Java、Python 和 C++ API 库,可以运行在 Android、iOS 和 Raspberry Pi 等设备上。目前 TFLite 只提供了推理功能,在服务器端进行训练后,经过如下 ... »

YOLOv5】LabVIEW+OpenVINO让你的YOLOv5在CPU上飞起来

前言 上一篇博客给大家介绍了使用opencv加载YOLOv5的onnx模型,但我们发现使用CPU进行推理检测确实有些慢,那难道在CPU上就不能愉快地进行物体识别了吗?当然可以啦,这不LabVIEW和OpenVINO就来了嘛!今天就和大家一起看一下如何在CPU上也能感受丝滑的实时物体识别。 一、Ope ... »

AlexNet-文献阅读笔记

论文介绍 ImageNet Classification with Deep Convolutional Neural Networks- Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton 该论文是 ImageNet Large-Scal ... »

使用Pytorch进行多卡训练

当一块GPU不够用时,我们就需要使用多卡进行并行训练。其中多卡并行可分为数据并行和模型并行。具体区别如下图所示: 由于模型并行比较少用,这里只对数据并行进行记录。对于pytorch,有两种方式可以进行数据并行:数据并行(DataParallel, DP)和分布式数据并行(DistributedDat ... »

CVPR2022 Oral OGM-GE阅读笔记

标题:Balanced Multimodal Learning via On-the-fly Gradient Modulation(CVPR 2022 Oral) 论文:https://arxiv.org/abs/2203.15332 领域:多模态学习 解决本质问题 在某些多模态模型的训练过程中, ... »

Upscayl,免费开源的 AI 图像增强软件

有的时候我们找遍了全网却难以找到一张模糊图片的原图,这时候我们想如果能够一键将图片变成高清的就好了。其实这正是计算机视觉的一大研究反向——图形增强,通过AI计算将模糊的图片增强,将几百kb的低像素图片变成数Mb的超清图片,今天我们就来分享一款免费开源的基于AI的图片增强软件——Upscayl。 Up ... »

手把手教你使用LabVIEW OpenCV dnn实现物体识别(Object Detection)含源码

前言 今天和大家一起分享如何使用LabVIEW调用pb模型实现物体识别,本博客中使用的智能工具包可到主页置顶博客LabVIEW AI视觉工具包(非NI Vision)下载与安装教程中下载 一、物体识别算法原理概述 1、物体识别的概念 物体识别也称目标检测,目标检测所要解决的问题是目标在哪里以及其状态 ... »

文心ERNIE-ViLG,你的免费插图画师

你是否想拥有一个专属画师,免费为你的优美文字插上几幅优美的插图?如今依然实现 最近AI作画确实很火,在DALL-E和Imagen崭露头角之后,ERNIE-ViLG、Stable-Diffusion(SD)、Disco-Diffusion相继开源开放,涌现出丰富多彩的AI作画作品。本次通过一个开源工具 ... »

用深度强化学习玩FlappyBird

学习玩游戏一直是当今AI研究的热门话题之一。使用博弈论/搜索算法来解决这些问题需要特别地进行周密的特性定义,使得其扩展性不强。使用深度学习算法训练的卷积神经网络模型(CNN)自提出以来在图像处理领域的多个大规模识别任务上取得了令人瞩目的成绩。本文是要开发一个一般的框架来学习特定游戏的特性并解决这个问... ... »

对循环神经网络参数的理解|LSTM RNN Input_size Batch Sequence

在很多博客和知乎中我看到了许多对于pytorch框架中RNN接口的一些解析,但都较为浅显甚至出现一些不准确的理解,在这里我想阐述下我对于pytorch中RNN接口的参数的理解。 我们经常看到的RNN网络是如图下所示: RNN的 1. timestep训练过程 这个左边图中间循环的箭头难以理解,所以将 ... »

深度学习资料梳理

1.概念 1.1 pipeline 一个基础的 深度学习的Pipeline 主要包含了下述 5 个步骤(5个步骤可以抽象为一个包括多个步骤的流水线式工作,从数据收集开始至输出我们需要的最终结果。): (1).数据读取 (2).数据预处理 (3).创建模型(具体到模型也有相应的Pipeline,比如模 ... »