PyTorch torch.utils.data.Dataset概述案例详解
目录 PyTorch torch.utils.data.Dataset 介绍与实战案例 一、前言 二、torch.utils.data.Dataset 是什么 1. 干什么用的？ 2. 长什么样子？ 三、通过继承 torch.utils.data.Dataset 定义自己的数据集类 四、为什 »
pytorch中backward()方法如何自动求梯度
目录 pytorch backward()方法自动求梯度 1、区分源张量和结果张量 2、如何使用backward()方法自动求梯度 pytorch中的梯度计算 什么是梯度？ 自动计算梯度和偏导数 梯度的清空 总结 pytorch backward()方法自动求梯度 1、区分源张 »
Pytorch统计参数网络参数数量方式
目录 Pytorch统计参数网络参数数量 Pytorch如何计算网络的参数量 总结 Pytorch统计参数网络参数数量 def get_parameter_number(net): total_num = sum(p.numel() for p in net.parameters »
PyTorch小功能之TensorDataset解读
目录 PyTorch之TensorDataset Pytorch中TensorDataset的快速使用 总结 PyTorch之TensorDataset TensorDataset 可以用来对 tensor 进行打包，就好像 python 中的 zip 功能。 该类通过每一个 tenso »
pytorch的Backward过程用时太长问题及解决
目录 pytorch Backward过程用时太长 问题描述 解决方案 Pytorch backward()简单理解 有几个重要的点 总结 pytorch Backward过程用时太长 问题描述 使用pytorch对网络进行训练的时候遇到一个问题，forward阶段很快(只需要几 »
pytorch中forwod函数在父类中的调用方式解读
目录 pytorch forwod函数在父类中的调用 问题背景 pytorch forward方法调用原理 总结 pytorch forwod函数在父类中的调用 问题背景 最近在研究Detetron2的代码结构时，发现有些网络代码里面没有forward函数，却照样可以推理，深入挖掘 »
pytorch建立mobilenetV3-ssd网络并进行训练与预测方式
目录 Step1：搭建mobilenetV3-ssd网络框架 需要提前准备的函数和类 mobilenetV3_large 调用mobilenetV3的ssd网络 Step2：训练 训练数据预处理(VOC形式的dbb数据) 数据检测 编写训练程序 step3：预测 总结 这篇文章记录 »
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ... »
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ... »
Pytorch之Embedding与Linear的爱恨纠葛
最近遇到的网络模型许多都已Embedding层作为第一层，但回想前几年的网络，多以Linear层作为第一层。两者有什么区别呢？ ... »
pytorch如何利用ResNet18进行手写数字识别
目录 利用ResNet18进行手写数字识别 先写resnet18.py 再写绘图utils.py 最后是主函数mnist_train.py 总结 利用ResNet18进行手写数字识别 先写resnet18.py 代码如下： import torch from torch im »
pytorch中关于distributedsampler函数的使用
目录 关于distributedsampler函数的使用 1.如何使用这个分布式采样器 2.关于用不用这个采样器的区别 总结 关于distributedsampler函数的使用 1.如何使用这个分布式采样器 在使用distributedsampler函数时，观察loss发现los »
pytorch transform数据处理转c++问题
目录 pytorch transform数据处理转c++ 1.python代码 2.transforms.Resize(256) 3.transforms.ToTensor() 总结 pytorch transform数据处理转c++ python推理代码转c++ sdk过程遇到py »
使用Pytorch如何完成多分类问题
目录 Pytorch如何完成多分类 为什么要用transform 归一化 模型 总结 Pytorch如何完成多分类 多分类问题在最后的输出层采用的Softmax Layer，其具有两个特点：1.每个输出的值都是在(0,1)；2.所有值加起来和为1. 假设是最后线性层的输出，则对应的Sof »
Pytorch中关于F.normalize计算理解
目录 关于F.normalize计算理解 动机 简介 举例 Pytorch中normalize应用 示例1：dim=1 示例2:dim=2 示例3:dim=0 总结 关于F.normalize计算理解 动机 最近多次看到该方法出现，于是准备了解一下，搜了后发现原来是所谓的L2 »
pytorch常用函数之torch.randn()解读
目录 pytorch常用函数torch.randn() pytorch torch.chunk(tensor, chunks, dim) 总结 pytorch常用函数torch.randn() torch.randn(*sizes, out=None) → Tensor 功能：从标准正态 »
PyTorch之torch.randn()如何创建正态分布随机数
目录 torch.randn()如何创建正态分布随机数 torch之随机数生成方式 1. 均匀分布 2. 标准正态分布 3.离散正态分布 4.线性间距向量 总结 torch.randn()如何创建正态分布随机数 torch.randn(*size)从均值为0，方差为1的正态分布中获取 »
pytorch中交叉熵损失函数的使用小细节
目录 1.二分类 2.多分类 3. GAN中的实现：二分类 3.1 判别器损失计算 3.2 生成器的损失计算 3.3 小结 总结 目前pytorch中的交叉熵损失函数主要分为以下三类，我们将其使用的要点以及场景做一下总结。 类型一：F.cross_entropy()与torch.nn. »
PyTorch基础之torch.nn.CrossEntropyLoss交叉熵损失
目录 torch.nn.CrossEntropyLoss交叉熵损失 torch.nnCrossEntropyLosss使用的公式 sample torch.nn.CrossEntropyLoss使用流程 测试torch.nn.CrossEntropyLoss的reduction参数为默认值"me »
pytorch和numpy默认浮点类型位数详解
目录 pytorch和numpy默认浮点类型位数 测试代码如下 pytorch和numpy的默认类型与转换问题 总结 pytorch和numpy默认浮点类型位数 numpy中默认浮点类型为64位，pytorch中默认浮点类型位32位 测试代码如下 numpy版本：1.19.2 »