PyTorch

Pytorch中实现CPU和GPU之间的切换的两种方法

目录 方法一:.to(device) 1.不知道电脑GPU可不可用时: 2.指定GPU时 3.指定cpu时: 方法二: 总结: 如何在pytorch中指定CPU和GPU进行训练,以及cpu和gpu之间切换 由CPU切换到GPU,要修改的几个地方: 网络模型、损失函数、数据(输入,标 »

Pytorch:单卡多进程并行训练

在深度学习的项目中,我们进行单机多进程编程时一般不直接使用multiprocessing模块,而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作,但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方... ... »

orion-orion

PyTorch 迁移学习实战

目录 1. 实验环境 2. 实验目的 3. 相关原理 4. 实验步骤 4.1 数据收集 4.2 数据预处理 4.3 创建模型 4.4 结论 1. 实验环境 Jupyter Notebook Python 3.7 PyTorch 1.4.0 2. 实验目的 迁移学习,让机器拥有能 »

pytorch-gpu安装的经验与教训

首先说明 本文并不是安装教程,网上有很多,这里只是自己遇到的一些问题 我是以前安装的tensorflow-gpu的,但是发现现在的学术论文大部分都是用pytorch复现的,因此才去安装的pytorch-gpu 查看自己安装的CUDA nvcc -V 这里我提供一个安装tensorflo »

安装pytorch-gpu的经验与教训

首先说明 本文并不是安装教程,网上有很多,这里只是自己遇到的一些问题 我是以前安装的tensorflow-gpu的,但是发现现在的学术论文大部分都是用pytorch复现的,因此才去安装的pytorch-gpu 查看自己安装的CUDA nvcc -V 我的是cuda-11.2 但是官网没有配套的,直接 ... »

kk-style

PyTorch如何加速数据并行训练?分布式秘籍大揭秘

PyTorch 在学术圈里已经成为最为流行的深度学习框架,如何在使用 PyTorch 时实现高效的并行化? 在芯片性能提升有限的今天,分布式训练成为了应对超大规模数据集和模型的主要方法。本文将向你介绍流行深度学习框架 PyTorch 最新版本( v1.5)的分布式数据并行包的设计、实现和评估。 论文 ... »

amosyang

Pytorch Mac GPU 训练与测评实例

目录 正文 加速原理 环境配置 跑一个MNIST 跑一下VAE模型 一个愿景 正文 Pytorch的官方博客发了Apple M1 芯片 GPU加速的文章,这是我期待了很久的功能,因此很兴奋,立马进行测试,结论是在MNIST上,速度与P100差不多,相比CPU提速1.7倍。当然这只是 »

pytorch cuda安装报错的解决方法

目录 一、按照cuda版本在官网找命令 二、换源 三、Bug描述 四、解决方法 五、查看是否使用GPU 总结 2022.12.8在win+cuda11.8下安装最新Pytorch GPU版时遇到包不兼容的问题,该文记录安装的整个流程 一、按照cuda版本在官网找命令 Pytorch官网命 »

Pytorch中torch.repeat_interleave()函数使用及说明

目录 torch.repeat_interleave()函数解析 1.函数说明 2. 函数原型 3. 函数功能 4. 输入参数 5. 注意 6. 代码例子 7. 与torch.repeat()函数区别 总结 torch.repeat_interleave()函数解析 1.函数说明 »

Pytorch中torch.argmax()函数使用及说明

目录 torch.argmax()函数解析 1. 官网链接 2. torch.argmax(input)函数解析 3. 代码举例 4. torch.argmax(input,dim) 函数解析 5. 代码举例 总结 torch.argmax()函数解析 1. 官网链接 torch »

Pytorch中的广播机制详解(Broadcast)

目录 1. Pytorch中的广播机制 2. 广播机制的理解 3. 两个张量进行广播机制的条件 4. 当两个张量满足可广播条件后 5. 从空间上理解广播机制 总结 1. Pytorch中的广播机制 如果一个Pytorch运算支持广播的话,那么就意味着传给这个运算的参数会被自动扩张成相同的s »

Pytorch参数注册和nn.ModuleList nn.ModuleDict的问题

目录 参数注册 nn.ModuleList和nn.ModuleDict 总结 参考自官方文档 参数注册 尝试自己写GoogLeNet时碰到的问题,放在字典中的参数无法自动注册,所谓的注册,就是当参数注册到这个网络上时,它会随着你在外部调用net.cuda()后自动迁移到GPU上,而没有注 »

Python利用Pytorch实现绘制ROC与PR曲线图

目录 ROC曲线 PR曲线 Pytorch 多分类模型绘制 ROC, PR 曲线(代码 亲测 可用) ROC曲线 示例代码 import torch import torch.nn as nn import os import numpy as np from torchvis »

详解Pytorch中Dataset的使用

此案例教我们加载并处理TorchVision的FashionMNIST Dataset。 root 目录是 train/test data 存储的地方 download=True 如果root目录没有,则从网上下载 transform and target_transform specify »

Pytorch学习笔记之tensorboard

训练模型过程中,经常需要追踪一些性能指标的变化情况,以便了解模型的实时动态,例如:回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外,我们还希望能够将这些指标以动态图表的形式可视化显示出来。 TensorFlow的附加工具Tensorboar... ... »

Pytorch框架详解之一

Pytorch基础操作 numpy基础操作 定义数组(一维与多维) 寻找最大值 维度上升与维度下降 数组计算 矩阵reshape 矩阵维度转换 代码实现 import numpy as np a = np.array([1, 2, 3, 4, 5, 6]) # array数组 b = np.arra ... »

使用LibTorch进行C++调用pytorch模型方式

目录 环境 具体过程 下载LibTorch 用pytorch生成模型文件 VS创建工程并进行环境配置 运行VS2017工程文件 总结 前天由于某些原因需要利用C++调用PyTorch,于是接触到了LibTorch,配了两天最终有了一定的效果,于是记录一下。 环境 PyTorch1 »

Pytorch-Geometric中的Message Passing使用及说明

目录 Pytorch-Geometric中Message Passing使用 具体函数说明如下 GCN 的计算公式如下 实际计算工程可以分为下面几步 总结 Pytorch-Geometric中Message Passing使用 图中的卷积计算通常被称为邻域聚合或者消息传递 (neig »

GCN 图神经网络使用详解 可视化 Pytorch

目录 手动尝试GCN图神经网络 现在让我们更详细地看一下底层图 现在让我们更详细地检查edge_index的属性 嵌入 Karate Club Network 训练 Karate Club Network 总结 手动尝试GCN图神经网络 最近,图上的深度学习已经成为深度学习社区中最热门 »