PyTorch

从零搭建Pytorch模型教程(三)搭建Transformer网络

​ 前言 本文介绍了Transformer的基本流程,分块的两种实现方式,Position Emebdding的几种实现方式,Encoder的实现方式,最后分类的两种方式,以及最重要的数据格式的介绍。 本文来自公众号CV技术指南的技术总结系列 欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、 ... »

wxkang

【深度学习 01】线性回归+PyTorch实现

1. 线性回归 1.1 线性模型 当输入包含d个特征,预测结果表示为: 记x为样本的特征向量,w为权重向量,上式可表示为: 对于含有n个样本的数据集,可用X来表示n个样本的特征集合,其中行代表样本,列代表特征,那么预测值可用矩阵乘法表示为: 给定训练数据特征X和对应的已知标签y,线性回归的⽬标是找到 ... »

Pyinstaller打包Pytorch框架所遇到的问题

#前言 第一次尝试用Pyinstaller打包Pytorch,碰见了很多问题,耗费了许多时间!想把这个过程中碰到的问题与解决方法记录一下,方便后来者。 #基本流程 使用Pyinstaller打包流程可分为以下三步: 安装Pyinstaller,写个Hello world打包测试 打包整个项目,在本机 ... »

Continue-i

pytorch转ONNX以及TnesorRT的坑

1、upsample在使用的时候,比如插值,F.in.. 是scale设置为具体的尺寸,不能是比例 2、使用sclice的时候,只能是H和W维度,C维度用split »

[pytorch] 官网教程+注释

Classifier import torch import torchvision import torchvision.transforms as transforms transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0. »

从零开始Pytorch-YOLOv3【笔记】(一)配置文件解读

前言 这是github上的一个项目YOLO_v3_tutorial_from_scratch,它还有相应的blog对其详细的解读。机器之心翻译了他的tutorial:从零开始PyTorch项目:YOLO v3目标检测实现。教程中的内容就不再赘述,写这篇博客的目的在于记录自己在学习这篇教程时的笔记。 ... »

Pytorch中nn.Conv2d的用法

nn.Conv2d是二维卷积方法,相对应的还有一维卷积方法nn.Conv1d,常用于文本数据的处理,而nn.Conv2d一般用于二维图像。 先看一下接口定义: class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 参数解释 »

使用C++调用并部署pytorch模型

1.背景(Background)  上图显示了目前深度学习模型在生产环境中的方法,本文仅探讨如何部署pytorch模型! 至于为什么要用C++调用pytorch模型,其目的在于:使用C++及多线程可以加快模型预测速度 关于模型训练有两种方法,一种是直接使用C++编写训练代码,可以做到搭建完整的网络模型,但是无法使用迁移学习,而迁移学习是目前训练样本几乎都会用到的方法,另一种是使用python代码 »

pytorch 环境搭建

  https://pytorch.org/get-started/locally/ pip3 install torch torchvision   »

PyTorch常用参数初始化方法详解

1、均匀分布初始化 torch.nn.init.uniform_(tensor, a=0, b=1) 从均匀分布U(a, b)中采样,初始化张量。 参数: tensor - 需要填充的张量 a - 均匀分布的下界 b - 均匀分布的上界 例子: w = torch.empty(3, 5) nn.in ... »

『PyTorch』第三弹重置_Variable对象

『PyTorch』第三弹_自动求导 torch.autograd.Variable是Autograd的核心类,它封装了Tensor,并整合了反向传播的相关实现 Varibale包含三个属性: data:存储了Tensor,是本体的数据 grad:保存了data的梯度,本事是个Variable而非Tensor,与data形状一致 grad_fn:指向Function对象,用于反向传播的梯度计算之用 »

【NAS工具箱】Pytorch中的Buffer&Parameter

Parameter : 模型中的一种可以被反向传播更新的参数。 第一种: 直接通过成员变量nn.Parameter()进行创建,会自动注册到parameter中。 def __init__(self): super(MyModel, self).__init__() self.param = nn.Parameter(torch.randn(3, 3)) # 模型的成员变量 »

pytorch重要函数介绍

一、torch.nn.Embedding 模块可以看做一个字典,字典中每个索引对应一个词和词的embedding形式。利用这个模块,可以给词做embedding的初始化操作 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_fre »

pytorch 文本输入处理

https://blog.csdn.net/nlpuser/article/details/88067167 https://blog.csdn.net/u012436149/article/details/79310176 »

Pytorch数据读取框架

训练一个模型需要有一个数据库,一个网络,一个优化函数。数据读取是训练的第一步,以下是pytorch数据输入框架。 1)实例化一个数据库 假设我们已经定义了一个FaceLandmarksDataset数据库,此数据库将在以下建立。 import FaceLandmarksDataset face_dataset = FaceLandmarksDataset(csv_file='data/faces »

Pytorch的tensor转图像需注意的问题

记录一下自己在实验中发现的一个问题,我使用了别人的评测函数(matlab写的),我自己用python实现了一个,通过对生成图像和图像标签进行评测,结果吻合,实现没问题。 但有趣的是我在训练过程中,得到的最优模型,在python中得到的指标与matlab对生成结果评测却不相同。通过控制变量,找到了原因所在,开始我转图像是通过tensor转numpy,然后通过scipy.misc.imsave转成图片 »

Pytorch 入门之Siamese网络

首次体验Pytorch,本文参考于:github and  PyTorch 中文网人脸相似度对比         本文主要熟悉Pytorch大致流程,修改了读取数据部分。没有采用原作者的ImageFolder方法:   ImageFolder(root, transform=None, target_transform=None, loader=default_loader)。而是采用了一种更自由 »