PyTorch

​ 前言 本文介绍了Transformer的基本流程，分块的两种实现方式，Position Emebdding的几种实现方式，Encoder的实现方式，最后分类的两种方式，以及最重要的数据格式的介绍。 本文来自公众号CV技术指南的技术总结系列 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、 ... »

学习率是深度学习中的一个重要超参数，选择合适的学习率能够帮助模型更好地收敛。 本文主要介绍深度学习训练过程中的6种学习率衰减策略以及相应的Pytorch实现。 1. StepLR 按固定的训练epoch数进行学习率衰减。 举例说明： # lr = 0.05 if epoch < 30 # lr = ... »

1. 线性回归 1.1 线性模型 当输入包含d个特征，预测结果表示为： 记x为样本的特征向量，w为权重向量，上式可表示为： 对于含有n个样本的数据集，可用X来表示n个样本的特征集合，其中行代表样本，列代表特征，那么预测值可用矩阵乘法表示为： 给定训练数据特征X和对应的已知标签y，线性回归的⽬标是找到 ... »

#前言 第一次尝试用Pyinstaller打包Pytorch，碰见了很多问题，耗费了许多时间！想把这个过程中碰到的问题与解决方法记录一下，方便后来者。 #基本流程 使用Pyinstaller打包流程可分为以下三步： 安装Pyinstaller，写个Hello world打包测试 打包整个项目，在本机 ... »

本文是使用pycharm下的pytorch框架编写一个训练本地数据集的Resnet深度学习模型，其一共有两百行代码左右，分成mian.py、network.py、dataset.py、train.py文件，功能是对本地的数据集进行分类。本文介绍逻辑是总分形式，即首先对总流程进行一个概括，然后分别介绍... ... »

1、upsample在使用的时候，比如插值，F.in.. 是scale设置为具体的尺寸，不能是比例 2、使用sclice的时候，只能是H和W维度，C维度用split »

Classifier import torch import torchvision import torchvision.transforms as transforms transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0. »

前言 这是github上的一个项目YOLO_v3_tutorial_from_scratch，它还有相应的blog对其详细的解读。机器之心翻译了他的tutorial：从零开始PyTorch项目：YOLO v3目标检测实现。教程中的内容就不再赘述，写这篇博客的目的在于记录自己在学习这篇教程时的笔记。 ... »

nn.Conv2d是二维卷积方法，相对应的还有一维卷积方法nn.Conv1d,常用于文本数据的处理，而nn.Conv2d一般用于二维图像。 先看一下接口定义： class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True) 参数解释 »

1.背景（Background）  上图显示了目前深度学习模型在生产环境中的方法，本文仅探讨如何部署pytorch模型！ 至于为什么要用C++调用pytorch模型，其目的在于：使用C++及多线程可以加快模型预测速度 关于模型训练有两种方法，一种是直接使用C++编写训练代码，可以做到搭建完整的网络模型，但是无法使用迁移学习，而迁移学习是目前训练样本几乎都会用到的方法，另一种是使用python代码 »

  https://pytorch.org/get-started/locally/ pip3 install torch torchvision   »

  ReLU6(x)=min(max(0,x),6)   参考 1. ReLU6； 完 »

1、均匀分布初始化 torch.nn.init.uniform_(tensor, a=0, b=1) 从均匀分布U(a, b)中采样，初始化张量。 参数： tensor - 需要填充的张量 a - 均匀分布的下界 b - 均匀分布的上界 例子： w = torch.empty(3, 5) nn.in ... »

『PyTorch』第三弹_自动求导 torch.autograd.Variable是Autograd的核心类，它封装了Tensor，并整合了反向传播的相关实现 Varibale包含三个属性： data：存储了Tensor，是本体的数据 grad：保存了data的梯度，本事是个Variable而非Tensor，与data形状一致 grad_fn：指向Function对象，用于反向传播的梯度计算之用 »

Parameter ： 模型中的一种可以被反向传播更新的参数。 第一种： 直接通过成员变量nn.Parameter()进行创建，会自动注册到parameter中。 def __init__(self): super(MyModel, self).__init__() self.param = nn.Parameter(torch.randn(3, 3)) # 模型的成员变量 »

一、torch.nn.Embedding 模块可以看做一个字典，字典中每个索引对应一个词和词的embedding形式。利用这个模块，可以给词做embedding的初始化操作 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_fre »

https://blog.csdn.net/nlpuser/article/details/88067167 https://blog.csdn.net/u012436149/article/details/79310176 »

训练一个模型需要有一个数据库，一个网络，一个优化函数。数据读取是训练的第一步，以下是pytorch数据输入框架。 1）实例化一个数据库 假设我们已经定义了一个FaceLandmarksDataset数据库，此数据库将在以下建立。 import FaceLandmarksDataset face_dataset = FaceLandmarksDataset(csv_file='data/faces »

记录一下自己在实验中发现的一个问题，我使用了别人的评测函数（matlab写的），我自己用python实现了一个，通过对生成图像和图像标签进行评测，结果吻合，实现没问题。 但有趣的是我在训练过程中，得到的最优模型，在python中得到的指标与matlab对生成结果评测却不相同。通过控制变量，找到了原因所在，开始我转图像是通过tensor转numpy，然后通过scipy.misc.imsave转成图片 »

首次体验Pytorch，本文参考于：github and  PyTorch 中文网人脸相似度对比         本文主要熟悉Pytorch大致流程，修改了读取数据部分。没有采用原作者的ImageFolder方法：   ImageFolder(root, transform=None, target_transform=None, loader=default_loader)。而是采用了一种更自由 »