Pytorch：网络根本不学习+权重太低答案

【问题标题】：Pytorch:Network not learning at all + Weights are too lowPytorch：网络根本不学习+权重太低
【发布时间】：2020-03-18 13:10:06
【问题描述】：

关于输入。抱歉格式不好。对于每两行，第一行是键，第二行是值。 18~20_ride 是标签，不包含在输入中。下面是一个输入。训练集由 400000 个组成。

bus_route_id    station_code    latitude    longitude   6~7_ride    
0               4270000         344         33.48990    126.49373
7~8_ride    8~9_ride    9~10_ride   10~11_ride  11~12_ride  6~7_takeoff  
0.0         1.0         2.0         5.0         2.0         6.0
7~8_takeoff 8~9_takeoff 9~10_takeoff    10~11_takeoff   11~12_takeoff    
0.0         0.0         0.0             0.0             0.0 
18~20_ride  weekday dis_jejusi  dis_seoquipo            
0.0         6       2.954920    26.256744

权重示例：在第 4 个时期捕获。经过 20 次训练后，我得到的值要小得多（例如 -7e-44 或 1e-55）

 2.3937e-11, -2.6920e-12, -1.0445e-11,  ..., -1.0754e-11, 1.1128e-11, -1.4814e-11

模型的预测和目标

#Target
[2.],
[0.],
[0.]

#Prediction
[1.4187],
[1.4187],
[1.4187]

MyDataset.py

from torch.utils.data import Dataset, DataLoader
import numpy as np
import pandas as pd
import torch
import os

class MyDataset(Dataset):
  def __init__(self, csv_filename):
    self.dataset = pd.read_csv(csv_filename, index_col=0)
    self.labels = self.dataset.pop("18~20_ride")
    self.dataset = self.dataset.values
    self.labels = np.reshape(self.labels.values,(-1,1))

  def __len__(self):
    return len(self.dataset)

  def __getitem__(self, idx):
    return self.dataset[idx], self.labels[idx]

型号

class Network(nn.Module):
    def __init__(self, input_num):
        super(Network, self).__init__()
        self.fc1 = nn.Sequential(
          nn.Linear(input_num, 64),
          nn.BatchNorm1d(64),
          GELU()
        )

        self.fc2 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU()
        )
        self.fc3 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU()
        )
        self.fc4 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU()
        )
        self.fc5 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU()
        )
        self.fc6 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU)
        )
        self.fc7 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU()
        )
        self.fc8 = nn.Sequential(
          nn.Linear(64, 64),
          nn.BatchNorm1d(64),
          GELU())
        )
        self.fc9 = nn.Linear(64, 1)

训练和验证

def train(model, device, train_loader, optimizer, loss_fn, log_interval, epoch):
  print("Training")
  model.train()
  for batch_idx, (data, target) in enumerate(train_loader):
    data, target = data.float().to(device), target.float().to(device)
    optimizer.zero_grad()
    output = model(data)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
    if batch_idx % log_interval == 0:
        print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
            epoch, (batch_idx+1) * len(data), len(train_loader.dataset),
            100. * batch_idx / len(train_loader), loss.item()))

def validate(model, device, loader, loss_fn):
  print("\nValidating")
  model.eval()
  test_loss = 0
  correct = 0
  with torch.no_grad():
    for batch_idx, (data, target) in enumerate(loader):
      data, target = data.float().to(device), target.float().to(device)
      output = model(data)
      test_loss += loss_fn(output, target).item()  # sum up batch loss

  test_loss /= len(loader)

  print('Validation average loss: {:.4f}\n'.format(
      test_loss))
  return test_loss

训练和验证的整个过程

from MyDataset import MyDataset
from torch.utils.data import DataLoader
from torch.optim.lr_scheduler import StepLR
from datetime import datetime

train_dataset_path = "/content/drive/My Drive/root/bus/dataset/train.csv"
val_dataset_path = "/content/drive/My Drive/root/bus/dataset/val.csv"
model_base_path = "/content/drive/My Drive/root/bus/models/"

model_file = "/content/drive/My Drive/root/bus/models/checkpoints/1574427776.202017.pt"

"""
Training Config
"""
epochs = 10
batch_size = 32
learning_rate = 0.5

check_interval = 4

log_interval = int(40000/batch_size)
gamma = 0.1

load_model = False
save_model = True
make_checkpoint = True
"""
End of config
"""

# Read test set
train_set = MyDataset(train_dataset_path)
train_loader = DataLoader(train_set, batch_size=batch_size, shuffle=True)
val_set = MyDataset(val_dataset_path)
val_loader = DataLoader(val_set, batch_size=1)
print("Data READY")

device = torch.device("cuda")
net = Network(19).float().to(device)
if load_model:
  net.load_state_dict(torch.load(model_file))
loss_fn = torch.nn.MSELoss()
optimizer = optim.AdamW(net.parameters(), lr=learning_rate)

best_loss = float('inf')
isAbort = False
for epoch in range(1, epochs+1):
  train(net, device, train_loader, optimizer, loss_fn, log_interval, epoch)
  val_loss = validate(net, device, val_loader, loss_fn)
  if epoch%check_interval==0:
    if make_checkpoint:
      print("Saving new checkpoint")
      torch.save(net.state_dict(), model_base_path+"checkpoints/"+str(datetime.today().timestamp())+".pt")
      """
  if val_loss < best_loss and epoch%check_interval==0:
    best_loss = val_loss
    if make_checkpoint:
      print("Saving new checkpoint")
      torch.save(net.state_dict(), model_base_path+"checkpoints/"+str(datetime.today().timestamp())+".pt")
  else:
    print("Model overfit detected. Aborting training")
    isAbort = True
    break
    """
if save_model and not isAbort:
    torch.save(net.state_dict(), model_base_path+"finals/"+str(datetime.today().timestamp())+".pt")

所以我尝试使用 google colab 为回归问题训练一个完全连接的模型。但它没有得到很好的训练；损失绝对没有减少。所以我挖了下来，发现重量真的很小。知道为什么会发生这种情况以及如何避免这种情况吗？谢谢我使用 MSE 进行损失并使用 ADaW 优化器。以下是我尝试过的事情

尝试了其他架构（更改层数大小、更改激活函数 ReLU、GELU）但损失没有减少
尝试将学习率从 3e-1~1e-3 更改，甚至尝试了 1
尝试对数据进行其他预处理（使用日/月/年而不是工作日）
给定输入数据中的标签但损失没有减少
尝试了不同的 batch_sizes(4, 10, 32, 64)
删除了 batch_normalization
其他类型的优化器，例如 SGD、Adam
训练 20 个 epoch，但损失丝毫没有减少
在 loss.backward() 处权重确实发生了变化

【问题讨论】：

这是相当出乎意料的。您能否分享更多细节。例如，您何时检查这些权重？在开始训练之前还是在训练之间？这些详细信息将帮助我们缩小您的问题范围。
@ShagunSodhani 损失并没有减少，所以我决定停止训练并检查发生了什么。权重是在 4 个 epoch 训练后捕获的。
你有多少数据样本？你的班级分布是什么？你的训练时间是否超过了 4 个 epoch？ “其他数据预处理”包括哪些内容，目前的步骤是什么？您尝试过哪些不同的架构？请查看minimal reproducible example 并包含所有必要信息，包括数据样本。
@dennlinger 我已经提供了更多信息。谢谢

标签： deep-learning pytorch

【解决方案1】：

TL;DR: 输入数据无效！！检查 NaN 或 NULL

这个问题已经有一段时间了。几乎所有东西都试过了，虽然可能搞砸了项目设置。所以我删除了该项目并再次尝试：相同。再次删除并迁移到 TF2：相同的结果！所以我发现设置没有任何问题。所以我搜索了其他地方。最后我确实找到了原因。输入列实际上是我自己修改的。（去除一些高度相关的特征）。它不是原创的。在修改过程中，我弄乱了一些浮点值，最终得到了 NaN 值。因此，请检查您的数据集是否包含无效值。

【讨论】：