内核因奇怪的行为而死

Question

我有一个显示奇怪行为的简单函数。我已经搜索了解释，但找不到任何解释。

def myfunc(frame):
  lol = []
  for i in range(frame.shape[0]):
    if frame.iloc[i,3] == 3:
      lol.append(frame.iloc[i,7])
  return np.asarray(lol,dtype=np.int32)

print('before')

x = myfunc(x)

print('after')

以上代码的结果是

之前
内核死了

def myfunc(frame):
  lol = []
  for i in range(frame.shape[0]):
    if frame.iloc[i,3] == 3:
      lol.append(frame.iloc[i,7])
  print('myfunc')
  return np.asarray(lol,dtype=np.int32)

print('before')

x = myfunc(x)

print('after')

然而，只需添加一个打印语句即可

之前
我的函数
之后
内核死了

打印语句是唯一的区别，我已经对此进行了测试，也许有 50 次。忽略我的其他问题（内核死了），我不知道为什么会这样。如果有任何见解，我将不胜感激。

Answer 1

我尝试使用示例数据重现错误，它对我来说效果很好。
您可以在 colab 环境中对您的数据进行相同的尝试并检查，如果没有出现错误，则问题可能是以下问题之一。

1. 您的数据很大，无法放入内存，您可以尝试在加载 csv 文件时指定 engine='python'df = pd.read_csv('input.csv', engine='python')。
   您也可以将数据框拆分为多个数据框，然后再合并。
2. 您可以使用 Tensorflow 的 tf.data 加载 CSV 文件并构建对大文件更有效的输入管道。

下面是带有示例数据的工作代码。

import tensorflow as tf
import pandas as pd
import numpy as np

df = pd.read_csv("/content/sample_data/mnist_train_small.csv") 
def myfunc(frame):
  lol = []
  for i in range(frame.shape[0]):
    if frame.iloc[i,3] == 3:
      lol.append(frame.iloc[i,7])
  return np.asarray(lol,dtype=np.int32)

print('before')

x = myfunc(df)

print('after')

结果：

before
after