将数据框拆分为 N 块

Question

上下文

大家好，我正在尝试将我的数据集拆分为 180 个不同的部分，然后通过地理编码器运行它（我的 n 约为 180,000 并且地理编码器的批次限制为 1,000）。我对 Python 还很陌生，但一些谷歌搜索让我在sklearn.utils 中找到了shuffle。它似乎可以解决问题，这里的代码可以满足我的要求（从概念上）：

from sklearn.utils import shuffle

df = shuffle(addresses)
df1 = df[0:1000]
df2 = df[1000:2000]
df3 = df[2000:3000]

但是，我显然不想坐下来像这样手动构建 180 个数据帧，所以我正在寻找一种方法将其放入循环中。这是我的基本想法：

start = 0
end = 1000
for a in range(1,180):
    print(start, end, a)
    start = start+1000
    end = end+1000

以上工作正常。

无效的代码

但是，当我尝试将实际拆分集成到循环中（而不仅仅是打印）时，它会失败。我很确定问题在于我在命名数据帧时如何调用宏a。我不知道如何解决这个问题。

from sklearn.utils import shuffle
df = shuffle(addresses)

start = 0
end = 1000
for a in range(1,180):
    df_str(a) = df[start:end]
    start = start+1000
    end = end+1000

Answer 1

您可以尝试使用exec() 函数来执行您创建的数据帧。在这里，“format()”方法用于更改数据框的名称。 例如if a=1 然后{} = data'.format("df_%d" %(a))) 会将数据重命名为df_1

   start = 0
   end = 1000
   df_str = dict()
   for a in range(1,180):
       df_str[a] = df.iloc[start:end]
       data= df_str[a]
       exec('{} = data'.format("df_%d" %(a)))
       start = start+1000
       end = end+1000
       del data

如果您希望数据帧的索引从 0 开始，您可以使用 reset_index(drop=True) 重置索引：

exec('{} = data'.format("df_%d.reset_index(drop=True)" %(a)))

Answer 2

可能的修复：

df_str = dict()
for a in range(1,180):
    df_str[a] = df[start:end]
    start += 1000
    end += 1000

以前可能存在的错误：

• 确保定义了 df_str。推荐当字典。

• 您似乎将 df_str 作为带有圆括号的函数调用，方括号更常用于元素访问。