Python - 切片迭代的列表转换随着每个切片而增加

Question

我有一个来自 read_sql 的生成器，并使用 itertools.islice 将此生成器转换为迭代器。所以我使用 start 和 stop 参数将此生成器转换为切片中的迭代器。并且这个过程循环运行，将生成器转换为3个切片的迭代器，并将迭代器转换为列表。

第一次运行 -> iterable_slice = list(it.islice(generator_df, 0 , 3)) 需要 2.99 秒 第二次运行 -> iterable_slice = list(it.islice(generator_df, 4 , 6)) 需要 5.3 秒 并且随着每个新循环或下一组切片，列表转换需要更多时间。

为什么会发生这种情况，我在哪里犯了错误？请思想。谢谢。

#function to convert generator to slices

def gen_to_itr(generator_df,slice_start,slice_end):
    iterable_slice = list(it.islice(generator_df, slice_start,slice_end))

#main function 
slices = 3
slice_start = 0
slice_end = slices
flg_cnt = 0
while slice_end <= bcnt and flg_cnt <= 1:
    generator_df = pd.read_sql(query2, test_connection_forbankcv_connection, chunksize = 1800)
    first = time.perf_counter()
    iterable_slice = gen_to_itr(generator_df,slice_start,slice_end)
    end = time.perf_counter()
    print(f'Chunk list created in {round(end-first, 2)} second(s)')
    slice_start = slice_start+slices
    .....

Answer 1

it.islice() 在创建新迭代器时必须跳过生成器的第一个 slice_start 元素。这需要的时间与slice_start 成正比。

但是，我很难相信跳过熊猫系列的每个元素需要大约 1 秒。如果块大小小于切片大小，则可能需要从数据库中再次获取以获取下一个块。但只要你在同一个块中，我认为它应该具有与遍历静态系列相同的速度。