在迭代期间删除python列表的元素

Question

我在每个元素上都有一个 非常 大的列表，我必须对其进行许多操作。本质上，列表的每个元素都以各种方式附加，然后用于生成对象。然后使用这些对象生成另一个列表。

不幸的是，以幼稚的方式执行此操作会占用所有可用内存。

因此我想做以下事情：

for a in b:
    # Do many things with a
    c.append(C(modified_a))
    b[b.index(a)] = None # < Herein lies the rub

这似乎违反了在迭代期间不应修改列表的想法。有没有更好的方法来进行这种手动垃圾收集？

Answer 1

这应该不是问题，因为您只是为列表元素分配新值，而不是真正删除它们。

但是你应该使用枚举而不是使用索引方法搜索。

另见此处： http://unspecified.wordpress.com/2009/02/12/thou-shalt-not-modify-a-list-during-iteration/ “首先，让我明确一点，在本文中，当我说“修改”时，我的意思是从列表中插入或删除项目。仅仅更新或改变列表项就可以了。”

Answer 2

您的代码存在几个问题。

首先，将None 分配给列表元素不会删除它：

>>> l=[1,2,3,4,5,6,6,7,8,9]
>>> len(l)
10
>>> l[l.index(5)]=None
>>> l
[1, 2, 3, 4, None, 6, 6, 7, 8, 9]
>>> len(l)
10

其次，使用索引来查找要更改的元素根本不是有效的方法。

您可以使用枚举，但仍需要循环删除None 值。

for i,a in enumerate(b):
    # Do many things with a
    b[i]=C(modified_a)
    b[i]=None 
c=[e for e in b if e is not None]

您可以使用列表推导将新的“a”值复制到 c 列表中，然后删除 b：

c=[do_many_things(a) for a in b]
del b                              # will still occupy memory if not deleted...

或者如果你想在原地修改b，可以使用slice assignment：

b[:]=[do_many_things(a) for a in b]

切片分配是这样工作的：

#shorted a list
>>> b=[1,2,3,4,5,6,7,8,9]
>>> b[2:7]=[None]
>>> b
[1, 2, None, 8, 9]

#expand a list
>>> c=[1,2,3]
>>> c[1:1]=[22,33,44]
>>> c
[1, 22, 33, 44, 2, 3]

# modify in place
>>> c=[1,2,3,4,5,6,7]
>>> c[0:7]=[11,12,13,14,15,16,17]
>>> c
[11, 12, 13, 14, 15, 16, 17]

您可以像这样在列表推导中使用它：

>>> c=list(range(int(1e6)))
>>> c[:]=[e for e in c if e<10]
>>> c
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

其中一位 cmets 指出，切片分配并没有准确地就地修改；生成一个临时列表。 That is true. 但是，让我们看看这里的总时间：

import time
import random
fmt='\t{:25}{:.5f} seconds' 
count=int(1e5)
a=[random.random() for i in range(count)]
b=[e for e in a]

t1=time.time()
for e in b:
    if e<0.5: b[b.index(e)]=None  
c=[e for e in b if e is not None]    
print(fmt.format('index, None',time.time()-t1))

b=[e for e in a]
t1=time.time()
for e in b[:]:
    if e<0.5: del b[b.index(e)]  
print(fmt.format('index, del',time.time()-t1))

b=[e for e in a]
t1=time.time()
for i,e in enumerate(b[:]):
    if e<0.5: b[i]=None
c=[e for e in b if e is not None]    
print(fmt.format('enumerate, copy',time.time()-t1))

t1=time.time()
c=[e for e in a if e<.5]
del a
print(fmt.format('c=',time.time()-t1))

b=[e for e in a]
t1=time.time()
b[:]=[e for e in b if e<0.5]
print(fmt.format('a[:]=',time.time()-t1))

在我的电脑上打印这个：

index, None              87.30604 seconds
index, del               28.02836 seconds
enumerate, copy          0.02923 seconds
c=                       0.00862 seconds
a[:]=                    0.00824 seconds

或者，如果这没有帮助，请使用 numpy 以获得更优化的数组选项。

Answer 3

您最好的选择是generator：

def gen(b):
   for a in b:
      # Do many things with a
      yield a

在这里正确完成，不需要额外的内存。