多线程：为什么生成器不是线程安全的？当它在线程之间共享时会发生什么？

Question

我正在阅读this question，它询问生成器是否是线程安全的，一个答案说：

它不是线程安全的；同时通话可能交错，并与 局部变量。

Another answer 表明您可以使用锁来确保一次只有一个线程使用生成器。

我是多线程新手。谁能设计一个例子来说明当你使用没有锁的生成器时究竟会发生什么？

例如，如果我这样做似乎没有任何问题：

import threading

def generator():
    for i in data:
        yield i

class CountThread(threading.Thread):
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name

    def run(self):
        for i in gen():
            print '{0} {1}'.format(self.name, i)

data = [i for i in xrange(100)]
gen = generator()
a = CountThread('a')
b = CountThread('b')
a.start()
b.start()

Answer 1

运行这个例子。

您会看到这 10 000 个数字将在线程间“共享”。您不会在两个线程中看到 10 000 个数字。

实际上很可能一个线程会看到所有的数字。

import threading

class CountThread(threading.Thread):
  def __init__(self, gen):
      threading.Thread.__init__(self)
      self.gen = gen
      self.numbers_seen = 0

  def run(self):
      for i in self.gen:
          self.numbers_seen += 1


def generator(data):
    for _ in data:
        yield data

gen = generator(xrange(10000))

a = CountThread(gen)
b = CountThread(gen)

a.start()
b.start()

a.join()
b.join()

print "Numbers seen in a", a.numbers_seen
print "Numbers seen in b", b.numbers_seen

实际上，如果Python在执行过程中发生切换线程（只要使用大于10000的值，例如10000000），就会出现异常：

Exception in thread Thread-2:
Traceback (most recent call last):
  File "/usr/local/Cellar/python/2.7.5/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 808, in __bootstrap_inner
    self.run()
  File "test.py", line 10, in run
    for i in self.gen:
ValueError: generator already executing