如何限制线程数

Question

THINGS 变量中存储了 101 个东西。 该代码声明了 101 个线程并立即同时执行所有线程。

我想知道我们是否可以将活动线程数限制为 12 个。

起初只有 12 个线程应该选择它们的 12 件事情来处理。其余线程应该等待前 12 个线程完成它们的工作。当前 12 个线程全部完成后，接下来的 12 个线程将开始处理接下来的 12 个事情。等等。

这可能吗？

import Queue
import threading, time

class MyThread(threading.Thread):
    def __init__(self, theQueue=None):
        threading.Thread.__init__(self)        
        self.theQueue=theQueue

    def run(self):
        thing=self.theQueue.get()
        self.process(thing) 
        self.theQueue.task_done()

    def process(self, thing):
        time.sleep(1)
        print 'processing %s'%thing.name

queue=Queue.Queue()
THINGS = ['Thing%02d'%i for i in range(101)]

THREADS=[]
for thing in THINGS:
    thread=MyThread(theQueue=queue)
    thread.name = thing
    THREADS.append(thread)
    thread.start() 

for thread in THREADS:       
    queue.put(thread)

Answer 1

工作解决方案发布在下面。 基本思想是我们只声明与可用 CPU 一样多的 Threads 实例。然后我们继续将“任务”（或此处的“事物”）添加到队列中。 一旦任务被添加到队列中，它就会立即被我们在上一步中声明的 Thread 实例之一拾取。

重要提示：为了使这种机制起作用，MyThread.run() 方法应该在while 循环内运行。否则 MyThread 实例将在完成第一个任务后立即终止。在队列中没有任务离开后，while 循环将自行退出。这就是故事的结局。

import Queue
import threading, time

class MyThread(threading.Thread):
    def __init__(self, theQueue=None):
        threading.Thread.__init__(self)        
        self.theQueue=theQueue

    def run(self):
        while True:
            thing=self.theQueue.get()
            self.process(thing) 
            self.theQueue.task_done()

    def process(self, thing):
        time.sleep(1)
        print 'processing %s'%thing

queue=Queue.Queue()
THINGS = ['Thing%02d'%i for i in range(101)]
AVAILABLE_CPUS=3

for OneOf in range(AVAILABLE_CPUS):
    thread=MyThread(theQueue=queue)
    thread.start() # thread started. But since there are no tasks in Queue yet it is just waiting.

for thing in THINGS:       
    queue.put(thing) # as soon as task in added here one of available Threads picks it up