Python中的同步多线程

Question

以下代码中的 BrokenLinkTest 类执行以下操作。

1. 获取网页网址
2. 查找网页中的所有链接
3. 同时获取链接的标题（这样做是为了检查链接是否断开）
4. 收到所有标头后打印“完成”。

---

from bs4 import BeautifulSoup
import requests

class BrokenLinkTest(object):

    def __init__(self, url):
        self.url = url
        self.thread_count = 0
        self.lock = threading.Lock()

    def execute(self):
        soup = BeautifulSoup(requests.get(self.url).text)
        self.lock.acquire()
        for link in soup.find_all('a'):
            url = link.get('href')
            threading.Thread(target=self._check_url(url))
        self.lock.acquire()

    def _on_complete(self):
        self.thread_count -= 1
        if self.thread_count == 0: #check if all the threads are completed
            self.lock.release()
            print "completed"

    def _check_url(self, url):
        self.thread_count += 1
        print url
        result = requests.head(url)
        print result
        self._on_complete()


BrokenLinkTest("http://www.example.com").execute()

并发/同步部分能否以更好的方式完成。我使用 threading.Lock 做到了。这是我第一次尝试使用 python 线程。

Answer 1

def execute(self):
    soup = BeautifulSoup(requests.get(self.url).text)
    threads = []
    for link in soup.find_all('a'):
        url = link.get('href')
        t = threading.Thread(target=self._check_url, args=(url,))
        t.start()
        threads.append(t)
    for thread in threads:
        thread.join()

您可以使用join 方法等待所有线程完成。

注意我还添加了一个开始调用，并将绑定的方法对象传递给目标参数。在您的原始示例中，您在主线程中调用 _check_url 并将返回值传递给目标参数。

Answer 2

Python 中的所有线程都在同一个内核上运行，因此您不会通过这种方式获得任何性能。另外——目前还不清楚实际发生了什么？

1. 您实际上并没有启动线程，您只是在初始化它
2. 线程本身除了减少线程计数之外什么都不做

如果您的程序将工作交付给 IO（发送请求、写入文件等），而其他线程可以同时工作，您可能只会在基于线程的场景中获得性能。