Python - 在多线程中使用随机数

Question

我正在使用带有请求的 python 2。这个问题更多的是对我如何提高这种性能的好奇。

现在的问题是我必须将请求标头中的加密签名发送到 HTTPS 服务器。这个签名包括一个“nonce”，它必须是一个时间戳，并且总是必须增加（在服务器端）。

显然，这会对在多个线程上运行多个 HTTP 会话造成严重破坏。请求最终没有按顺序发送，因为它们在生成标头和发送 HTTPS POST 请求之间被中断。

解决方案是在创建签名之前锁定线程，直到接收 HTTPS 数据结束。理想情况下，我想在发送 HTTP 请求后释放 LOCK，而不必等待接收数据。在发送 HTTP 标头之后，有什么方法可以使用请求释放锁？见代码示例：

self.lock 是一个 Threading.Lock。这个类（self）的这个实例在多个线程之间共享。

def get_nonce(self):
    return int(1000*time.time())

def do_post_request(self, endpoint, parameters):
    with self.lock:
        url = self.base + endpoint
        urlpath = endpoint
        parameters['nonce'] = self.get_nonce()
        postdata = urllib.urlencode(parameters)
        message = urlpath + hashlib.sha256(str(parameters['nonce']) + postdata).digest()
        signature = hmac.new(base64.b64decode(self.secret_key), message, hashlib.sha512)
        headers = {
            'API-Key': self.api_key,
            'API-Sign': base64.b64encode(signature.digest())
        }
        data = urllib.urlencode(parameters)
        response = requests.post(url, data=data, headers=headers, verify=True).json()

    return response

Answer 1

这听起来像请求库doesn't have any support 用于异步发送。

使用默认传输适配器，Requests 不提供任何类型的非阻塞 IO。 Response.content 属性将被阻塞，直到整个响应被下载。如果您需要更多粒度，库的流式传输功能（请参阅流式处理请求）允许您一次检索更少量的响应。但是，这些调用仍然会阻塞。

如果您担心阻塞 IO 的使用，有很多项目将请求与 Python 的异步框架之一结合起来。两个很好的例子是 grequests 和 requests-futures。

我在评论中看到您对添加更多依赖项犹豫不决，所以我唯一的建议是：

• 当您的 nonce 被拒绝时添加重试逻辑。这似乎是最 Pythonic 的解决方案，只要 nonce 不经常被拒绝就应该可以正常工作。
• 限制随机数生成器。保留上一个 nonce 使用的时间戳，如果请求下一个 nonce 时时间不够长，则休眠。
• 批处理消息。如果协议允许，当您添加延迟以等待其他消息并将它们作为批处理发送时，您可能会发现吞吐量实际上会上升。
• 更改服务器，使 nonce 值不必增加。如果您控制服务器，则使消息彼此独立将为您提供更灵活的协议。
• 使用会话池。我猜nonce值只需要在一个会话中增加。如果您创建一个线程池并让每个线程打开自己的会话，您仍然可以获得合理的吞吐量，而不会出现您目前遇到的时间问题。

显然，您必须衡量进行这些更改的性能结果。

即使您决定添加一个依赖项，让您在发送标头后释放锁定，您仍然可能会发现偶尔会遇到时间问题。带有标头的消息包在到达服务器的途中可能会延迟。