Pickle EOFError：从套接字接收时用尽输入

Question

我正在为一个学校项目（不适用于现实世界）运行一个非常简单的 python (3.x) 客户端-服务器程序（都在我的 PC 上本地），它只是来回发送消息（如视图客户，添加客户，删除客户等......真正的基本）。

有时数据可以是我存储为 namedTuples 的多条记录（这很有意义），然后沿着使用 Pickle 传输的路径走下去。

例如，在客户端上我会这样做：

s.send(message.encode('utf-8'))
pickledResponse = s.recv(4096);
response = pickle.loads(pickledResponse)

现在我经常收到以下错误：

response = pickle.loads(pickledResponse)
EOFError: Ran out of input

我担心这与我的套接字 (TCP) 传输有关，也许不知何故我没有及时为我的 pickle.loads 获取所有数据 - 有意义吗？如果不是这样，我真的不知道为什么会如此不一致地发生。

但是，即使我是对的，我也不确定如何（快速）修复它，我正在考虑放弃泡菜并只使用字符串（但这不会遭受同样的命运吗）？有人有什么建议吗？

真的，我的信息非常基本 - 通常只是一个命令和一些小数据，如“1=John”，这意味着命令 (1)，它是 FIND 命令，然后是“John”，它返回记录（姓名、年龄等...) 的 John（作为 namedTuple - 但老实说这不是强制性的）。

任何建议或帮助将不胜感激，正在寻找快速解决方案...

Answer 1

您的代码的问题在于，recv(4096) 在 TCP 套接字上使用时，可能会返回与您预期不同的数据量，因为它们在数据包边界处被分割。

简单的解决方案是在每条消息前面加上长度；发送喜欢

import struct
packet = pickle.dumps(foo)
length = struct.pack('!I', len(packet)
packet = length + packet

然后用于接收

import struct

buf = b''
while len(buf) < 4:
    buf += socket.recv(4 - len(buf))

length = struct.unpack('!I', buf)[0]
# now recv until at least length bytes are received,
# then slice length first bytes and decode.

---

不过，Python 标准库已经支持面向消息的 pickling 套接字，即multiprocessing.Connection，它支持分别使用Connection.send 和Connection.recv 轻松发送和接收pickle。

因此您可以将您的服务器编码为

from multiprocessing.connection import Listener

PORT = 1234
server_sock = Listener(('localhost', PORT))
conn = server_sock.accept()

unpickled_data = conn.recv()

和客户端

from multiprocessing.connection import Client

client = Client(('localhost', 1234))
client.send(['hello', 'world'])

Answer 2

要接收服务器发送的所有内容，直到它关闭其一侧的连接，请尝试以下操作：

import json
import socket
from functools import partial


def main():
    message = 'Test'

    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as sock:
        sock.connect(('127.0.0.1', 9999))

        sock.sendall(message.encode('utf-8'))
        sock.shutdown(socket.SHUT_WR)

        json_response = b''.join(iter(partial(sock.recv, 4096), b''))

    response = json.loads(json_response.decode('utf-8'))
    print(response)


if __name__ == '__main__':
    main()

我使用了sendall()，因为send() 与recv() 有相同的“问题”：不能保证所有内容都已发送。 send() 返回实际发送的字节数，程序员必须确保它与参数的长度相匹配，如果不发送其余的，直到一切都结束。发送后连接的写入端关闭（shutdown()），因此服务器知道不再有来自客户端的数据。之后，从服务器接收所有数据，直到服务器关闭其一侧的连接，从而导致从 recv() 调用返回的空字节对象。

这是一个适合客户的socketserver.TCPServer：

import json
from socketserver import StreamRequestHandler, TCPServer


class Handler(StreamRequestHandler):

    def handle(self):
        print('Handle request...')
        message = self.rfile.read().decode('utf-8')
        print('Received message:', message)
        self.wfile.write(
            json.dumps(
                {'name': 'John', 'age': 42, 'message': message}
            ).encode('utf-8')
        )
        print('Finished request.')



def main():
    address = ('127.0.0.1', 9999)
    try:
        print('Start server at', address, '...')
        server = TCPServer(address, Handler)
        server.serve_forever()
    except KeyboardInterrupt:
        print('Stopping server...')


if __name__ == '__main__':
    main()

它从客户端读取完整的数据，并将其与其他一些固定项目一起放入 JSON 编码的响应中。它使用TCPServer 提供的更方便的文件（如对象）来从/向连接读取和写入，而不是低级别的套接字操作。在handle()方法完成后，连接被TCPServer关闭。