python tcp put连接重置

Question

def put_data(line = '', dest_host = 'server', dest_port = '876'):
    ''' This method once invoked pushes data to dest_host and dest_port  '''
    if line:
        cmd = '/bin/echo put ' + line + '| ' + '/bin/nc -w 15 server port'
        print('TCP put using command: ' + cmd)
        os.system(cmd)

我正在使用上述方法将数据行 TCP 放入 HBASE 之上的 opentsdb 驱动程序。

可以看出，此方法为每行推出的数据调用 netcat 实用程序。

问题： 1.）有没有更好的方法来完成这项任务，不必每次都为我想要推送的每一行数据打开一个 TCP 连接？我每分钟运行一次，这导致大量连接处于 TIME_WAIT 状态。

2.) 我可以使用持久 TCP 套接字一次推送 1000 行吗？我已经查看了 python 中的 netcat 实现，但是当我推送所有行时，它们似乎会导致对等方的连接重置

例如： 当我尝试使用以下方法时，我不断收到错误消息：error(104, 'Connection reset by peer')

import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(server, port)
for line in data_list:
    s.sendall(line)
s.close()

error(104, 'Connection reset by peer')

正在推送的数据示例行：

line1 = 'fin.wait2 1385428269 0.0 host=srv1 testname=tcp source=nag03 product=rebuild'
line2 = 'established 1385428269 11.0 host=srv2 testname=tcp source=nag03 product=rebuild'
line3 = 'fin.wait1 1385428269 0.0 host=srv3 testname=tcp source=nag03 product=rebuild'
line4 = 'last.ack 1385428269 0.0 host=srv4 testname=tcp source=nag03 product=rebuild'
line5 = 'unknown 1385428269 0.0 host=srv5 testname=tcp source=nag03 product=rebuild'
line6 = 'syn.recv 1385428269 0.0 host=srv6 testname=tcp source=nag03 product=rebuild'

Answer 1

问题是你的行末尾没有换行符。

您的基于 netcat 的代码正在使用 echo 将行传递给 netcat，它不带任何参数，会在末尾添加一个换行符，因此它可以工作。

但是您的基于 Python socket 的代码没有添加任何换行符。

所以，你想向它发送五个这样的命令：

put fin.wait2 1385428269 0.0 host=srv1 testname=tcp source=nag03 product=rebuild
put established 1385428269 11.0 host=srv2 testname=tcp source=nag03 product=rebuild
put fin.wait1 1385428269 0.0 host=srv3 testname=tcp source=nag03 product=rebuild
put last.ack 1385428269 0.0 host=srv4 testname=tcp source=nag03 product=rebuild
put unknown 1385428269 0.0 host=srv5 testname=tcp source=nag03 product=rebuild
put syn.recv 1385428269 0.0 host=srv6 testname=tcp source=nag03 product=rebuild

……但相反，你发送的是这样一大行：

put fin.wait2 1385428269 0.0 host=srv1 testname=tcp source=nag03 product=rebuildput established 1385428269 11.0 host=srv2 testname=tcp source=nag03 product=rebuildput fin.wait1 1385428269 0.0 host=srv3 testname=tcp source=nag03 product=rebuildput last.ack 1385428269 0.0 host=srv4 testname=tcp source=nag03 product=rebuildput unknown 1385428269 0.0 host=srv5 testname=tcp source=nag03 product=rebuildput syn.recv 1385428269 0.0 host=srv6 testname=tcp source=nag03 product=rebuild

要么它被你的数据弄糊涂并挂断，要么拒绝你过长的线路作为 DoS 尝试，要么只是等待应该结束线路的换行符并且永远不会得到它并最终超时。

无论根本问题是什么，根本原因是缺少换行符，解决方法是将它们放在那里。

当我们这样做时，您的 netcat 代码会在每个命令的开头附加一个 put，而您的 socket 代码不会，您可能还需要修复它。所以：

for line in data_list:
    s.sendall('put {}\n'.format(line))