使用 SOCAT 记录在端口上接收到的消息

Question

我有一个开放端口的服务器，每秒接收 50 到 1000 条消息。消息是指发送一行文本。

基本上我们希望将这些消息记录在一个文件中，该文件将每小时（或 x 分钟）处理一次。

我创建了一个 bash 脚本（见下文），它在后台运行，它可以工作，除非我终止 socat 进程（这样我可以将文件进行处理，它可以启动一个新文件）我们得到了一个消息，另外我确信我们在 socat 关闭的那一瞬间丢失了消息。

DELAY="3600"
while true
do  
    NEXT_STOP=`date +%s --date "$DELAY second"`
    (
        while [ "$(date +%s)" -lt "$NEXT_STOP" ]
        do
            killall socat
            socat -u TCP-LISTEN:6116,reuseaddr,keepalive,rcvbuf=131071,reuseaddr OPEN:/var/ais/out_v4.txt,creat,append
        done
    ) & sleep $DELAY ; killall socat

    mv /var/ais/out_v4.txt "/var/ais/_socat_received/"$(date +"%Y-%m-%d-%T")"__out_v4.txt"
done

有没有办法：

1. 让 socat 在不终止进程的情况下旋转其输出文件
2. 或者我们可以在 SOCAT 写入文件的同时清除文件的内容。例如将前 10000 行剪切到另一个文件中，这样输出文件的大小仍然可以管理？

在此先感谢

Answer 1

对于任何感兴趣的人，最终解决方案如下所示，与下面 Nicholas 解决方案的主要区别在于我需要 grep socat 进程的 PID 而不是使用 $?:

#!/bin/bash
DELAY=600
SOCAT_PID=$(/bin/ps -eo pid,args | grep "socat -u TCP-LISTEN:12456" | grep -v grep | awk '{ print $1 }')

while `kill -0 $SOCAT_PID`
do  
  touch /var/ais/out.txt
  NEXT_STOP=`date +%s --date "$DELAY second"`
  while  `kill -0 $SOCAT_PID` && [ "$(date +%s)" -lt "$NEXT_STOP" ]
  do
    head -q - >> /var/ais/out.txt
  done
  mv /var/ais/out.txt "/var/ais/_socat_received/"$(date +"%Y-%m-%d-%T")"__out.txt"
done

此外，在无限循环中添加启动脚本，以便在客户端断开连接时我们重新启动 socat 并等待下一次连接尝试：

while true
do
socat -u TCP-LISTEN:12456,keepalive,reuseaddr,rcvbuf=131071 STDOUT | /var/ais/socat_write.sh
done

Answer 2

您可以使用rotatelogs 或multilog 而不是重新发明轮子，这两者都可以读取标准输入上的日志消息并将它们写入具有非常灵活的轮换配置的日志文件。

再高一点，您描述的功能与rsyslogd 之类的功能非常相似。

Answer 3

不那么明显！ socat 没有任何选项可以在中途更改它对连接的作用。这意味着你必须有点偷偷摸摸。使用 socat 并将输出作为 STDOUT，并通过管道传输到此脚本：

#!/bin/bash
rv=0
while [ $rv -lt 1 ]
do  
  NEXT_STOP=`date +%s --date "$DELAY second"`
  while [ "$(date +%s)" -lt "$NEXT_STOP" ] && [ $rv -lt 1 ]
  do
    head -q - >> /var/ais/out_v4.txt
    rv=$?
  done
  mv /var/ais/out_v4.txt "/var/ais/_socat_received/"$(date +"%Y-%m-%d-%T")"__out_v4.txt"
done

完全未经测试，但看起来合理？

socat -u TCP-LISTEN:6116,reuseaddr,keepalive,rcvbuf=131071,reuseaddr STDOUT | ./thescript.sh