发送使用统一相机拍摄的实时图像答案

【问题标题】：Sending Real Time images captured using unity camera发送使用统一相机拍摄的实时图像
【发布时间】：2021-07-25 23:40:55
【问题描述】：

服务器

private void SendImageByte()
    {
      
        image_bytes = cm.Capture();
       
    print(image_bytes.Length);
   

    if (connectedTcpClient == null)
    {
        return;
    }

    try
    {
        // Get a stream object for writing.             
        NetworkStream stream = connectedTcpClient.GetStream();
        if (stream.CanWrite)
        {
           // string serverMessage = "This is a message from your server.";
            // Convert string message to byte array.                 
            byte[] serverMessageAsByteArray = Encoding.ASCII.GetBytes(image_bytes.ToString());
            // Write byte array to socketConnection stream.
            
            stream.Write(serverMessageAsByteArray, 0, serverMessageAsByteArray.Length);
            Debug.Log("Server sent his message - should be received by client");
        }
    }
    catch (SocketException socketException)
    {
        Debug.Log("Socket exception: " + socketException);
    }
}

客户

import socket

host = "127.0.0.1"
port = 1755
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect((host, port))

def receive_image():
    data = sock.recv(999999).decode('utf-8')
    print(len(data))

while True:
    receive_image()

这里的脚本从统一相机捕获图像

public byte[] Capture()
    {
        if(renderTexture == null)
        {
          
            // creates off-screen render texture that can rendered into
            rect = new Rect(0, 0, captureWidth, captureHeight);
            renderTexture = new RenderTexture(captureWidth, captureHeight, 24);
            screenShot = new Texture2D(captureWidth, captureHeight, TextureFormat.RGB24, false);
        }

       // _camera = GetComponent<Camera>();
        _camera.targetTexture = renderTexture;
        _camera.Render();

        // reset active camera texture and render texture
        _camera.targetTexture = null;
        RenderTexture.active = null;

        // read pixels will read from the currently active render texture so make our offscreen 
        // render texture active and then read the pixels
        RenderTexture.active = renderTexture;
        screenShot.ReadPixels(rect, 0, 0);
        screenShot.Apply();

        byte[] imageBytes = screenShot.EncodeToPNG();
        //Object.Destroy(screenShot);

        //File.WriteAllBytes(Application.dataPath + "/../"+ imagePath + "/img{counter}.png", bytes);
        //counter = counter + 1;
        return imageBytes;
    }

我正在尝试使用套接字通信将 Unity3D 上的实时图像从 C# 发送到 python 以进行处理并将值返回到统一，但问题是即使在客户端接收到的字节长度也与服务器不一样。我发送了大约 400K 字节，但我只收到了 13 C#是服务器，python是客户端

或者我做错了，但我想创建模拟器的主要目标是 udacity 自动驾驶

【问题讨论】：

您知道recv() 可以返回少于请求的字节数吗？在收到整个消息之前，您的工作是不断致电recv()。

标签： python c# sockets unity3d socket.io

【解决方案1】：

您确定 image_bytes.ToString() 返回您期望的结果，而不是像 "System.Byte[]" => 13 chars => 13 bytes 这样的结果。

一般来说，您为什么要将已经 byte[] 转换为 string 只是为了将其转换回 byte[] 以发送？我很确定您不想使用 UTF-8 传输二进制图像数据...一种选择可能是 Base64 字符串，但仍然会非常低效。

只需发送原始字节，例如

stream.Write(image_bytes, 0, image_bytes.Length);

然后接收，直到你收到那个长度。

一个典型的解决方案是预先设置要发送的消息的长度，然后在接收方实际等待，直到您收到准确的字节数，例如

var lengthBytes = BitConverter.GetBytes(image_bytes.Length);
stream.Write(lengthBytes, 0, lengthBytes.Length);
stream.Write(image_bytes, 0, image_bytes.Length);

现在您知道，在接收方，您首先必须准确接收 4 字节（== 一个 int），这将告诉您实际有效负载要接收多少字节。

现在我不是 python 专家，但在谷歌搜索了一下之后，我想像

def receive_image()
    lengthBytes = sock.recv(4)
    length = struct.unpack("!i", lengthBytes)[0]

    data = sock.recv(length)

注意：在阅读了 John Gordon 对这个问题的评论后，我想这仍然不能完全解决等待缓冲区实际填充的问题——正如没有 python 专家所说的那样——但我希望它能让你知道在哪里去;)

【讨论】：