C++ 视频流和传输

Question

我是视频解码/编码的新手。目前我的任务是测试网络编码的视频传输。网络编码程序已经完成。

首先我尝试在opencv中将视频分割成帧，并传输帧，但是分割后，我发现一个3MB的视频被转换为80MB总大小的帧！这对于传输效率不高。有没有更好的视频传输方式？任何专业人士都可以为我提供 C++ 中的示例代码吗？我被告知由于传输带宽的限制，不能直接将视频放入buff。我想知道使用帧间差异来减少传输文件的大小，但我不知道在 C++ 中这样做。

这是我的视频分帧代码。

#include "opencv2/highgui/highgui.hpp"
#include <iostream>

using namespace cv;
using namespace std;

int main(int argc, char* argv[])
{

VideoCapture cap("/home/yonghao/Documents/50MbitMJPEG1080p.mp4"); // open the video file for reading


double fps = cap.get(CV_CAP_PROP_FPS); //get the frames per seconds of the video
int numFrames = cap.get(CV_CAP_PROP_FRAME_COUNT); // get the total number of frames

 cout << "Frame per seconds : " << fps << endl;
 cout << "Total Frame Numbers : " << numFrames << endl;

namedWindow("MyVideo",CV_WINDOW_AUTOSIZE); //create a window called "MyVideo"

int frame_number = 1;

while(frame_number<=numFrames)
{
Mat frame;

bool bSuccess = cap.read(frame); // read a new frame from video

if (!bSuccess) //if not success, break loop
{
    cout << "Cannot read the frame from video file" << endl;
    break;
}

    imshow("MyVideo", frame); //show the frame in "MyVideo" window

//save frame

    stringstream ss;
    string name = "/home/yonghao/Documents/Frames/frame_";
    string type = ".jpg";

    ss<<name<<(frame_number)<<type;

    string filename = ss.str();
    ss.str("");

imwrite(filename, frame);

cout << "Frame " << frame_number << " has been generated." << endl;

frame_number++;

//user exit by press ESC button

if(waitKey(30) == 27) //wait for 'esc' key press for 30 ms. If 'esc' key is pressed,    break loop
{
        cout << "esc key is pressed by user" << endl;
break;
}
}
return 0;
}

Answer 1

如果您的视频比特率对于您的带宽来说太高，您需要使用标准视频编解码器（例如 h264）重新压缩它。 你可以使用 ffmpeg 程序来做到这一点，使用类似的东西：

ffmpeg -i <your_input_file> -c:v libx264 -crf 22 video.avi

这将使用默认选项和恒定质量进行编码（crf 参数，越低质量越高），请参阅here 了解 h264 编码器的选项，在您的情况下，您可能更喜欢使用恒定比特率而不是恒定质量。

在 c 中使用 libavformat 库（ffmpeg 库的一部分）可以以正确的速度阅读视频并将其流式传输到网络上，但对于初学者来说可能很复杂。

一个更简单的解决方案是将 ffmpeg 命令的输出通过管道传输到执行网络编码的程序。

例如：

ffmpeg -re -i input.avi -f rawvideo -c:v copy pipe:1 | ./network_encode

这将读取编码的视频文件并将原始视频流发送到您的网络编码程序（这里 network_encode 从标准输入读取数据，应用您的网络编码并发送它）

在接收器上，您可以执行类似的操作来可视化您的视频（此处 network_decode 从网络接收数据，对其进行解码，并将结果写入标准输出）：

./network_decode | ffplay -i -