用于使用 opencv 录制视频并在浏览器中播放的通用编解码器答案

【问题标题】：Universal codec for recording video with opencv and playing it in browser用于使用 opencv 录制视频并在浏览器中播放的通用编解码器
【发布时间】：2023-04-01 06:50:02
【问题描述】：

我正在尝试用 OpenCV 做一个记录系统。我用它来录制视频。

这是一个例子：

import cv2
cap = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'MJPEG')
out = cv2.VideoWriter('example.mkv',fourcc, 20.0, (640,480))
while(cap.isOpened()):
    ret, frame = cap.read()
    if ret==True:
        out.write(frame)
        cv2.imshow('frame',frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()

这是一个录音系统，我不能使用 mp4 容器及其编解码器，因为：

如果出现计划外问题，录制将无法正确结束并且会损坏。
我录制了 5 分钟的录音，虽然一个录音不会完成，但您无法播放。

这就是我使用 mkv 或 avi 和 mjpg 编解码器的原因。录音效果很好。我可以在我的电脑上播放视频，但无法在浏览器中使用 video 元素播放，因为它不支持 mkv 或 avi 容器和 mjpg 编解码器。不幸的是，我没有足够强大的机器来使用编解码器重新编码视频。我使用 ffmpeg 来做这件事，我应该通过 -vcodec copy 参数来加快这个过程。在其他情况下，它会太慢。是否有通用编解码器和容器可用于保存录音并且对浏览器有效？

【问题讨论】：

标签： html opencv video codec recording

【解决方案1】：

大多数设备和浏览器仅支持硬件可解码编解码器，它们是：h264/h265 (HEVC) with .mp4/.mov container 和 vp8/vp9 .webm container。如果没有正确完成，两者都会被破坏。将来会有AV1。所以不要依赖 MJPEG、PNG 等编解码器和 AVI 之类的容器。但是，您可以使用untrunc 工具修复 mp4 文件，当 MP4 写入不正确时，主要问题是 MOOV atom。

【讨论】：

【解决方案2】：

使用 PyAV。它是 ffmpeg for python 的包装器。你需要一些灵活性。 ffmpeg/PyAV 给你。 ffmpeg 允许您使用硬件编码，如果它可用并且您要求的话。 OpenCV 的目的不是编码视频，而是计算机视觉。

使用 MPEG传输流 (.ts)。这就是 HLS 流式传输所使用的。如果浏览器本身不能处理它，那么有 javascript 可以。运输流还具有优势，您可以以任何方式屠宰它们，并且它们仍然可以恢复，除了被屠宰的部分。 MP4一般不能修复，只有满足特定条件。 TS 本来就不需要修。

使用 H.264。实际上，它相当兼容，并且最接近您今天将获得的“通用”。如果您重视可恢复性，则应仅对 Intra 进行编码。

【讨论】：

【解决方案3】：

是否有通用编解码器和容器可用于保存记录并且对浏览器有效？

是的，容器 mp4，视频编解码器 libx264，如果您有 main.mkv 或 main.avi，请使用它

ffmpeg -i main.mkv -c:v libx264 -crf 17  -b:v 6000k -maxrate  6000K -bufsize 4M   -movflags -faststart  -preset veryfast -dn  ./video.mp4

质量和快速编码的参数

-crf 范围 0–51，其中 0 是无损的，23 是默认值，51 是可能的最差质量。较低的值通常会导致更高的质量，主观上合理的范围是 17-28。考虑 17 或 18 在视觉上无损或几乎无损；它应该看起来与输入相同或几乎相同，但在技术上并非无损。
-b:v kBit/s 视频比特率
-预设编码速度，超快超快非常快更快快中等（默认预设）慢慢非常慢

【讨论】：