伙计们，
我想知道是否有人可以向我解释视频解码的输出到底是什么。假设它是 MP4 容器中的 H.264 流。
从屏幕上显示的内容来看，我猜解码器可以提供两种不同类型的输出：
还有时间戳的问题。
能否请您赐教或指出正确的链接，了解解码器生成的内容以及视频客户端如何使用此信息在屏幕上显示内容？
我打算下载 VideoLAN 源并检查它，但一些解释会有所帮助。
提前感谢您的帮助。
问候， 彼得
【问题讨论】：
标签： video-encoding codec
以上都不是。
通常输出将是只包含颜色数据的字节流。 X,Y 位置由视频的尺寸暗示。
换句话说，前三个字节可能编码 (0, 0) 处的颜色值，后三个字节编码 (0, 1) 处的值，依此类推。某些格式可能使用四个字节组，甚至是加起来不等于一个字节的多个位 - 例如，如果您为每个颜色分量使用 5 位并且您有三个颜色分量，则每像素 15 位。这可能会被填充到 16 位（正好是两个字节）以提高效率，因为这将以 CPU 可以更好地处理数据的方式对齐数据。
当您处理的值与视频宽度完全相同时，您已经到达该行的末尾。当您处理的行数与视频的高位完全相同时，您已经到达该帧的末尾。
对于那些字节的解释，这取决于编解码器使用的色彩空间。常见的色彩空间有YUV、RGB和HSL/HSV。
这在很大程度上取决于使用的编解码器及其支持的输入格式；输出格式通常限于可接受的输入格式集。
时间戳数据有点复杂，因为它可以在视频流本身或容器中编码。至少，流需要一个帧率；由此，每帧的时间可以通过计算已经解码的帧数来确定。其他方法，如 AVI 采用的方法，是在文件末尾为每第 N 帧（或仅关键帧）包含一个字节偏移量，以实现快速查找。 （否则，您需要将每一帧解码到您要查找的时间戳，以确定该帧在文件中的位置。）
如果您也在考虑音频数据，请注意，对于大多数编解码器和容器，音频和视频流是独立的，彼此一无所知。在编码期间，将两个流写入容器格式的软件会执行一个称为 muxing 的过程。它将以 N 秒为单位写出数据，在流之间交替。这允许任何正在阅读流的人获得 N 秒的视频，然后是 N 秒的音频，然后是另一个 N 秒的视频，依此类推。 （也可能包含多个音频流——这种技术经常用于将视频、英语和西班牙语音轨混合到一个包含三个流的文件中。）事实上，即使是字幕也可以与另一个混合流。
【讨论】：
cdhowie 得到了大部分。 当涉及到时间戳时，MPEG4 容器包含每个帧的表格，告诉视频客户端何时显示每个帧。您应该查看 MPEG4 的规范。我认为您通常需要为此付费，但绝对可以从其他地方下载。
【讨论】：