用 C/C++ 快速显示波形

Question

我有兴趣在 Windows 和 Linux 上用 C 或 C++ 实现音频编辑器。我不知道如何在完全缩小的视图中足够快地显示波形。我不是在寻找有关快速帧缓冲技术的信息。这是一个关于算法和数据结构的问题，以有效地确定要显示的内容。

假设我希望能够编辑 2 小时长的 5 通道、48 KHz、24 位声音。那是 5 GB 的样本数据。我希望能够从每个样本一个像素一直缩小，直到所有样本数据一次可见。我希望应用程序即使在慢速机器上也能感觉响应，例如，为了争论，1 GHz Atom。当我说响应时，我希望 GUI 更新通常发生在用户输入的 1/30 秒内。

在决定为完全缩小的视图渲染什么时，一个简单的实现会扫描整个波形中的每个样本 - 它需要找到显示的每个像素宽度“覆盖”的所有样本的最大和最小样本值.我编写了一个简单的应用程序来测试这种方法的速度。我在我的 2015 3.5 GHz Xeon 上使用 1 小时长的单声道 16 位 44.1 KHz 样本进行了测试。它需要 0.12 秒。这太慢了数百倍。

您可以想象维护一个缩小数据的缓存，但我不知道如何避免在大多数插入或删除后重新计算整个缓存。感觉一定有更好的办法。

这是一个图表，显示了我想要实现的目标：

这是目前大多数可用音频编辑器中的显示方式。用户可能会期待这种行为。我用 Audacity 进行了测试，它以这种方式工作（尽管它也以较浅的颜色显示样本的平均值）。它可以处理任意插入到大声音中，看似即时。我不会阅读 75 兆字节的源代码来了解它是如何做到的。

编辑：

许多人提出了在显示缩小视图时只考虑样本子集的方案。我得出的结论是我不想这样做，因为它丢失了太多有用的信息。例如，如果您正在寻找声音中的故障（例如乙烯基转换中的咔嗒声），则包括所有样本很重要。在最坏的情况下，如果故障只有一个样本长，我仍然希望保证它显示在完全缩小的视图中。

Answer 1

当缩放处于每个像素有多个样本的位置时，不值得准确计算每个像素的平均样本值。用户无法在该缩放级别准确对齐 GUI 工具，因此没有任何好处。用户只需要定性视图。

我只会为窗口区域的每个屏幕像素选择一个样本，跳过不必要的样本。

类似这样的代码完全未经测试：

std::vector<double> samples(1024*1024); // [-1.0 < s < 1.0]

int window_x = 1024; // window size in pixels
int window_y = 768; // window size in pixels

// visit every window pixel
for(int x = 0; x < window_x; ++x)
{
    // select relevant sample for the current screen pixel x
    double s = samples[(x * samples.size()) / window_x];

    int y = (window_y / 2) * s; // get y size for sample value

    // draw sample point/line at coordinate (x, f(y))
    gd.draw_line(x, (window_y / 2) - y, x, (window_y / 2) + y);
}

显然您还需要考虑窗口滚动等...

Answer 2

也许您可以使用图形中的 mip-mapping 技术，使用更多内存换取更快的速度？

如果您有 32 个样本，请维护一个缩小的 x2、x4、x8 的缓存...存储此数据将再次占用与原始数据相同的空间（16 + 8 + 4 + 2 + 1 个样本）。

视觉指南，. 表示存储的数据点（最小/最大样本值），_ 表示之前的. 覆盖的样本：

1st level: ................
2nd level: ._._._._._._._._
3rd level: .___.___.___.___
4th level: ._______._______
5th level: ._______________

然后只需查询相应级别的 mip-map 即可获得缩放级别。

是的，当您插入/删除样本时，您必须重新创建 mip-map 缓存（或其中的一部分）。

但也许内存使用量使这不适合您？

---

编辑

如果添加和删除是一种频繁的操作，并且不希望重新计算缓存（并且您希望在间隔内而不是在单个点上进行准确的下采样），那么您可以更改 mip-mapping 方法以存储对齐的数据到本地最小/最大样本点，而不是基于时间的网格。

使用--------|-------- 表示区间内的局部最小值/最大值，这是一个图形表示：

                             --------|--------
   --------|--------
                   --------|--------
                                     --------|--
------|--------
                                     .
           .                        . .
.     .   . .   .          .       .   .     .
 . ... . .   . . .   . .. . .     .     .   . .
  .     .     .   . . .  .   .   .       . .   .
                   .          . .         .
                               .
--------|--------
           --------|--------
                                  --------|-----
                       --------|--------

然后添加和删除只需要在添加/删除部分的开始和结束处重新计算直接局部区域。

您可能希望索引本地最小值/最大值，因此您无需进行大量搜索。实施更复杂的方案 - 对您来说可能不值得？

Answer 3

在阅读了 Peter Stock 的回答后，我想出了以下方案。我认为它允许显示计算比简单方案快约 500 倍，并且不应该为插入或删除增加任何明显的成本。内存开销小于 1%。

声音数据将分配在 131072 个样本的块中，因此插入和删除不需要重新分配和复制整个声音。首次加载声音时，每个块都将被完全填充（可能最后一个除外）。插入和删除会导致一种碎片化。为简单起见，我将安排每个块的开头始终包含有效的样本数据，并且任何间隙都将位于块的末尾。

每个块都有两个与之关联的查找表，一个用于最大值，一个用于最小值。查找表中的每一项对应 1024 个样本。

下图显示了如何计算显示器的一个像素宽度的最大值。它显示了一些与计算相关的块。它假设没有“碎片化”。

插入后，情况稍微复杂一些。两个块的末端现在有无效区域。最大查找表中的条目现在对应于样本的部分空白区域。这些条目的值仅通过获取存在的样本的最大值来找到。