使用 uC/DSP 进行图像稳定答案

【问题标题】：Image stabilization with uC/DSP使用 uC/DSP 进行图像稳定
【发布时间】：2012-10-23 13:07:25
【问题描述】：

我正处于一个项目的研究阶段，该项目涉及稳定将由 RF 发送的视频流中的图像。我希望使用 DSP 进行处理，或者如果可能的话，使用在相机附近（而不是接收端）包含 DSP（如 STM32F4x）的 uC。

您知道哪种算法最适合这种应用（显然实时约束是最重要的）吗？此外，任何关于什么是最好的提示：uC 或 DSP？又是哪一种？

谢谢

【问题讨论】：

标签： image-processing embedded video-streaming image-stabilization

【解决方案1】：

关于目标：

当 DSP 专注于重复和短算法时，它的效率会更高，这似乎是您的情况。
uC 将更加专注于多种通用功能，例如通信、小型计算、调试...

请记住，大多数 DSP 都非常接近 uC 环境：外围设备、多通信通道、操作系统就绪...

【讨论】：

【解决方案2】：

最好是非常主观的，但是，您需要确保有足够的内存来缓冲一帧或更多帧（取决于算法），当然一些 DSP 功能会很好。至于算法，请检查这些问题及其答案：

Image stabilization/alignment algorithm

Video Stabilization with OpenCV

【讨论】：

【解决方案3】：

如果您正在制作玩具，请使用微控制器。
如果您要构建体面的消费产品，请使用 DSP 应用处理器
如果您正在构建超级稳健的产品，请使用 DSP + FPGA 的组合比如汽车电子/控制

选择取决于应用程序。对于纯粹的 MAC 性能，我选择了 Analog Devices。对于 MAC 和其他花里胡哨，我会从 TI 的视频 DSP 产品组合中选择一些东西。试试他们——比如达芬奇TMS320DM系列。 AD Blackfin 曾经拥有令人印象深刻的 MAC 性能 + uC 功能。但其长期路线图尚不清楚。

您的问题的复杂性和细节决定了您的应用程序的 DSP/数学密集程度。

图像、视频（或视频中的图像）稳定可以通过单独的输入或借助额外的外部测量来隐式完成。它不仅仅是 DSP，而是统计、LSF 等简单运动估计和跟踪算法等的组合。DSP 只是必要的方法集合之一。
如果您正在构建漫游车/机器人或汽车摄像头，传感器融合（如 9 轴 Accel + Gyro + Mag）将有助于测量您的输入测量值（摄像头输入）有多“颠簸”。这些有助于在 DSP 滤波器上选择正确的系数。
在没有传感器帮助的情况下，还有隐含的“运动估计”。它被称为光流。用于光学鼠标或无人机稳定的相同技术。根据二维像素阵列上的扫描/漂移量和方向检测相机的快速或慢速运动。
DSP滤波器、向量处理算法有一个共同点，重复乘法和重复加法（累加）。这需要好的 MAC 单元，所以选择 DSP 处理器。
即使在 DSP 滤波器上动态计算正确的系数也是数学密集型的。所以使用 DSP 处理器具有递归的优点！

【讨论】：