【发布时间】：2021-10-14 01:22:26
【问题描述】：
我正在为 RGB 图像实现最近邻域大小调整算法（无符号字符类型）。考虑到在 Android ARMv8 平台上与 OpenCV 的速度比较，我发现 OpenCV 使用cv::parallel_for_ 进行多线程加速。
于是，我钻研OpenCV的cv::resize()对应的源码，将实际运行的代码复制粘贴，放入我的main.cpp。它包含一个仿函数resizeNNInvoker，以及在这个仿函数上执行多线程计算的cv::parallel_for_。
让我感到困惑的是cv::parallel_for_ 版本比使用my_parallel_for_ 运行得更快，其代码与OpenCV 保持一致。
为了更清楚：
- 在 Android armv8 平台上测试
- **用 OpenMP 多线程编译 OpenCV，转其他并行框架
- 转到OpenCV的
cv::parallel_for_，将其源代码更改为与my_parallel_for_相同（见下文） -
cv::setNumThreads(4)使用 4 个线程，绑定 4 个大 cpu 核心（使用 ncnn API） - 所有代码在 Release 模式下编译（通过 CMake）
- 测试输入图片：width=7680,height=4320，目标图片尺寸：7680/3, 4320/3。
时间成本如下：
| method | time cost |
|---|---|
| cv::parallel_for_ | 3.24 ms |
| my_parallel_for_ | 7.67 ms |
| inplace openmp | 7.75 ms |
// my own implementation of parallel_for_, copied from OpenCV source code
void my_parallel_for_(const cv::Range& range, const cv::ParallelLoopBody& body)
{
#pragma omp parallel for schedule(dynamic) num_threads(4)
for (int i = range.start; i < range.end; ++i)
body(cv::Range(i, i + 1));
}
// The functor that performs nearest neighbor resizing, copied from opencv source
class resizeNNInvoker : public cv::ParallelLoopBody
{
public:
resizeNNInvoker(const cv::Mat& _src, cv::Mat &_dst, int *_x_ofs, double _ify) :
ParallelLoopBody(), src(_src), dst(_dst), x_ofs(_x_ofs),
ify(_ify)
{
}
virtual void operator() (const cv::Range& range) const CV_OVERRIDE
{
//printf("--- resizeNNInvoker get called\n");
cv::Size ssize = src.size(), dsize = dst.size();
int y, x, pix_size = (int)src.elemSize();
for( y = range.start; y < range.end; y++ )
{
uchar* D = dst.data + dst.step*y;
int sy = std::min(cvFloor(y*ify), ssize.height-1);
const uchar* S = src.ptr(sy);
switch( pix_size )
{
case 1:
for( x = 0; x <= dsize.width - 2; x += 2 )
{
uchar t0 = S[x_ofs[x]];
uchar t1 = S[x_ofs[x+1]];
D[x] = t0;
D[x+1] = t1;
}
for( ; x < dsize.width; x++ )
D[x] = S[x_ofs[x]];
break;
case 2:
for( x = 0; x < dsize.width; x++ )
*(ushort*)(D + x*2) = *(ushort*)(S + x_ofs[x]);
break;
case 3:
for( x = 0; x < dsize.width; x++, D += 3 )
{
const uchar* _tS = S + x_ofs[x];
D[0] = _tS[0]; D[1] = _tS[1]; D[2] = _tS[2];
}
break;
case 4:
for( x = 0; x < dsize.width; x++ )
*(int*)(D + x*4) = *(int*)(S + x_ofs[x]);
break;
case 6:
for( x = 0; x < dsize.width; x++, D += 6 )
{
const ushort* _tS = (const ushort*)(S + x_ofs[x]);
ushort* _tD = (ushort*)D;
_tD[0] = _tS[0]; _tD[1] = _tS[1]; _tD[2] = _tS[2];
}
break;
case 8:
for( x = 0; x < dsize.width; x++, D += 8 )
{
const int* _tS = (const int*)(S + x_ofs[x]);
int* _tD = (int*)D;
_tD[0] = _tS[0]; _tD[1] = _tS[1];
}
break;
case 12:
for( x = 0; x < dsize.width; x++, D += 12 )
{
const int* _tS = (const int*)(S + x_ofs[x]);
int* _tD = (int*)D;
_tD[0] = _tS[0]; _tD[1] = _tS[1]; _tD[2] = _tS[2];
}
break;
default:
for( x = 0; x < dsize.width; x++, D += pix_size )
{
const uchar* _tS = S + x_ofs[x];
for (int k = 0; k < pix_size; k++)
D[k] = _tS[k];
}
}
}
}
private:
const cv::Mat& src;
cv::Mat& dst;
int* x_ofs;
double ify;
resizeNNInvoker(const resizeNNInvoker&);
resizeNNInvoker& operator=(const resizeNNInvoker&);
};
// The entry function that calls nearest neighbor resizing with openmp multi-thread
void resize_nearest(const uchar* src_buf, int src_height, int src_width, int src_linebytes, uchar* dst_buf, int dst_height, int dst_width, int dst_linebytes, const Option& opt)
{
cv::Size src_size;
src_size.height = src_height;
src_size.width = src_width;
cv::Mat src(src_size, CV_8UC3, const_cast<uchar*>(src_buf));
cv::Size dst_size;
dst_size.height = dst_height;
dst_size.width = dst_width;
cv::Mat dst(dst_size, CV_8UC3, dst_buf);
cv::Size ssize = src.size(), dsize = dst.size();
double inv_scale_x = (double)dsize.width/ssize.width;
double inv_scale_y = (double)dsize.height/ssize.height;
double fx = inv_scale_x;
double fy = inv_scale_y;
cv::AutoBuffer<int> _x_ofs(dsize.width);
int* x_ofs = _x_ofs.data();
int pix_size = (int)src.elemSize();
double ifx = 1./fx, ify = 1./fy;
int x;
for( x = 0; x < dsize.width; x++ )
{
int sx = cvFloor(x*ifx);
x_ofs[x] = std::min(sx, ssize.width-1)*pix_size;
}
cv::Range range(0, dsize.height);
// !! define the instance of resizeNNInvoker functor.
resizeNNInvoker invoker(src, dst, x_ofs, ify);
#if 0
cv::parallel_for_(range, invoker); //!! use opencv's, cost 3.24 ms
#elif 0
my_parallel_for_(range, invoker); //!! use own implementation, cost 7.67 ms
#else
set_omp_dynamic(1); //!! use inplace-implementation, cost 7.75 ms
cv::Range stripeRange = range;
#pragma omp parallel for schedule(dynamic) num_threads(4)
for (int i = stripeRange.start; i < stripeRange.end; ++i)
invoker(cv::Range(i, i + 1));
#endif
}
【问题讨论】：
-
许多可能的原因。也许它没有使用 OpenMP。也许是，但它使用不同的参数。也许是别的东西。不可能说。需要调查。
-
docs.opencv.org/4.5.2/d7/dff/… 这里有一些信息。 TBB 可以在 ARM 上使用吗？
-
@Micka 我不熟悉 TBB。我认为我不需要弄清楚 TBB 是否可以在 ARM 上使用，因为 OpenMP 与 Android NDK C/C++ 编译器捆绑在一起，因此 OpenMP 可以在 X86 GCC/MSVC/Clang 和 Android NDK clang 上使用。
-
@ChrisZZ 的问题是 opencvs parallel_for 是否可以使用 TBB（以及链接中提到的其他技术）来达到您观察中实现的差异
-
@Micka 实际上的原因正如我刚才回答的那样，由于 OpenMP 错误的配置。我的可执行目标的预期行为，通常应该是以下之一：编译错误，或者编译并链接好并运行好。但是之前的配置错误，编译链接OK（没有错误，不是很正确），但是运行结果是没有openmp。
标签： c++ multithreading opencv compilation openmp