使用 glGetTexImage() 获取 OpenCV Mat

Question

我正在尝试使用来自 OpenGL 的 glGetTexImage() 的输出来制作 OpenCV Mat()。我试图从中获取信息的纹理是使用调用制作的；

glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA8UI, iWidth, iHeight, 0, GL_RGBA_INTEGER, GL_UNSIGNED_BYTE, pImageData);

所以我尝试使用;

    unsigned char* texture_bytes = (unsigned char*)malloc(sizeof(unsigned char)*texture_width*texture_height * 3);

    glGetTexImage(GL_TEXTURE_2D, 0, GL_BGR, GL_UNSIGNED_BYTE, texture_bytes);

    Matrix = Mat(texture_height, texture_width, CV_8UC3, texture_bytes);

我想知道的是，如果有人知道我应该将 glGetTexImage() 的格式和类型设置为什么以使其正常工作。另外，我应该将 Mat() 的类型设置为什么？

您可以假设上下文设置正确，并且输入的纹理是正确的。我已经通过使用 OpenGL 在屏幕上显示纹理来验证这一点。提前致谢！

Answer 1

glGetTexImage() 调用使用的 format 参数与纹理的内部格式不匹配：

glTexImage2D( GL_TEXTURE_2D, 0, GL_RGBA8UI, iWidth, iHeight, 0, GL_RGBA_INTEGER, GL_UNSIGNED_BYTE, pImageData);
...
glGetTexImage(GL_TEXTURE_2D, 0, GL_BGR, GL_UNSIGNED_BYTE, texture_bytes);

对于在这种情况下拥有的整数纹理，您需要对glGetTexImage() 使用适用于整数纹理的 format 参数。在您的示例中，这将是：

glGetTexImage(GL_TEXTURE_2D, 0, GL_BGR_INTEGER, GL_UNSIGNED_BYTE, texture_bytes);

如果您在获取所需的 OpenGL 行为时遇到任何问题，最好致电glGetError()。在这种情况下，您将收到 GL_INVALID_OPERATION 错误，基于规范中的此错误条件：

format 是表 8.3 中的整数格式之一，纹理图像的内部格式不是整数，或者 format 不是表 8.3 中的整数格式之一，内部格式是整数。

Answer 2

我最近遇到了从OpenGL获取数据到OpenCV的问题。不过我没有使用glGetTexImage。

我所做的是在帧缓冲区中进行屏幕外渲染，其纹理初始化如下：

GLuint texture;
if (glIsTexture(texture)) {
    glDeleteTextures(1, &texture);
}
glGenTextures(1, &texture);
glBindTexture(GL_TEXTURE_2D, texture);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glBindTexture(GL_TEXTURE_2D, 0);

glBindTexture(GL_TEXTURE_2D, texture);
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA32F, width, height, 0, GL_RGBA, GL_FLOAT, 0);
glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, texture, 0);
glBindTexture(GL_TEXTURE_2D, 0);

然后在我的draw call之后，我使用glReadPixels获取数据：

glPixelStorei(GL_PACK_ALIGNMENT, 1);
glReadBuffer(GL_COLOR_ATTACHMENT0);

cv::Mat texture = cv::Mat::zeros(height, width, CV_32FC3);
glReadPixels(0, 0, width, height, GL_BGR, GL_FLOAT, texture.data);

希望对你有帮助。