R 中的高性能 2D OpenGL 图形，用于使用 qtpaint (qt) 或 rdyncall (SDL/OpenGL) 包快速显示光栅图像？

Question

对于我在 R & Rcpp+OpenMP & Shiny 中制作的实时交互式 Mandelbrot 查看器，我正在寻找一种将 1920x1080 矩阵显示为光栅图像的高性能方式，希望能够实现 ca. 5-10 fps（calculating the Mandelbrot images themselves now achieves ca. 20-30 fps at moderate zooms，当然滚动应该很快）。将image() 与选项useRaster=TRUE、plot.raster 甚至grid.raster() 一起使用仍然不能完全解决问题，因此我正在寻找性能更高的选项，最好使用OpenGL 加速。

我注意到有qt 包装包qtutils 和qtpaint http://finzi.psych.upenn.edu/R/library/qtutils/html/sceneDevice.html 您可以在其中设置参数opengl=TRUE 和 http://finzi.psych.upenn.edu/R/library/qtpaint/html/qplotView.html 再次使用参数opengl=TRUE 和http://finzi.psych.upenn.edu/R/library/qtpaint/html/painting.html。

而且我还注意到应该能够使用 rdyncall 包（从 https://cran.r-project.org/src/contrib/Archive/rdyncall/ 安装和从 https://www.libsdl.org/download-1.2.php 安装 SDL）调用 SDL 和 GL/OpenGL 函数，可在 http://hg.dyncall.org/pub/dyncall/bindings/file/87fd9f34eaa0/R/rdyncall/demo/00Index 获得演示，例如http://hg.dyncall.org/pub/dyncall/bindings/file/87fd9f34eaa0/R/rdyncall/demo/randomfield.R)。

我是否正确使用这些软件包应该能够使用opengl 加速显示二维图像光栅？如果是这样，有没有人有任何想法如何做到这一点（我问是因为我不是qt 或SDL/OpenGL 的专家）？

非 OpenGL 选项的一些计时对我的应用程序来说太慢了：

# some example data & desired colour mapping of [0-1] ranged data matrix
library(RColorBrewer)
ncol=1080
cols=colorRampPalette(RColorBrewer::brewer.pal(11, "RdYlBu"))(ncol)
colfun=colorRamp(RColorBrewer::brewer.pal(11, "RdYlBu"))
col = rgb(colfun(seq(0,1, length.out = ncol)), max = 255)
mat=matrix(seq(1:1080)/1080,nrow=1920,ncol=1080,byrow=TRUE)
mat2rast = function(mat, col) {
  idx = findInterval(mat, seq(0, 1, length.out = length(col)))
  colors = col[idx]
  rastmat = t(matrix(colors, ncol = ncol(mat), nrow = nrow(mat), byrow = TRUE))
  class(rastmat) = "raster"
  return(rastmat)
}
system.time(mat2rast(mat, col)) # 0.24s

# plot.raster method - one of the best?
par(mar=c(0, 0, 0, 0))
system.time(plot(mat2rast(mat, col), asp=NA)) # 0.26s

# grid graphics - tie with plot.raster?
library(grid)
system.time(grid.raster(mat2rast(mat, col),interpolate=FALSE)) # 0.28s

# base R image()
par(mar=c(0, 0, 0, 0))
system.time(image(mat,axes=FALSE,useRaster=TRUE,col=cols)) # 0.74s # note Y is flipped to compared to 2 options above - but not so important as I can fill matrix the way I want

# magick - browser viewer, so no good....
# library(magick)
# image_read(mat2rast(mat, col))

# imager - doesn't plot in base R graphics device, so this one won't work together with Shiny
# If you wouldn't have to press ESC to return control to R this
# might have some potential though...
library(imager)
display(as.cimg(mat2rast(mat, col)))

# ggplot2 - just for the record...
df=expand.grid(y=1:1080,x=1:1920)
df$z=seq(1,1080)/1080
library(ggplot2)
system.time({q <- qplot(data=df,x=x,y=y,fill=z,geom="raster") + 
                scale_x_continuous(expand = c(0,0)) + 
                scale_y_continuous(expand = c(0,0)) +
                scale_fill_gradientn(colours = cols) + 
                theme_void() + theme(legend.position="none"); print(q)}) # 11s 

Answer 1

根据RGL package introduction，是：

R 的可视化设备系统，使用 OpenGL 作为渲染后端。 rgl 设备的核心是一个用 C++ 编写的实时 3D 引擎。它提供了一个交互式视点导航工具（鼠标+滚轮支持）和一个 R 编程接口。

由于 RGL 是一个实时 3D 引擎，我希望将 RGL 用于 2D 将给你一个快速的显示。

请注意，这是一个旧项目，所以我不确定它是否符合您的要求。

您可以查看this paper 并查看一些结果图像in this gallery