虚幻引擎 4：将 ReadPixels() 适配到多线程框架

Question

我正在尝试访问像素数据并将图像从游戏中的相机保存到磁盘。最初，简单的方法是使用渲染目标，然后使用 RenderTarget->ReadPixels()，但由于 ReadPixels() 的本机实现包含对 FlushRenderingCommands() 的调用，它会阻塞游戏线程，直到图像被保存。作为一项计算密集型操作，这大大降低了我的 FPS。

为了解决这个问题，我正在尝试创建一个可以作为 CaptureComponent 访问相机的专用线程，然后遵循类似的方法。但是由于 FlushRenderingCommands() 块只能从游戏线程中调用，我不得不在没有调用的情况下重写 ReadPixels()（以某种非阻塞方式，受https://wiki.unrealengine.com/Render_Target_Lookup 的教程的启发）：但即便如此每当保存图像时，我都面临游戏内 FPS 不稳定的问题（我确认这不是因为实际保存到磁盘操作，而是因为像素数据访问）。我重写的 ReadPixels() 函数如下所示，我希望得到一些关于这里可能出现问题的建议。我不确定是否可以从非游戏线程调用 ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER，以及这是否是我的问题的一部分。

APIPCamera* cam = GameThread->CameraDirector->getCamera(0);
USceneCaptureComponent2D* capture = cam->getCaptureComponent(EPIPCameraType::PIP_CAMERA_TYPE_SCENE, true);
if (capture != nullptr) {
    if (capture->TextureTarget != nullptr) {
        FTextureRenderTargetResource* RenderResource = capture->TextureTarget->GetRenderTargetResource();
        if (RenderResource != nullptr) {
            width = capture->TextureTarget->GetSurfaceWidth();
            height = capture->TextureTarget->GetSurfaceHeight();
            // Read the render target surface data back.    
            struct FReadSurfaceContext
            {
                FRenderTarget* SrcRenderTarget;
                TArray<FColor>* OutData;
                FIntRect Rect;
                FReadSurfaceDataFlags Flags;
            };

            bmp.Reset();
            FReadSurfaceContext ReadSurfaceContext =
            {
                RenderResource,
                &bmp,
                FIntRect(0, 0, RenderResource->GetSizeXY().X, RenderResource->GetSizeXY().Y),
                FReadSurfaceDataFlags(RCM_UNorm, CubeFace_MAX)
            };
            ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER(
                ReadSurfaceCommand,
                FReadSurfaceContext, Context, ReadSurfaceContext,
                {
                    RHICmdList.ReadSurfaceData(
                    Context.SrcRenderTarget->GetRenderTargetTexture(),
                    Context.Rect,
                    *Context.OutData,
                    Context.Flags
                );
            });
        }
    }
}

编辑：我注意到的另一件事是，如果我在渲染目标设置中禁用 HDR（但这会导致图像质量低下），口吃就会消失：因此图像的大小可能是合理的由于我实现它的方式，仍然阻塞其中一个核心线程。

Answer 1

应该可以从任何线程调用ENQUEUE_UNIQUE_RENDER_COMMAND_ONEPARAMETER，因为有Task Graph 的底层调用。当您分析此宏生成的代码时，您可以看到它：

if(ShouldExecuteOnRenderThread()) 
{ 
    CheckNotBlockedOnRenderThread(); 
    TGraphTask<EURCMacro_##TypeName>::CreateTask().ConstructAndDispatchWhenReady(ParamValue1); 
} 

您应该谨慎从不同线程访问 UObject（如 USceneCaptureComponent2D），因为它们由垃圾收集器管理并由游戏线程拥有。

(...) 但即便如此，我仍然面临着游戏内 FPS 在保存图像时出现抖动的问题

您是否使用stat unit 或stat unitgraph 命令检查了导致FPS 下降的线程？您还可以使用profiling tools 进行更详细的洞察，并确保没有其他导致延迟的原因。

编辑： 我又找到了一个method of accessing pixel data。在不实际复制for 循环中的数据的情况下尝试此操作并检查FPS 是否有任何改进。这可能会更快一些，因为中间没有像素操作/转换。