如何在 ARKit 中获得“光照不变”的“capturedImage”？

Question

我想拼接由 ARKit (ARFrame.capturedImage) 提供的多个背景图像。 （我知道有更好的方法来完成这项任务，但我正在使用我的自定义算法。）

问题是直播没有锁定曝光，因此场景中物体的颜色取决于我如何定位我的 iPhone。例如，这会导致墙壁在每一帧中具有非常不同的颜色（从白色到灰色到棕色），这会在将图像拼接在一起时产生可见的条纹。

我注意到 ARKit 为每个 ARFrame 提供了 lightEstimate 以及 ambientIntensity 和 ambientColorTemperature 属性。还有ARFrame.camera.exposureOffset 属性。

这些属性能否用于“标准化”捕获的图像，以使场景中对象的颜色在整个时间保持大致相同，并且不会出现严重的条纹？

附：我确实需要使用 ARKit，否则我会根据 AVFoundation API 使用我自己的设置（例如锁定曝光）来设置我自己的会话。

Answer 1

由于所有提到的属性都不可设置，因此您不能直接使用它们来修复全景 360 中每个拼接图像的强度。

但您可以计算每帧的强度和曝光度差异，然后将该乘数用于CoreImage 滤镜。比如曝光差异就这么简单：

Frame_02_Exposure / Frame_01_Exposure = 0.37

然后将结果用作CIExposureAdjust 过滤器的输入乘数。