iOS ARKit 如何将 ARFrame .capturedImage 保存到文件中？答案

【问题标题】：iOS ARKit how to save ARFrame .capturedImage to file?iOS ARKit 如何将 ARFrame .capturedImage 保存到文件中？
【发布时间】：2021-05-17 21:19:11
【问题描述】：

我正在尝试将相机图像从 ARFrame 保存到文件中。图像以 CVPixelBuffer 的形式给出。我有以下代码，它产生的图像纵横比错误。我尝试了不同的方法，包括 CIFilter 来缩小图像，但仍然无法保存正确的图片。

相机分辨率为 1920w x 1440h。我想从提供的像素缓冲区创建一个 1x 比例的图像。我得到 4320 × 5763、4320 × 3786

如何将capturedImage (CVPixelBuffer) 从 ARFrame 保存到文件中？

func prepareImage(arFrame: ARFrame) {
    
    let orientation = UIInterfaceOrientation.portrait
    let viewportSize = CGSize(width: 428, height: 869)
    
    let transform = arFrame.displayTransform(for: orientation, viewportSize: viewportSize).inverted()
    let ciImage = CIImage(cvPixelBuffer: arFrame.capturedImage).transformed(by: transform)
    let uiImage = UIImage(ciImage: ciImage)
}

【问题讨论】：

只是为了确保，您是否尝试从 ARFrame 获取会话中所见内容的“屏幕截图”？
我不想要网格或任何锚点。只是后置摄像头像素为 UIImage。

标签： ios arkit swift5 cvpixelbuffer

【解决方案1】：

我在尝试从 ARFrame 中提取屏幕截图时遇到了几个问题：

ARFrame 中带下划线的CVPixelBuffer 向左旋转，这意味着您需要旋转图像。
框架本身比您在相机中看到的要宽得多。这样做是因为 AR 需要更大范围的图像才能看到超出您所看到的场景的图像。

例如：这是从原始 ARFrame 拍摄的图像

以下内容可以帮助您轻松处理这两个步骤： https://github.com/Rightpoint/ARKit-CoreML/blob/master/Library/UIImage%2BUtilities.swift

这些问题是这段代码使用了UIGraphicsBeginImageContextWithOptions，这是很重的util。

但如果性能不是您的主要问题（假设是 AR 体验），这些可能就足够了。

如果性能是一个问题，您可以进行数学计算以了解您需要进行的转换，然后简单地从原始图片中剪切所需的图像并旋转它。

希望对您有所帮助！

【讨论】：