Swift：播放本地视频并实时应用 CIFilter

Question

我正在尝试播放本地视频并实时应用CIFilter，没有延迟。我怎样才能做到这一点？我已经知道如何将CIFilter 应用到AVPlayer 中的视频，但它的性能并没有我想要的那么快。

这是我当前的代码：

@objc func exposure(slider: UISlider, event: UIEvent) {
    if let touchEvent = event.allTouches?.first {
        switch touchEvent.phase {
        case .moved:
            player.currentItem?.videoComposition = AVVideoComposition(asset: player.currentItem!.asset, applyingCIFiltersWithHandler: { request in
             
                let exposureFilter = CIFilter.exposureAdjust()
                exposureFilter.inputImage = request.sourceImage.clampedToExtent()
                exposureFilter.ev = slider.value
             
                let output = self.exposureFilter.outputImage!.cropped(to: request.sourceImage.extent)

                // Provide the filter output to the composition
                request.finish(with: output, context: nil)
         })
        default:
            break
        }
    }
}

Answer 1

问题是您重新创建视频合成并将其重新分配给播放器项目每次滑块值更改。这是非常昂贵且不必要的。您可以改为执行以下操作：

• 在组合块外部的某处创建过滤器并保留对它的引用，例如在属性中。
• 另外，只创建一次合成并让它应用 referenced 过滤器（而不是每帧都创建一个新的）。
• 当滑块值发生变化时，只需设置过滤器对应的参数值即可。下次合成将渲染一帧时，它将自动使用新参数值，因为它使用对刚刚更改的滤镜的引用。

类似这样的：

let exposureFilter = CIFilter.exposureAdjust()

init() {
    // set initial composition
    self.updateComposition()
}

func updateComposition() {
    player.currentItem?.videoComposition = AVVideoComposition(asset: player.currentItem!.asset, applyingCIFiltersWithHandler: { request in
        self.exposureFilter.inputImage = request.sourceImage.clampedToExtent()
        let output = self.exposureFilter.outputImage!.cropped(to: request.sourceImage.extent)
        request.finish(with: output, context: nil)
    })
}

@objc func exposureChanged(slider: UISlider) {
    self.exposureFilter.ev = slider.value
    // we need to re-set the composition if the player is paused to cause an update (see remark below)
    if player.rate == 0.0 {
        self.updateComposition()
    }
}

（顺便说一句，当滑块值发生变化时，您只需执行slider.addTarget(self, action:#selector(exposureChanged(slider:)), for: .valueChanged) 即可获得通知。无需评估事件。）

最后一点：当您想要重新分配合成时，实际上有一个用例，即播放器当前处于暂停状态，但您仍希望显示当前帧的预览并更改过滤器值。具体操作方法请参考this technical note from Apple。