【问题标题】:React Native - Get frames from expo-cameraReact Native - 从 expo-camera 获取帧
【发布时间】:2020-06-09 10:37:12
【问题描述】:

我已经制作了一个应用程序,它可以检测人脸的坐标并使用 expo-camera 在人脸周围放置一个正方形。我真正需要做的是以 1 秒的间隔从相机流中裁剪所有面部,并将它们传递给带有 TensorFlow.js For React Native 的 TensorFlowjs 模型。我在expo-camera documentation 中看不到类似的东西,有什么技巧可以做到吗?

【问题讨论】:

    标签: react-native tensorflow.js react-native-camera


    【解决方案1】:

    我正在考虑做类似的事情,我认为这些可能会有所帮助。

    RNCamera 具有 onModelProcessed 属性的组件,可用于处理相机的流。 https://www.npmjs.com/package/react-native-tflite-camera

    这是我发现的一个可能有帮助的示例:

    https://medium.com/@namar/high-performance-image-classification-with-react-native-336db0a96cd

    cameraWithTensors 由 TF 人设计的组件具有“产生表示相机流的张量的能力”。获得张量后,您可以处理它们或将它们用作 tfjs 模型中的输入。

    这是一个使用 cameraWithTensors 的示例:

    https://www.linkedin.com/pulse/real-time-image-classification-tensorflow-daniel-wind/?utm_campaign=React%2BNative%2BNow&utm_medium=web&utm_source=React_Native_Now_69

    听起来您可能需要两个模型,一个检测人脸并返回要裁剪的坐标/像素。然后在裁剪后,您需要将裁剪后的图像放入另一个模型中。

    【讨论】:

      猜你喜欢
      • 2017-12-13
      • 1970-01-01
      • 2018-08-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-04-04
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多