如何使用网络摄像头进行图像分类？

Question

我使用 Tensorflow 训练了我的 CNN 模型，并使用它成功地测试了图像。现在我想将我的模型用作实时分类器，因此我需要逐帧为其提供捕获的视频。我该怎么做？

Answer 1

• 要使用网络摄像头，您可以使用 OpenCV：

  import cv2
  import numpy as np
  
  #capture via webcam 0
  cap = cv2.VideoCapture(0)
  
  while True:
      # true or false for ret if the capture is there or not
      ret, frame = cap.read()
  

• 你必须通过创建一个 .ckpt 文件来保存你训练过的模型，你可以很容易地做到这一点：

  saver = tf.train.Saver()
  
  # create your model 
  
  with tf.Session() as sess:
      # perform you training here 
  
      saver.save(sess, './my_trained_model')   # Save your Model
  

• 保存模型后，使用 OpenCV 检测来自凸轮的帧，在检测帧之前，您必须加载 my_trained_model

  import tensorflow as tf
  import cv2
  
  cap = cv2.VideoCapture(0)
  with tf.Session() as sess:
      saver.restore(sess, './my_trained_model')  # Restore your model 
      detection_graph = tf.get_default_graph()
      input_tensor = detection_graph.get_tensor_by_name('input_tensor:0') # Get the input tensor 
      output_tensor = detection_graph.get_tensor_by_name('output_tensor:0')  # Get the output tensor 
      while True:
          # true or false for ret if the capture is there or not
          ret, frame = cap.read()  # read fram from the webcam
          feed = {input_tensor: frame}
          prediction = sess.run(tf.argmax(output_tensor, 1), feed_dict=feed)  # make prediction
  

• 如果您想对来自网络摄像头的多个事物进行分类，那么您可能需要实现一个滑动窗口，并且对于每个滑动窗口，您都会得到一个预测，但这不是实时的

  李>
• 我建议将上述解决方案用于图像分类而不是用于对象检测
• 如果您应用 YOLO、SSD、R-CNN 等对象检测技术，它会为您进行实时分类
• 在对象检测中，您首先检测对象，然后对检测到的对象执行分类

========================更新==================== ==

• 您可以使用 TensorFlow 对象检测 API：https://github.com/tensorflow/models/tree/master/research/object_detection
• 这是一个实时对象检测 api
• 我自己测试了这个 api，结果非常棒
• 我建议您使用它，而不是使用您自己的图像分类模型
• 这里是 ipython notebook 的教程链接 ===> https://github.com/tensorflow/models/blob/master/research/object_detection/object_detection_tutorial.ipynb