如何以毫米为单位显示 Kinect 深度数据

Question

我正在创建一个程序，它可以从 Kinect 截取两张截图（一张 IR 图像和一张深度图像），将其直接加载到两个图片框中，然后通过单击测量 IR 截图中点的位置鼠标。

在 IR 屏幕截图中获取 x- 和 y- 位置没有问题，我需要的也是以 mm 为单位的深度 - 考虑到 IR 和深度图像是从同一个相机拍摄的，所以当我点击鼠标它应该将 x- 和 y- 坐标链接到深度图像以获取以 mm 为单位的深度值。

我的想法是在 SensorDepthFrameReady 方法中访问变量 short depth = depthPixels[i].Depth;。但为什么它不起作用？为什么深度图像显示为灰度而不是 RGB（与 Kinect Studio 不同）？

private void SensorDepthFrameReady(object sender, DepthImageFrameReadyEventArgs e)
{
 using (DepthImageFrame depthFrame = e.OpenDepthImageFrame())
 {
  if (depthFrame != null)
  {
  depthFrame.CopyDepthImagePixelDataTo(this.depthPixels);
  int colorPixelDDIndex = 0;
  for (int i = 0; i < this.depthPixels.Length; ++i)
  {
   short depth = depthPixels[i].Depth;
   ...
  }
  this.colorBitmapDD.WritePixels(new Int32Rect(0, 0, this.colorBitmapDD.PixelWidth, this.colorBitmapDD.PixelHeight),this.colorPixelsDD,this.colorBitmapDD.PixelWidth * sizeof(int),0);
  }
 }
}

private void imageIR_MouseClick(object sender, System.Windows.Input.MouseEventArgs e)
{
 System.Windows.Point mousePoint = e.GetPosition(imageIR);
 double xpos_IR = mousePoint.X;
 double ypos_IR = mousePoint.Y;
 lbCoord.Content = "x- & y- Koordinate [pixel]: " + xpos_IR + " ; " + ypos_IR;
 zpos.Content = "z- Koordinate [mm]: " + depth;
}

有解决问题的办法吗？提前致谢。

主程序截图：

http://i.stack.imgur.com/bljQ9.jpg

Answer 1

一种选择是将每个深度值及其 x 和 y 值保存在全局变量中。也许是Dictionary<Point,short>。而不是在你的鼠标点击处理程序中阅读它：zpos.Content = "z- Koordinate [mm]: " + _depthDic[new Point(xpos_IR,ypos_IR)];

你通过private Dictionary<Point,short> _depthDic = new Dictionary<Point,short>();声明你的全局变量

并将其设置在您的 SensorDepthFrameReady 处理程序中：

for (int i = 0; i < this.depthPixels.Length; ++i)
{
   Point coords = new Point(depthPixels[i].X, depthPixels[i].Y);
   _depthDic[coords] = depthPixels[i].Depth;
 ...
}

编辑：另一种方法。创建一个包含当前DepthImageFrame 的全局字段。将此DepthImageFrame 保存在您的 SensorDepthFrameReady 方法中：

private DepthImageFrame _depthImageFrame;
private bool _imageUsing;
private void SensorDepthFrameReady(object sender, DepthImageFrameReadyEventArgs e)
{
 using (DepthImageFrame depthFrame = e.OpenDepthImageFrame())
 {
  if (depthFrame != null)
  {
      if (!_imageUsing)
          _depthImageFrame = depthFrame;

      //your code
  }
 }
}

然后创建一个将深度值返回到特定 x 和 y 值的方法：

private int GetDepthValue(DepthImageFrame imageFrame, int x, int y)
{
   _imageUsing = true;
   short[] pixelData = new short[imageFrame.PixelDataLength];
   imageFrame.CopyPixelDataTo(pixelData);
   var result = ((ushort)pixelData[x + y * imageFrame.Width])>>3 ;
   _imageUsing = false;
   return result;
}

最后显示鼠标点击的值：

private void imageIR_MouseClick(object sender, System.Windows.Input.MouseEventArgs e)
{
 System.Windows.Point mousePoint = e.GetPosition(imageIR);
 double xpos_IR = mousePoint.X;
 double ypos_IR = mousePoint.Y;
 lbCoord.Content = "x- & y- Koordinate [pixel]: " + xpos_IR + " ; " + ypos_IR;
 if (_depthImageFrame != null)
     zpos.Content = "z- Koordinate [mm]: " + GetDepthValue(_depthImageFrame, Convert.toInt16(mousePoint.X),Convert.toInt16(mousePoint.Y));
}

也许这可以帮助你：http://www.i-programmer.info/ebooks/practical-windows-kinect-in-c/3802-using-the-kinect-depth-sensor.html