阅读笔记：XModal-ID: Through-Wall Person Identification from Candidate Video Footage Using WiFi

Introduction

  可以完成的任务：给定一个人的视频片段，然后可以通过计算这个视频中人可以产生的WIFI信号，与真实的WIFI信号作比较，由相似性判断是否为同一个人。
贡献：

1. 提出了新的模拟WIFI信号的基于人体行走录像片段的方法。更准确地说，提取了一个在视频中人体的3D网格模型，并且应用Born approximation来模拟视频中人体行走在WIFI区域内时的WIFI CSI幅度。
2. 提出了新的框架和用来获取人体基于WIFI CSI幅度信号的步态特征的特征集。更准确地说，综合使用了短时傅里叶变换和埃尔米特函数来生成一个频谱，并且提取关键特征。更进一步提出一种提取频谱关键部分的方法和运动的方向，这使得我们能够做识别并且无需追踪。
3. 评估。

PROBLEM FORMULATION AND SYSTEM OVERVIEW

1. 给定一个人的录像片段，构建一个3D网格模型。然后，我们随时间传播此网格模型，如果该人正走在一对WiFi收发器附近，则使用Born approximation来模拟相应的接收到的WiFi信号。然后使用短时傅里叶变换使用信号幅度来生成频谱。
2. 在人走动的地方，一个WIFI接收器计算从发射器传送的CSI信号幅度。然后使用短时傅里叶变换和埃尔米特函数生成相应的频谱图并且对其进行分割，以获得最有助于识别的部分，并进一步估计运动方向。
3. 然后从WIFI和视频数据中获得的频谱图中分别提取关键特征，并且计算他们之间的距离。训练集中的特征距离被输入进一个小的一层神经网络，在经过训练过后输出一个表示相似性的得分，由此判断是否是同一个人。

PROPOSED XMODAL-ID SYSTEM

  该部分用来说明系统的细节。

Video-to-WiFi Gait Modeling

  介绍如何用人体行走的录像片段生成模拟的WIFI信号，这里不假设真实的WIFI接发设备与录像片段拍摄场景一致。
  给定一个人的视频帧，首先使用the Human Mesh Recovery (HMR) algorithm来生成密集的3D网格，这包括了很多3D点来描述人体的外表面。给定一个人的视频片段，就可以构建每一帧的3D点集。这种集合的序列就可以捕捉到人体的步态。图2显示了少量视频帧和它对应的3D网格模型。

  用$M(t)=\{ x_m(t)\in R^3,m=1,...,M\}$M(t)={xm​(t)∈R3,m=1,...,M}表示人体在时间$t$t生成的3D网格点。在真实的WIFI环境下，WIFI的发射器位于$x_T\in R^3$xT​∈R3，接收器位于$x_R\in R^3$xR​∈R3。为了模拟人在WIFI区域行走的WIFI信号，使用Born approximation来建模WIFI反射的人体网格表面。更准确的说，在时间$t$t模拟的接收到的WIFI信号可以写成如下：$s_v(t)=\underbrace{g(x_T,x_R)}_{direct\,signal\,from\,Tx\,to\,Rx}+\sum_{m\in M'(t)}\underbrace{A_mG_mg(x_T,x_m)g(x_m,,x_R)}_{reflected\,signal\,from\,point\,x_m}$sv​(t)=directsignalfromTxtoRxg(xT​,xR​)​​+m∈M′(t)∑​reflectedsignalfrompointxm​Am​Gm​g(xT​,xm​)g(xm​,,xR​)​​这里$g(x,y)$g(x,y)是从点x到点y的在三维坐标系下的格林函数，并且这里||·||是欧几里得范数，$\lambda$λ是无线信号的波长，$M'(t)\subset M(t)$M′(t)⊂M(t)是所有Tx和Rx可见的人体网格点的子集，因为只有这些点能够将信号反射给Rx。我们在$M(t)$M(t)上应用the Hidden Point Removal (HPR) algorithm来确定$M'(t)$M′(t)。

  从点$x_m$xm​反射的信号强度由两个因素决定：$x_m$xm​所属的身体部位的表面积和方向。比如，人的躯干比其他部位有更高的反射率因为它有更大的表面积。这个因素由$A_m$Am​体现。人体的朝向确定入射信号将被反射的方向。一个完美的反射面将会在$x_m$xm​仅从方向反射入射波，这里$n_m$nm​是点$x_m$xm​在人体上的法线向量。然而人体最好被建模为类准反射镜，将信号以不同的振幅反射到很多方向，最强烈的是$r_m$rm​方向。从点$x_m$xm​到Rx的反射波的振幅将相反地与向量$x_R-x_m$xR​−xm​和$r_m$rm​夹角相关联。这种关联可以由Gaussian mask表示
我们模拟视频中的人在收发器的垂直平分线上走离链接的接收到的无线信号，如图3(b)所示。

WiFi-Based Gait Modeling

  如图4所示，一个人在WIFI覆盖的区域行走，一个WIFI发射器发送了一个无线信号，该信号从人体的不同部位发射，并由WIFI接收器接收。复基带接收信号$s_b(t)$sb​(t)可以写作如下：

这里$\alpha_se^{j\theta_s}$αs​ejθs​是复杂的接收信号，包括直接路径和静态路径的影响，$\alpha_m$αm​是从第m个身体部位反射的信号的振幅，$d_m$dm​是在时间$t=0$t=0时那条路径的长度，$v_m(t)$vm​(t)时第m个身体部位在时间$t$t的速度。
这里角度由图4显示。

Spectrogram Generation Based on Measured Wireless Signals

待翻。。