GD-GAN: Generative Adversarial Networks for Trajectory Prediction and Group Detection in Crowds

GD-GAN: Generative Adversarial Networks for Trajectory Prediction and Group Detection in Crowds

2019-09-24 10:16:03

Paper: https://arxiv.org/pdf/1812.07667.pdf 

Demo video: https://www.youtube.com/watch?v=7cCIC_JIfms 

 

本文提出一种基于产生式对抗网络的联合方法来进行轨迹预测和团伙检测。

 

 

1. Neighborhood Modelling: 

给定行人 k  的轨迹，从视频帧 1 到 Tobs，记为：

然后作者用 LSTM 对这些轨迹进行编码，得到其 feature embedding：

然后，作者用 attention 机制，对这些隐层状态进行加权处理，得到：

其中，权重是通过如下的方式进行计算得到的：

在这里的 a 是一个前向神经网络，是与其他模块联合训练的。此外，作者为了将紧邻的轨迹也建模进来，采用了 hardwired attention context vector，权重 w 的计算方法如下：

 

其中，dist (n, j) 是第 n 个近邻和 第 j 个时刻的距离。然后，我们可以通过聚合所有的近邻，得到：$C_t^{h, k}$：

 

 

最终，作者融合 soft attention 和 hardwired attention context vector 来表示当前近邻内容：

 

2. Trajectory Prediction：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

==