RTT(CVPR16)
Recurrently Target-Attending Tracking
这篇文章的出发点比较有意思，即利用多方向递归神经网络(multi-directional recurrent neural network)来建模和挖掘对整体跟踪有用的可靠目标部分(reliable part)，实际上是二维平面上的RNN建模，最终解决预测误差累积和传播导致的跟踪漂移问题。其本身也是对part-based跟踪方法和相关滤波(correlation filter)方法的改进和探索。
RTT的整体框架如上图所示：
(1) 首先对每一帧的候选区域进行网状分块，对每个分块提取HOG特征，最终相连获得基于块的特征
(2) 得到分块特征以后，RTT利用前5帧训练多方向RNN来学习分块之间大范围的空间关联。
通过在4个方向上的前向推进，RNN计算出每个分块的置信度，最终每个块的预测值组成了整个候选区域的置信图（confidence map）。受益于RNN的recurrent结构，每个分块的输出值都受到其他关联分块的影响，相比于仅仅考虑当前块的准确度更高，避免单个方向上遮挡等的影响，增加可靠目标部分在整体置信图中的影响。
(3) 由RNN得出置信图之后，RTT执行了另外一条pipeline。即训练相关滤波器来获得最终的跟踪结果。值得注意的是，在训练过程中RNN的置信图对不同块的filter做了加权，达到抑制背景中的相似物体，增强可靠部分的效果。
(4) RTT提出了一个判断当前跟踪物体是否被遮挡的策略，用其判断是否更新。即计算目标区域的置信度和，并与历史置信度和的移动平均数(moving average)做一个对比，低于一定比例，则认为受到遮挡，停止模型更新，防止引入噪声。
小结：RTT是第一个利用RNN来建模part-based跟踪任务中复杂的大范围关联关系的跟踪算法。在CVPR2013提出的OTB50数据集上OPE准确度绘图为0.827,OPE成功率绘图达到了0.588。相比于其他基于传统特征的相关滤波器算法有较大的提升，说明RNN对关联关系的挖掘和对滤波器的约束确实有效。RTT受制于参数数目的影响，只选用了参数较少的普通RNN结构（采用HOG特征其实也是降低参数的另外一种折中策略）。结合之前介绍的解决训练数据缺失的措施，RTT可以运用更好的特征和RNN结构，效果还有提升空间。
DeepTracking: Seeing Beyond Seeing Using Recurrent Neural Networks(AAAI16)
这篇文章的应用场景是赢咖4视觉，目标是将传感器获得的有遮挡的环境信息还原为真实的无遮挡的环境信息。严格来说这篇文章仅输出还原后的图片，没有明确预测目标的位置和尺寸等状态信息，和之前介绍的所有文章的做法都不一样，不妨称为一种新的跟踪任务。
在模型方面，不同于RTT用RNN建模二维平面关联，DeepTracking利用RNN来做序列关联的建模，并最终实现了端到端的跟踪算法。
传统的贝叶斯跟踪方法一般采用高斯分布(卡尔曼滤波Kalman filter)或者离散的采样点权重（粒子滤波particle filter）来近似需要求解的后验概率 P(yt|x1:t) (yt 为需要预测的赢咖4周围的真实场景, xt 为传感器直接获得的场景信息)，其表达能力有限。DeepTracking拓展了传统的贝叶斯跟踪框架，并利用RNN强大的表征能力来建模后验概率。
具体而言DeepTracking引入了一个具有马尔可夫性质的隐变量 ht ，认为其反映了真实环境的全部信息。最终需要预测的 yt 包含了 ht，包含了 ht 的部分信息，可由 ht 得到。假设 Bt 为关于 ht 的信念(belief),对应于后验概率：Bel(ht) = P(yt|ht) 。之后经典贝叶斯跟踪框架中由 P(yt-1|x1:t-1) 到 P(yt|x1:t) 到的时序更新在这里转化为：Bt = F(Bt-1,xt）和 P(ty|x1:t) = P(yt|Bt)。
给出形式表达之后的关键是，如何将其对应到RNN的框架中去。DeepTracking的核心思路是用利用两个权重 WF 和 WP 来分别建模 F(Bt-1, xt)和P(yt|Bt )，将Bt 定义为RNN时序之间传递的memory 信息。此时，如上图所示RNN的各个状态和推进流程就和跟踪任务完美的对接上了。
实验部分，DeepTracking采用模拟的2维传感器数据和如上图所示的3层RNN的网络结构，Bt 对应于第三层的网络输出。通过无监督的预测 xt+n 的任务来使网络获得预测 yt 的潜在能力。
小结：
DeepTracking作为用RNN建模跟踪时序任务的作品，其亮点主要在对RNN和贝叶斯框架融合的理论建模上。实验展示了该方法在模拟场景下的不错效果，但是模拟数据和真实场景差距很大，能否在实际应用中有比较好的表现还有待商榷。
总结
本文介绍了深度学习在目标跟踪领域应用的几种不同思路。三种解决训练数据缺失的思路各有千秋，作者认为使用序列预训练的方法更贴合跟踪任务的本质因此值得关注（近期也有应用Siamese Network和视频数据训练的跟踪算法涌现，具体参见王乃岩博士在VLASE公众号上的介绍文章《Object Tracking新思路》）。总的来说，基于RNN的目标跟踪算法还有很大提升空间。此外，目前已有的深度学习目标跟踪方法还很难满足实时性的要求，如何设计网络和跟踪流程达到速度和效果的提升，还有很大的研究空间。
