Zdenek Kalal 基于其开发的TLD技术，建立了TLD Vision公司。网站 http://www.tldvision.com。
TLD Vision是一家研究性公司，致力于在视频中进行运动目标的跟踪。这个跟踪目标的能力是基于对视频数据的理解。潜在的应用场景是用户相机目标的稳定性， 到无人机的目标跟踪。
------------------------------------------------------------------------------------------------
原文：http://blog.csdn.net/mysniper11/article/details/8726649
视频介绍网址：http://www.cvchina.info/2011/04/05/tracking-learning-detection/
TLD(Tracking-Learning-Detection)是英国萨里大学的一个捷克籍博士生Zdenek Kalal在其攻读博士学位期间提出的一种新的单目标长时间（long term tracking）跟踪算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时，通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。
对于长时间跟踪而言，一个关键的问题是：当目标重新出现在相机视野中时，系统应该能重新检测到它，并开始重新跟踪。但是，长时间跟踪过程中，被跟踪目标将不可避免的发生形状变化、光照条件变化、尺度变化、遮挡等情况。传统的跟踪算法，前端需要跟检测模块相互配合，当检测到被跟踪目标之后，就开始进入跟踪模块，而此后，检测模块就不会介入到跟踪过程中。但这种方法有一个致命的缺陷：即，当被跟踪目标存在形状变化或遮挡时，跟踪就很容易失败；因此，对于长时间跟踪，或者被跟踪目标存在形状变化情况下的跟踪，很多人采用检测的方法来代替跟踪。该方法虽然在某些情况下可以改进跟踪效果，但它需要一个离线的学习过程。即：在检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练。这也就意味着，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法来达到长时间跟踪的目的，对于训练样本的选择至关重要，否则，跟踪的鲁棒性就难以保证。
推荐大家多多访问国外作者的主页：http://info.ee.surrey.ac.uk/Personal/Z.Kalal/
在作者网站上有相关源代码的下载以及他的一些有用的论文的下载：
原作者的源代码为Matlab以及C混合编程的，已经有人将C++版本的源代码分享：http://gnebehay.github.com/OpenTLD/
Github上的源代码也可以使用：https://github.com/arthurv/OpenTLD
CSDN上比较有用的博客有：
（1）《庖丁解牛TLD》系列：
http://blog.csdn.net/yang_xian521/article/details/7091587
（2）《再谈PN学习》：
http://blog.csdn.net/carson2005/article/details/7647519
（3）《比微软kinect更强的视频跟踪算法--TLD跟踪算法介绍》
http://blog.csdn.net/carson2005/article/details/7647500
（4）《TLD视觉跟踪技术解析》
http://www.asmag.com.cn/number/n-50168.shtml
（5）《TLD（Tracking-Learning-Detection）学习与源码理解之（一）》
http://blog.csdn.net/zouxy09/article/details/7893011
希望这些资料对希望学习TLD算法的人有帮助。
来自：http://blog.csdn.net/windtalkersm/article/details/8018980
TLD是一种算法的简称，原作者把它叫做Tracking-Learning-Detection。搞视觉的人看到这个名字都会吓一跳，很ambitious的计划。是09年的工作，不算太久，不过也不太新。网上关于这个的资源其实很多，很大程度和作者开放源代码有关。
学习过程中碰到的第一个问题就是资源太多---当然是相对这个领域而言，一般能找到一个忠实再现算法的源码就已经很好了。所以把找到的list一下，虽然有点浪费时间，希望可以对其他人有所帮助。具体的细节就不多说了，有很多很棒的分析也列在下面，比如zouxy09写的源码注释，实在不能再详细了。如果硬要找茬，那就是大段的文字让人头晕，也没怎么排版。我倒想画几个简单的图补充一下，不知有什么好点的画图程序推荐(latex， or GNUPlot?没用过)
源代码资源：
1. 原作者 Zdenek Kalal
作者主页： http://info.ee.surrey.ac.uk/Personal/Z.Kalal/
源代码页: https://github.com/zk00006/OpenTLD
编程语言：Matlab + C
2. Alan Torres版
源代码页：https://github.com/alantrrs/OpenTLD
实现语言：C++
3. arthurv版
源代码页：https://github.com/arthurv/OpenTLD
实现语言：C++
注：和上面的没有发现任何区别
4. jmfs版
源代码页：https://github.com/jmfs/OpenTLD
实现语言：C++
注：和上面两个没有区别，只不过加入了VS2010工程文件，理论上可以直接在Windows下编译通过。不过opencv检测不到作者的webcam（！！！），所以他用了另一个VideoInput类来handle摄像头输入。
This is an adaptation of arthurv's fork of OpenTLD (https://github.com/arthurv/OpenTLD)
to be immeadiately runnable in Visual Studio 2010.
5. Georg Nebehay版 （终于有个不一样的了。。。。）
源代码页：http://gnebehay.github.com/OpenTLD/
注1：这个的好处是提供可执行文件下载（Ubuntu 10.04和Windows）。BUT, as you would expect，基本上到了你的机器上都跑不了。还是自己老老实实build吧。
注2：这个版本需要安装Qt。不过好像作者关掉了Qt的选项（相关代码还在），所以可以编译，但无法显示结果
注3：CSDN下载上有个“openTLD Qt 版“，就是这个版本。不过加了VS的工程文件---在我的机器上还是不能PnP， don't bother
http://download.csdn.net/download/muzi198783/4111915
6. Paul Nader版（又一个Qt 版！）
QOpenTLD: http://qopentld.sourceforge.net/
源代码页： http://sourceforge.net/projects/qopentld/
注1：需要OpenCV和Qt。 原系统要求Qt 4.3.7OpenCV 2.2。
注2：Windows和Linux下都提供了编译工程或makefile。估计也是唯一一个移植到Android平台下的TLD!
7. Ben Pryke版（又一个student project！）
源代码页：https://github.com/Ninjakannon/BPTLD
注：依然是Matlab+C/C++的混合实现。亮点是有很详细的Documentation（8页），介绍了算法的理解和实现细节。可以帮助理解原算法
想说的话：
1. 分享：前段时间把 TLD::init(...)看完了，本想一鼓作气，其他的事太多只好放下。不过我对detection和tracking比较熟，init中已经把learning作了一遍，看懂了剩下的就容易了。现在重新捡起，无意中发现了zouxy09的注释，省了太多力气，半天就看完了。很多细节不用自己去抠--- 我们常抱怨这资源那文档太少，羡慕老外能力强，动作快，和他们愿意分享关系太大。经常看到一些不错的文章收藏起来，过几天去看居然删了！
可以理解可能是开公司要保密，但如果害怕别人知道了自己的思路就做不下去，那还是不要在这个领域做了。算法只是思想，谁也垄断不了。算法也一定是不断更新的， 抱着一个算法不放也存活不了几年。原作者也基于这个技术开公司了，也没见他们基于这个限制别人使用。SIFT，SURF都patent了也没听说赚了大钱，kinect告诉你算法也实现不了。要保密的是实现细节
2. 比较： 终于看完了实现，总的感觉这个算法还是更象工程应用（engineering）而不是理论突破（也不能要求太多了是不是）。感觉这么结合后并不一定会比单个的跟踪（tracking）或检测（detection-by-classification）模块作的更好，毕竟还是没有解决外观(appearence)和尺度(scale)变化这两个根本难题。 不过这种框架反而应该在实际中非常实用，因为----------可调的参数太多了!
TLD相信很多人都试过了，实时性很多人都在抱怨，而且拿到自己的视频上总要调些参数效果才好。
比较起来更喜欢今年ECCV上Kaihua Zhang的Compressive Tracking：理论高深的吓人（开玩笑），源码简单的吓人。而且是目前为止我试过的off-the-shelf的tracker中跟踪效果最好的，不用调任何参数，绝对实时----代码那么少，想不实时都难吧（顺便说一句作者的blog就在上面提到过）。这才是做研究的方法，有个强大的理论做支撑，实现可以很简单却不会影响效果。所以如果搞数学的人愿意做应用，很多人都会下岗
http://www4.comp.polyu.edu.hk/~cslzhang/CT/CT.htm
另一个PWP（Pixel-Wise Posteriors），publish时间和TLD差不多，性能看上去也很美，不过作者说要开源，一直没有兑现。是个遗憾。个人觉得level set对部分遮挡效果应该很好，做到实时也不是难事
http://www.robots.ox.ac.uk/~cbibby/research_pwp.shtml
3. 总结：TLD其实是一个非常合适的入门和进阶算法：
a. 有理论，有高质量的paper（BMVC, CVPR, ICPR, 最后PAMI）
b. 有源代码！Matlab， C++， Windows, Linux, .....你还想要啥？
c. 有不同大牛小牛分享的详细的介绍和详细的代码注释（几乎每一行都解释到了）！
4. 牵涉面广，涉及到detection, tracking, classifcation，传统的视觉技术就是这么硬梆梆的划分的三大类。研究完了对每一部分多少能有点心得。
The End
TLD源码理解
TLD（Tracking-Learning-Detection）学习与源码理解之（一）
TLD（Tracking-Learning-Detection）学习与源码理解之（二）
TLD（Tracking-Learning-Detection）学习与源码理解之（三）
TLD（Tracking-Learning-Detection）学习与源码理解之（四）
TLD（Tracking-Learning-Detection）学习与源码理解之（五）
TLD（Tracking-Learning-Detection）学习与源码理解之（六）
TLD（Tracking-Learning-Detection）学习与源码理解之（七）
原文：https://www.cnblogs.com/lxy2017/p/3927456.html
---------------------------------------------------------------------------------------------
Tracking-Learning-Detection原理分析
Tracking-Learning-Detection（TLD）是Zdenek Kalal提出的一种对视频中单个物体长时间跟踪的算法。我主要会根据他在2010年发表的论文《Tracking-Learning-Detection》来分析TLD算法的原理。该项目的首页中有几段视频展示了TLD实时跟踪的效果和性能，其中的两个视频可以在这里下载：similar objects，human face。作者公布了源代码，不过需要Matlab和Visual Studio交叉编译，在我的机器上没能运行。GitHub上有很多C++版本的TLD，比如arthurv，注释比较详细，但速度很慢。
由于我使用的插件默认对所有图片加水印，所以本文中使用的大多数并不是我绘制的图片也加上了水印，还请谅解。
正如名字所示，TLD算法主要由三个模块构成：追踪器（tracker），检测器（detector）和机器学习（learning）。
对于视频追踪来说，常用的方法有两种，一是使用追踪器根据物体在上一帧的位置预测它在下一帧的位置，但这样会积累误差，而且一旦物体在图像中消失，追踪器就会永久失效，即使物体再出现也无法完成追踪；另一种方法是使用检测器，对每一帧单独处理检测物体的位置，但这又需要提前对检测器离线训练，只能用来追踪事先已知的物体。
TLD是对视频中未知物体的长时间跟踪的算法。“未知物体”指的是任意的物体，在开始追踪之前不知道哪个物体是目标。“长时间跟踪”又意味着需要算法实时计算，在追踪中途物体可能会消失再出现，而且随着光照、背景的变化和由于偶尔的部分遮挡，物体在像素上体现出来的“外观”可能会发生很大的变化。从这几点要求看来，单独使用追踪器或检测器都无法胜任这样的工作。所以作者提出把追踪器和检测器结合使用，同时加入机器学习来提高结果的准确度。
追踪器的作用是跟踪连续帧间的运动，当物体始终可见时跟踪器才会有效。追踪器根据物体在前一帧已知的位置估计在当前帧的位置，这样就会产生一条物体运动的轨迹，从这条轨迹可以为学习模块产生正样本（Tracking->Learning）。
检测器的作用是估计追踪器的误差，如果误差很大就改正追踪器的结果。检测器对每一帧图像都做全面的扫描，找到与目标物体相似的所有外观的位置，从检测产生的结果中产生正样本和负样本，交给学习模块（Detection->Learning）。算法从所有正样本中选出一个最可信的位置作为这一帧TLD的输出结果，然后用这个结果更新追踪器的起始位置（Detection->Tracking）。
学习模块根据追踪器和检测器产生的正负样本，迭代训练分类器，改善检测器的精度（Learning->Detection）。
追踪模块
TLD使用作者自己提出的Median-Flow追踪算法。
作者假设一个“好”的追踪算法应该具有正反向连续性（forward-backward consistency），即无论是按照时间上的正序追踪还是反序追踪，产生的轨迹应该是一样的。作者根据这个性质规定了任意一个追踪器的FB误差（forward-backward error）：从时间t的初始位置x(t)开始追踪产生时间t+p的位置x(t+p)，再从位置x(t+p)反向追踪产生时间t的预测位置x`(t)，初始位置和预测位置之间的欧氏距离就作为追踪器在t时间的FB误差。
Median-Flow追踪算法采用的是Lucas-Kanade追踪器，也就是常说的光流法追踪器。这个追踪器的原理就不在这里解释了。只需要知道给定若干追踪点，追踪器会根据像素的运动情况确定这些追踪点在下一帧的位置。
追踪点的选择
作者给出了一种依据FB误差绘制误差图（Error Map）筛选最佳追踪点的方法，但并不适用于实时追踪任务，就不详细介绍了。这里只介绍在TLD中确定追踪点的方法。
首先在上一帧t的物体包围框里均匀地产生一些点，然后用Lucas-Kanade追踪器正向追踪这些点到t+1帧，再反向追踪到t帧，计算FB误差，筛选出FB误差最小的一半点作为最佳追踪点。最后根据这些点的坐标变化和距离的变化计算t+1帧包围框的位置和大小（平移的尺度取中值，缩放的尺度取中值。取中值的光流法，估计这也是名称Median-Flow的由来吧）。
还可以用NCC（Normalized Cross Correlation，归一化互相关）和SSD（Sum-of-Squared Differences，差值平方和）作为筛选追踪点的衡量标准。作者的代码中是把FB误差和NCC结合起来的，所以筛选出的追踪点比原来一半还要少。
NCC：
SSD：
学习模块
TLD使用的机器学习方法是作者提出的P-N学习（P-N Learning）。P-N学习是一种半监督的机器学习算法，它针对检测器对样本分类时产生的两种错误提供了两种“专家”进行纠正：
P专家（P-expert）：检出漏检（false negative，正样本误分为负样本）的正样本；
N专家（N-expert）：改正误检（false positive，负样本误分为正样本）的正样本。
样本的产生
用不同尺寸的扫描窗（scanning grid）对图像进行逐行扫描，每在一个位置就形成一个包围框（bounding box），包围框所确定的图像区域称为一个图像元（patch），图像元进入机器学习的样本集就成为一个样本。扫描产生的样本是未标签样本，需要用分类器来分类，确定它的标签。
如果算法已经确定物体在t+1帧的位置（实际上是确定了相应包围框的位置），从检测器产生的包围框中筛选出10个与它距离最近的包围框（两个包围框的交的面积除以并的面积大于0.7），对每个包围框做微小的仿射变换（平移10%、缩放10%、旋转10°以内），产生20个图像元，这样就产生200个正样本。再选出若干距离较远的包围框（交的面积除以并的面积小于0.2），产生负样本。这样产生的样本是已标签的样本，把这些样本放入训练集，用于更新分类器的参数。下图中的a图展示的是扫描窗的例子。
作者认为，算法的结果应该具有“结构性”：每一帧图像内物体最多只出现在一个位置；相邻帧间物体的运动是连续的，连续帧的位置可以构成一条较平滑的轨迹。比如像上图c图那样每帧只有一个正的结果，而且连续帧的结果构成了一条平滑的轨迹，而不是像b图那样有很多结果而且无法形成轨迹。还应该注意在整个追踪过程中，轨迹可能是分段的，因为物体有可能中途消失，之后再度出现。
P专家的作用是寻找数据在时间上的结构性，它利用追踪器的结果预测物体在t+1帧的位置。如果这个位置（包围框）被检测器分类为负，P专家就把这个位置改为正。也就是说P专家要保证物体在连续帧上出现的位置可以构成连续的轨迹；
N专家的作用是寻找数据在空间上的结构性，它把检测器产生的和P专家产生的所有正样本进行比较，选择出一个最可信的位置，保证物体最多只出现在一个位置上，把这个位置作为TLD算法的追踪结果。同时这个位置也用来重新初始化追踪器。
比如在这个例子中，目标车辆是下面的深色车，每一帧中黑色框是检测器检测到的正样本，黄色框是追踪器产生的正样本，红星标记的是每一帧最后的追踪结果。在第t帧，检测器没有发现深色车，但P专家根据追踪器的结果认为深色车也是正样本，N专家经过比较，认为深色车的样本更可信，所以把浅色车输出为负样本。第t+1帧的过程与之类似。第t+2帧时，P专家产生了错误的结果，但经过N专家的比较，又把这个结果排除了，算法仍然可以追踪到正确的车辆。
检测模块
检测模块使用一个级联分类器，对从包围框获得的样本进行分类。级联分类器包含三个级别：
图像元方差分类器（Patch Variance Classifier）。计算图像元像素灰度值的方差，把方差小于原始图像元方差一半的样本标记为负。论文提到在这一步可以排除掉一半以上的样本。
集成分类器（Ensemble Classifier）。实际上是一个随机蕨分类器（Random Ferns Classifier），类似于随机森林（Random Forest），区别在于随机森林的树中每层节点判断准则不同，而随机蕨的“蕨”中每层只有一种判断准则。
如上图所示，把左面的树每层节点改成相同的判断条件，就变成了右面的蕨。所以蕨也不再是树状结构，而是线性结构。随机蕨分类器根据样本的特征值判断其分类。从图像元中任意选取两点A和B，比较这两点的亮度值，若A的亮度大于B，则特征值为1，否则为0。每选取一对新位置，就是一个新的特征值。蕨的每个节点就是对一对像素点进行比较。
比如取5对点，红色为A，蓝色为B，样本图像经过含有5个节点的蕨，每个节点的结果按顺序排列起来，得到长度为5的二进制序列01011，转化成十进制数字11。这个11就是该样本经过这个蕨得到的结果。
同一类的很多个样本经过同一个蕨，得到了该类结果的分布直方图。高度代表类的先验概率p(F|C)，F代表蕨的结果（如果蕨有s个节点，则共有1+2^s种结果）。
不同类的样本经过同一个蕨，得到不同的先验概率分布。
以上过程可以视为对分类器的训练。当有新的未标签样本加入时，假设它经过这个蕨的结果为00011（即3），然后从已知的分布中寻找后验概率最大的一个。由于样本集固定时，右下角公式的分母是相同的，所以只要找在F=3时高度最大的那一类，就是新样本的分类。
只用一个蕨进行分类会有较大的偶然性。另取5个新的特征值就可以构成新的蕨。用很多个蕨对同一样本分类，投票数最大的类就作为新样本的分类，这样在很大程度上提高了分类器的准确度。
最近邻分类器（Nearest Neighbor Classifier）。计算新样本的相对相似度，如大于0.6，则认为是正样本。相似度规定如下：
图像元pi和pj的相似度，公式里的N是规范化的相关系数，所以S的取值范围就在[0,1]之间，
正最近邻相似度，
负最近邻相似度，
相对相似度，取值范围在[0,1]之间，值越大代表相似度越高，
所以，检测器是追踪器的监督者，因为检测器要改正追踪器的错误；而追踪器是训练检测器时的监督者，因为要用追踪器的结果对检测器的分类结果进行监督。用另一段程序对训练过程进行监督，而不是由人来监督，这也是称P-N学习为“半监督”机器学习的原因。
TLD的工作流程如下图所示。首先，检测器由一系列包围框产生样本，经过级联分类器产生正样本，放入样本集；然后使用追踪器估计出物体的新位置，P专家根据这个位置又产生正样本，N专家从这些正样本里选出一个最可信的，同时把其他正样本标记为负；最后用正样本更新检测器的分类器参数，并确定下一帧物体包围框的位置。
参考文献：
1. Tracking-Learning-Detection, Zdenek Kalal, Krystian Mikolajczyk, and Jiri Matas, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010
2. Forward-Backward Error: Automatic Detection of Tracking Failures, Zdenek Kalal, Krystian Mikolajczyk, and Jiri Matas, International Conference on Pattern Recognition, 2010
3. Tracking-Learning-Detection Documentation