项目名称： 基于空间不变特征快速匹配的移动智能视频监控系统设计
申请经费：9700元
一、课题组成员：（包括项目负责人、按顺序）
姓名 郑正 杨航 赵一阳 蒋大成 靳万鑫
性别 男 男 男 男 男
所在院 航天学院 航天学院 航天学院 航天学院 航天学院
年级 大二 大二 大二 大二 大二
学号 1100400301 1100400326 1100400227 1100400327 1100400322
身份证号 350102199207243616 51382619920827001X 230102199201294618 510107199111021770 142234199202126030
本人签字
二、指导教师意见：
该项目主要针对智能视频监控系统的自动运动目标检测跟踪问题进行研究，涉及的内容包括视频处理算法设计和实际硬件系统实现，可用于校园、机场、企事业单位和其他公共场所异常事件和重大事故的自动预判和实时报警，具有较大的实际应用价值。课题组相关研究人员，在本项目所涉及的视频处理算法和硬件系统设计方面已经有了较好的前期研究和技术储备，在图像处理算法、目标跟踪算法、基于ARM、MCS-51芯片的伺服控制系统设计方面，已经参加了包括大学生科技创新、单片机设计大赛等多个创新实践环节的研究工作，并顺利结题。课题负责人郑正学习刻苦、思维活跃、动手能力强、有较好的组织协调能力，能够保证本项目的顺利实施。 同意项目申报，望予以资助。
签 名： 年 月 日
三、院（系）专家组意见：
组长签名： （ 盖 章 ）
年 月 日
四、学校专家组意见：
批准经费： 元
组长签名： （ 盖 章 ）
年 月 日
五、立项报告
1、项目简介（300-500字左右）
本项目旨在设计一个可以自动锁定并跟踪目标的视频监控装置，能够实现从运动的多个目标中选取出感兴趣目标，并对其进行锁定跟踪，可用于学校、机关、企事业单位及其他公共场所进行安全监控和异常情况的智能识别。此外若提高设备的检测识别精确度，甚至可以用于军事导航制导方面或者航空航天方面的目标自动锁定与识别，以加强远程自动控制系统的鲁棒性。
项目原理简介：该项目中应用到的目标跟踪技术采用的是快速尺度不变特征（FSIFT）跟踪算法[1]，
通过此算法可以用专用图像处理器计算出摄像头中心位置与目标物体之间的线偏差，并通过ARM处理器驱动搭载监控装置的二自由度云台进行精确目标锁定。正是由于特征匹配算法的诸多优点，使得该装置可以克服现有应用帧间差值算法和各种易受各种尺度变换发生跟踪丢失等的目标锁定装置所具有的局限，还可以将此装置用于移动平台上的目标锁定，并应用在航空或制导领域。尽管本项目目前只是对一种装置模型的制作和实验研究，但一旦将自动检测与跟踪技术应用到实际生活将大幅度提升现有监控设备的使用效率，可带来极高的经济效益和商业价值，有着广泛的应用前景。
2、申请理由（包括自身/团队具备的知识和能力情况、前期准备情况等）
该项目具有很高的实际应用价值，由于该项目设计出的装置不仅能设计成一套自成体系的用于异常行为分析、用于人口或交通流量检测的系统并用于大场景的多目标识别与分析，也能用于其他项目中作为一个目标锁定跟踪的设备，实现高抗干扰能力的自适应性识别跟踪模块，因此对此方面的研究非常值得我们团队投入时间与精力进行系统地设计与改进。
而就我们团队的能力情况而言，负责图像处理算法设计与优化的蒋大成 、靳万鑫、郑正，目前
向控制与仿真中心学习视频图像处理技术，且在研究有关目标跟踪、识别和图形配准等模式识别的有关课题方面有一定进展。负责硬件构建和接口控制的杨航、赵一阳、蒋大成、郑正，能熟练运用STM32，Freescale，MCS51等处理器和各种电路驱动控制芯片。目前我们团队大部分人员都参加过大学生科技创新并成功结题，由于具有科技创新和多次硬件开发制作经历，我们能够顺利地解决在项目研究中遇到的种种问题，且自信能够完成项目的基本研究内容，并争取与相关企业合作。
就前期准备方面，该项目初步决定采用前期在控制与仿真中心研究并基本实现的图像匹配算法，
且该配准算法已经能够基本在计算机上仿真实现，只需经过后期的算法时效性改进便可以应用在外设硬件上进行目标检测与识别。且在硬件方面，赵一阳、杨航可以从上海交大的机器人研究所的导师和本校的MEMS研究中心的导师获得技术支持，学校提供的高级电子实验中心能基本满足后期的硬件模块的组装和调试的需求，支承构建材料和基本的连接部件可由本校金属工艺实践基地提供条件进行设计与制作。
3、立项背景
3.1 智能目标跟踪系统的研究意义
目前为止，带有视频和图像采集功能的监视系统已经被广泛用于各个场所，最常见的监控设备
如交通系统中的道路监控摄像头，道路监控中心通过此种监控设备处理违章、交通事故、治安案件等异常情况，并远程触发交通事故的预警，在日常处理交通路况的道路监控环节中数字监视装置起到至关重要的作用。在一些欧美地区，图像监控技术也应用在了农业方面，用通过机载摄像头航拍获取的农务地区颜色信息来制定具有一定适应性的耕种策略。若将带有图像采集功能的监视设备用在打击犯罪行为，具有远程控制功能的.监控设备更是具有重要作用，通过数字监控装置的罪犯的远程定位，可以快速帮助警方破获棘手的案件。
但是目前的民用监视系统主要存在以下问题：一是，对于民用（如城市）监控系统，目前主要
采取固定位置安装，这样为了对整个城市进行监控，需要安装大量的监控摄像装置，既增加了系统成本，而且存在着监视盲区，一些城市死角，容易发生事故且无法覆盖常发生严重灾害的地方，因此亟需发展可移动的空中监视系统；二，目前的民用监控系统对采集的视频图像几乎不做任何处理，完全依靠大量的监视人员亲自花费大量的时间对视频资料进行处理，随着城市监控系统的增加，这将耗费大量的人力、物力和财力。因此亟需发展具有视频图像自动处理、检测和跟踪能力的可在空中移动的智能监控系统。
而对于军事监控系统，目前主要安装在飞机、无人机、飞艇、热气球等可空中飞行和漂浮的运
动平台上（如前视红外吊舱），并且也具有一定的自动视频处理、检测和跟踪能力。但是自动视频处理和跟踪能力仅是对于特定的情况下有效，且往往对数字信号的噪声级别要求特别严苛，在一些例如高光或者易产生烟尘和雾气的外源信号干扰场景下未经过数字图像配准几乎无法进行目标跟踪，而图形学后期的配准技术又对硬件有更高的要求，如近似静止的湖面背景以及运动平台具有小的运动范围和姿态变化的情况。而对于复杂的动态场景，如真实的自然环境或城市背景，以及飞行载体存在剧烈运动的情况下，则还需依靠人力通过手动分析所获取的视频信息，这样既耗费大量的人力，而且需要花费大量的时间，常常会导致操作的人员无法提高战时的机动性，失去占领战略时机制高点的机会。
因此，目前亟需开发在复杂真实环境下，具有自动检测并跟踪目标功能的移动智能监视系统，
以适应负责多变的环境干扰并克服由于监控设备的运动导致的目标丢失。
3.2 目前检测装置与跟踪技术现状 3.2.1 运动目标检测方法的研究现状
作为近几年才普及的新型自动跟踪装置，在目前具有极其广泛应用前景的智能监控设备只是简
单地使用类似帧间差分法进行运动目标的跟踪，并不是真正意义上实现人工智能化控制监控系统， 2011年加拿大Aeryon[6]实验室研制出了一种能够实现人工远程控制的飞行机器人，这款配备了世界上最先进的情报系统的机器人，可用于追踪犯罪分子和监视公众活动，但是由于是基于远程人工控制的卫星定位，就无可避免地导致了犯罪分子定位精确性上的缺失，此情况中的目标丢失还特别容易发生在低可见度情况下，并且在目标与背景的相对移动较为缓慢时，产生的微小像素差会影响目标锁定设备的识别准确率，极易发生丢失目标的情况，倘若使用更加智能化的跟踪锁定技术就能避免这些误差，实现智能化的监控效果。
3.2.2 运动目标跟踪方法研究现状
目前智能目标跟踪多数使用的是模板匹配算法，模板匹配的方法很多，有基于方向链码[1]的匹
配方法、基于SIFT 特征[4]的方法等。在数字监控设备上应用智能模板匹配算法更是包括图像处理领域、电子工程领域、模式识别领域等众多科学工作者的研究焦点所在，通过采用闭环识别系统的智能识别，目前已经可以实现实时对特定形状的检测，例如采用模板匹配的人脸特征检测技术就被广泛用于家用笔记本电脑和各个机密科研场所的门禁设备，在军事方面则常见被军事技术开发部门应用在红外制导、火控系统等军用设备中，可见改进数字监控设备上应用智能算法能使得具有监控功能的硬件应用价值得到大幅度提高。并且近几年在机器人研究实验室中能够实现自动跟踪的先进的智能监控机器人已经能够自动跟踪运动目标，让驱动电机实现实时目标中心化的跟踪效果，用于追踪运动物体如可以应用在交通监管领域的交通违规等方面的装置量产已经可以实现。带有自动跟踪识别技术的监控装置可以应用在包括监控方面的机密场所的安全防护，和用于交通路况的自动监控和预警，例如针对基于空中成像平台的城市交通的监视问题，可以通过使用基于模板匹配的路况模型分析算法[10]。先采用复杂的路面探测算法获得运动车辆候选区域，然后排除掉非车辆区域，再采用级联的分类器对候选目标区域进行细化，从而降低车辆探测的虚警率。
3.2.3 目前投入应用的检测算法的不足与缺陷
由于应用在现有检测装置的跟踪方法应用的帧间差分法[9]和各种易受尺度变换发生目标丢失的算法具有极其局限的应用范围，且存在多方面的问题：
一是目前多数能智能跟踪的装置多数采用的方法无法准确定位目标，且多是将灰度化预处理后的图片利用运动物体产生的前景与背景的像素差来实现运动方向的检测，这就导致了在前景、背景的灰度差别小的情况下及容易发生目标丢失。
二是目前大部分已被模式识别专家提出的多数目标跟踪算法对硬件要求极高，无法实时应用在现今所具有的硬件条件，而对于复杂的动态场景，如真实的自然环境或城市背景，以及飞行载体存在剧烈运动的情况下，则还需依靠人力通过手动分析所获取的视频信息，这样既耗费大量的人力，也需要花费大量的时间。
三是由于对稳定不变能衬托反差的背景依赖性导致了帧间差分等目标跟踪算法无法应用于运动载体上，这将导致应用此算法的目标检测装置无法在交通工具等移动载体上发挥目标识别与追踪的功能，故需要采用更具有鲁棒性的识别算法，在模式识别方面的配准识别特别适合用于该场景，在经过优化和改进后更能适应复杂的检测环境并几乎能做到完美解决现有检测装置的不足之处。
3.3 目标跟踪的优化
本项目就针对传统需要人工操作的数字监控设备进行了智能化设计，通过类似人眼的视觉识别仿生原理，制定出一系列使跟踪锁定技术智能化的实现方案，这里所涉及到的自动跟踪不是传统意义上的运动目标跟踪，而是一种类似模式识别中纹理匹配、轮廓提取和特征点匹配的算法，该算法是由David Lowe 在2004年提出并完善的SIFT算法（Scale-invariant feature transform，尺度不变特征转换），尤其是SIFT特征匹配算法处理的信息量大，适合在整场具有丰富细节的图像中快速进行目标匹配和定位[7]，若能应用在现有检测与跟踪系统中，则可以大大提高其实用价值和功能。
之所以采用基于SIFT特征点分析的模板匹配算法是由于该算法可通过其特有的局部影像特征的描述与侦测技术辨识出物体特征和轮廓，且由此算法提取出的特征点组是基于物体上的一些局部外观的兴趣点，这些特征点是由相对坐标系定位，因此与影像的大小和旋转角度无关，可以有效地克服由于图像采集设备的位移导致的仿射变换误差。此外，该算法可以利用在目标识别和匹配方面取得了显著进展的Harris-Affine和SIFT不变特征，利用近邻比和Mahalannobis距离的仿射不变性实现特征匹配，进而实现大失配图像的配准，进而克服由于设备抖动导致的图像退化问题[8]。在一些更加不利的情况下，如使用 SIFT特征描述对于部分物体遮蔽的侦测率相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。由于该算法提取的是特征形状信息，故对于光线、噪声、些微视角改变具有一定的容忍度。基于这些特性，SIFT特征匹配效果显著而且相对容易获取，在信息量庞大的采集图像数据中，很容易辨识物体而且不易发生误匹配。现今的电脑硬件速度下和小型的特征匹配数据库条件下，辨识速度可接近即时运算,而经过采用文献[5] 提出的“加速算法”改进的快速SIFT模板匹配算法更能在外设硬件上发挥功效，这是将该算法应用于自适应目标跟踪和定位装置的算法前提。
参考文献：
[1] 李忠海，李 申，崔建国，刘罗曼. 基于快速SIFT 特征提取的模板匹配算法,2011,37(24)
[2] 李忠海, 申为峰. 基于方向码的旋转不变模板快速匹配方法[J].计算机工程, 2010, 36(16): 210-212.
[3] 田原,谭铁牛,孙洪赞. 一种具有良好鲁棒性的实时跟踪方法[J].自动化学报，2002,28(5):851-853. [4] Lowe D. Distinctive Image Features from Scale-invariant Key points [J]. International Journal on Computer Vision, 2004, 60(2):91-110.
[5] 张 羽, 朱 丹, 王玉良. 一种改进的快速SIFT 特征匹配算法[J]. 微计算机信息, 2008, 24(33): 220-222.
[6] Company News/New Products[J] Unmanned systems, EI, 2010, 28(6) [7] 朱利成.运动目标检测与跟踪算法研究[D].浙江工业大学,2009.
[8] 李玲玲.基于不变特征的图像配准方法研究与应用[D].厦门大学,2008.
[9] 杜晶晶.智能视频监控中运动目标检测与跟踪算法研究[D].西南交通大学,2009. [10] R. Lin, X. Cao, Y. Xu, C. Wu, H. Qiao. Airborne moving vehicle detection for video surveillance of urban traffic[C]. IEEE Intelligent Vehicles Symposium, 2009:203–208.
[11] 胡琳萍.基于DSP的控制驱动一体化二自由度云台的设计与实现[D].武汉科技大学,2008. [12] 陈龙．电视监控与安全防范系统[M]．北京：科学出版社，1998．
[13] 邹敏.基于DSP的直线电机模糊PID控制系统研究与实现[D].武汉理工大学,2010. [14] 邱枫.基于DSP HPI口和EDMA技术的图像采集及处理系统[D].哈尔滨工业大学,2004.