论文部分内容阅读
摘 要：本文将介绍一种结合了实时的图像识别技术和人机语音交互的能够辅助视觉障碍者外出的智能导盲系统，主要提出一种准确识别交通灯的图像处理方式和较为全面的智能导盲系统的的功能设计与组合方式。硬件方面将基于树莓派配合红外线传感器，超声波传感器实现（获取路面信息）图像信息的传递与处理和对行走的控制基本功能等，软件方面将使用opencv作为图像处理的平台。
关键词：交通灯识别;导盲;语音交互
一、介绍
目前，在中国，中国盲人数量约为1730万人，且约有30%的盲人基本不会 出门，而训练一只导盲犬大概要花费10万至20万元人民币且一个基地一年仅能培养出3到5只导盲犬，造成盲人的生活种的不便。所以，我们意在设计一种可以实现类似于导盲犬的功能的智能导盲车。对于一个智能导盲车，我们设计的重点在于对交通灯的及时、准确的识别。
我们对交通灯的识别分为两个步骤，先使用opencv的基于haar特征的级联分类器进行寻来你，然后对交通灯的识别和框选，获取roi区域，再对该部分进行色彩空间转hsv，高斯模糊，膨胀腐蚀等预处理，以降低被其他背景颜色干扰的可能，从而增大识别精度，并判断颜色，以上过程在两个树莓派上实现。
二、相关工作
交通灯检测已被研究和开发用于众多研究和应用。 在常规交通信号灯检测，TL的候选集通常是由颜色和形状信息[1]，[2]，[3]，[4]生成。然后通过跟踪和空间信息修剪此集合，在确定TL状态之前。 例如在由Hak等人的工作中。 [10]在HSV空间，然后根据形状和形状进行修剪时序信息。 同样，Omachi等人 [11]，生成归一化RGB颜色空间中的候选集，以及使用边缘和对称性信息修剪集合。 在另一方面，de Charette等。 [3]他们通过识别亮点从灰度图像进行设置，并使用自适应模板匹配（ATM）方案来识别TL状态。类似于这种方法，， Gong等人[2]生成候选区域使用颜色分割和形态学处理，在使用Adaboost算法执行检测之前。
三、方案的实现
1.基本组成及外观设计
我们设计的智能导盲车的组成和外观如上图所示
外观上，导盲车的驱动依靠一根推杆连接，滑轮使用万向轮，保证导盲车的位置完全受盲人控制，摄像头呈斜向上方向，据统计，中国的主干道、次干道、支路的路宽d的范围为18-40米，而人行道交通灯的高度h约为2.5m，从而可以计算摄像头的倾斜角度为，因此摄像头的角度固定为5°，可根据盲人经常走的道路对应的角度随时进行调节;
组成上，以树莓派作为所有模块运行、处理的核心，超声波传感器针对平行方向障碍的检测，红外传感器针对地面的坑洼和障碍的检测，保障盲人在日常的道路行走过程中不会碰到障碍，相比于这些传统的基本的障碍检测，我们在另一块树莓派上实现了对日常行走过程中对交通信号灯的较为及时、准确的检测，尽可能模拟或超过导盲犬的功能从而辅助盲人的日常生活。
2.超声波模块与红外模块
红外模块具有最大探测距离（25厘米左右），红外模块的接收采用的是漫反射的方式，模块在使用时收发头的周边不要有其它的物体遮挡 ，从而减小周边物体对模块的干扰。红外模块安装在装置前底部，实时的检测与地面的距离，当相对距离大于5cm是判定为路面有坑，相对距离小于-5cm判定路面有石头。
超声波模块，HC-SR04 超声波测距模块可提供 2cm-400cm 的非接触式距离感测功能，测距精度可达高到 3mm。最远探测距离4m。测量角度15度。超声波模块安装在装置正前方，实时的检测前方障碍物，当距离小于3m时判定前方有障碍物。
3.交通灯识别算法与实现
通过卷积神经网络（CNN）或某些方式直接从图片中捕捉并识别交通灯颜色在较为复杂的交通路口会有圆形对交通灯识别的干扰和某些颜色相近的物体对颜色识别的干扰，易将某些颜色相近的物体错误的识别为目标物体，所以我们将交通灯颜色识别的过程分为两个部分：
第一部分，关于交通灯识别的训练，opencv已经提供了一个级联分类器（traincascade），我们采用它进行训练。这个级联分类器的工作原理[4]是首先在图像中找到目标物体（如果存在的话）并在该目標物体周围创建一个圆圈，向用户表明它确实找到了。 一旦找到了潜在的目标物体之后，系统能够扫描该区域并将其与数据库进行比较，确定那里实际上是否存在目标物体。 已经确认后，我们可以开始研究圆圈内的内容并使用该信息确定交通灯的颜色。 对于这个特定的实验，我们选择对交通灯检测使用基于haar特征的级联分类器。 这个分类器受过各种各样正负图像样本的训练。
使用上图所示的1300张正样本和2000张负样本进行训练并得到xml文件，然后使用训练好的分类器对交通灯的整体进行识别并框选出原图片中交通灯的部分;
第二部分，对框选出的图像进行颜色识别：首先选择颜色阈值，经过多组图片的测试我们对红、绿两个颜色设置了较为适合的HSV阈值： 红色的阈值为：[0， 43， 46]到[10， 255， 255];绿色的阈值为：[26， 43， 46]到[34， 255， 255]
然后对图像进行预处理，常用的方法是高斯模糊[5]，即基于对于模糊不敏感的识别，我们不需要恢复完整像素的图像。 我们只需要具有鲁棒性的表示（可能是低维的和有损的）。使用高斯模糊处理图片以降低图片的像素大小以提高识别效率，处理结果如下图所示，再将图片RGB格式非线性转换为HSV颜色空间[3]（由色调、饱和度和亮度三个分量组成）完成该部分图片的颜色进行追踪。
两个部分完成后的效果图如下图所示，已将识别出的信号灯颜色框选出来，且完成了语音的播报
智能导盲车运行过程的流程图如下： 4.識别结果的播报及语音交互
在超声波、红外和交通灯识别的代码中加入调用声卡进行播报的部分，使之前的检测都能以盲人可以接受的方式得到信息;另一方面，我们设置了另一个线程与交通灯识别同时执行，获取盲人的声音，通过百度语音包转化为文字，如果识别出来的文字是特定的命令，便调用交通灯识别函数以达到让盲人可以主动获取信息的功能
四、总结
基于树莓派的智能导盲系统可以完成以上提及的超声波模块、红外模块、语音识别模块和图像识别模块的运行，并可以实时播报给使用者，起到辅助盲人的作用
该智能导盲系统是尽可能的对实际应用情况和可行性进行了综合考虑的设计，对交通灯识别的方式进行了一定程度的优化，使盲人的出行的安全得到更多保障。
参考文献：
[1]G.Siogkas， E.Skodras and E.Dermatas. Traffic Lights Detection in Adverse Conditions using Color， Symmetry and Spatiotemporal Information. In proceedings of VISAPP 2012
[2]J. Gong， Y. Jiang， G. Xiong，C. Guan， G. Tao and Huiyan Chen， The Recognition and Tracking of Traffic Lights Based on Color Segmentation and CAMSHIFT for Intelligent Vehicles. In proceedings of IV， 2010.
[3]R de Charette， F Nashashibi. Traffic light recognition using image processing compared to learning processes. In proceedings of IROS 2009， pp 333-338
[4]M. Diaz-Cabrera， P. Cerri and J. Sanchez-Medina， Suspended Traffic Lights Detection and Distance Estimation Using Color Features， In proceedings of ITS’2012， pp. 1315-1320.
[5]V. John. Traffic Light Recognition in Varying Illumination using Deep Learning and Saliency Map. IEEE.2014
[6]Y Jie. A new traffic light detection and recognition algorithm for electronic travel aid. Fourth International Conference on Intelligent Control and Information Processing （ICICIP）.2013
[7]Jonathan Hicks.Emotion Detection Using OpenCV for Automatic Facial Recognition. Earlham College Department of Computer Science
[8]Jan Flusser. Recognition of Images Degraded by Gaussian Blur. IEEE. FEBRUARY 2016
[9]Vladimir Chernov. Integer-based accurate conversion between RGB and HSV color spaces. Computers & Electrical Engineering.2015
[10] T. Hyun，J. In-Hak，C Seong-lk. Detection of Traffic Lights for VisionBased Car Navigation System， In proceedings of PSIVT 2006
[11]M. Omachi， S. Omachi. Traffic light detection with color and edge information. In proceedings of ICCSIT 2009. pp 284 - 287
关键词：交通灯识别;导盲;语音交互
一、介绍
目前，在中国，中国盲人数量约为1730万人，且约有30%的盲人基本不会 出门，而训练一只导盲犬大概要花费10万至20万元人民币且一个基地一年仅能培养出3到5只导盲犬，造成盲人的生活种的不便。所以，我们意在设计一种可以实现类似于导盲犬的功能的智能导盲车。对于一个智能导盲车，我们设计的重点在于对交通灯的及时、准确的识别。
我们对交通灯的识别分为两个步骤，先使用opencv的基于haar特征的级联分类器进行寻来你，然后对交通灯的识别和框选，获取roi区域，再对该部分进行色彩空间转hsv，高斯模糊，膨胀腐蚀等预处理，以降低被其他背景颜色干扰的可能，从而增大识别精度，并判断颜色，以上过程在两个树莓派上实现。
二、相关工作
交通灯检测已被研究和开发用于众多研究和应用。 在常规交通信号灯检测，TL的候选集通常是由颜色和形状信息[1]，[2]，[3]，[4]生成。然后通过跟踪和空间信息修剪此集合，在确定TL状态之前。 例如在由Hak等人的工作中。 [10]在HSV空间，然后根据形状和形状进行修剪时序信息。 同样，Omachi等人 [11]，生成归一化RGB颜色空间中的候选集，以及使用边缘和对称性信息修剪集合。 在另一方面，de Charette等。 [3]他们通过识别亮点从灰度图像进行设置，并使用自适应模板匹配（ATM）方案来识别TL状态。类似于这种方法，， Gong等人[2]生成候选区域使用颜色分割和形态学处理，在使用Adaboost算法执行检测之前。
三、方案的实现
1.基本组成及外观设计
我们设计的智能导盲车的组成和外观如上图所示
外观上，导盲车的驱动依靠一根推杆连接，滑轮使用万向轮，保证导盲车的位置完全受盲人控制，摄像头呈斜向上方向，据统计，中国的主干道、次干道、支路的路宽d的范围为18-40米，而人行道交通灯的高度h约为2.5m，从而可以计算摄像头的倾斜角度为，因此摄像头的角度固定为5°，可根据盲人经常走的道路对应的角度随时进行调节;
组成上，以树莓派作为所有模块运行、处理的核心，超声波传感器针对平行方向障碍的检测，红外传感器针对地面的坑洼和障碍的检测，保障盲人在日常的道路行走过程中不会碰到障碍，相比于这些传统的基本的障碍检测，我们在另一块树莓派上实现了对日常行走过程中对交通信号灯的较为及时、准确的检测，尽可能模拟或超过导盲犬的功能从而辅助盲人的日常生活。
2.超声波模块与红外模块
红外模块具有最大探测距离（25厘米左右），红外模块的接收采用的是漫反射的方式，模块在使用时收发头的周边不要有其它的物体遮挡 ，从而减小周边物体对模块的干扰。红外模块安装在装置前底部，实时的检测与地面的距离，当相对距离大于5cm是判定为路面有坑，相对距离小于-5cm判定路面有石头。
超声波模块，HC-SR04 超声波测距模块可提供 2cm-400cm 的非接触式距离感测功能，测距精度可达高到 3mm。最远探测距离4m。测量角度15度。超声波模块安装在装置正前方，实时的检测前方障碍物，当距离小于3m时判定前方有障碍物。
3.交通灯识别算法与实现
通过卷积神经网络（CNN）或某些方式直接从图片中捕捉并识别交通灯颜色在较为复杂的交通路口会有圆形对交通灯识别的干扰和某些颜色相近的物体对颜色识别的干扰，易将某些颜色相近的物体错误的识别为目标物体，所以我们将交通灯颜色识别的过程分为两个部分：
第一部分，关于交通灯识别的训练，opencv已经提供了一个级联分类器（traincascade），我们采用它进行训练。这个级联分类器的工作原理[4]是首先在图像中找到目标物体（如果存在的话）并在该目標物体周围创建一个圆圈，向用户表明它确实找到了。 一旦找到了潜在的目标物体之后，系统能够扫描该区域并将其与数据库进行比较，确定那里实际上是否存在目标物体。 已经确认后，我们可以开始研究圆圈内的内容并使用该信息确定交通灯的颜色。 对于这个特定的实验，我们选择对交通灯检测使用基于haar特征的级联分类器。 这个分类器受过各种各样正负图像样本的训练。
使用上图所示的1300张正样本和2000张负样本进行训练并得到xml文件，然后使用训练好的分类器对交通灯的整体进行识别并框选出原图片中交通灯的部分;
第二部分，对框选出的图像进行颜色识别：首先选择颜色阈值，经过多组图片的测试我们对红、绿两个颜色设置了较为适合的HSV阈值： 红色的阈值为：[0， 43， 46]到[10， 255， 255];绿色的阈值为：[26， 43， 46]到[34， 255， 255]
然后对图像进行预处理，常用的方法是高斯模糊[5]，即基于对于模糊不敏感的识别，我们不需要恢复完整像素的图像。 我们只需要具有鲁棒性的表示（可能是低维的和有损的）。使用高斯模糊处理图片以降低图片的像素大小以提高识别效率，处理结果如下图所示，再将图片RGB格式非线性转换为HSV颜色空间[3]（由色调、饱和度和亮度三个分量组成）完成该部分图片的颜色进行追踪。
两个部分完成后的效果图如下图所示，已将识别出的信号灯颜色框选出来，且完成了语音的播报
智能导盲车运行过程的流程图如下： 4.識别结果的播报及语音交互
在超声波、红外和交通灯识别的代码中加入调用声卡进行播报的部分，使之前的检测都能以盲人可以接受的方式得到信息;另一方面，我们设置了另一个线程与交通灯识别同时执行，获取盲人的声音，通过百度语音包转化为文字，如果识别出来的文字是特定的命令，便调用交通灯识别函数以达到让盲人可以主动获取信息的功能
四、总结
基于树莓派的智能导盲系统可以完成以上提及的超声波模块、红外模块、语音识别模块和图像识别模块的运行，并可以实时播报给使用者，起到辅助盲人的作用
该智能导盲系统是尽可能的对实际应用情况和可行性进行了综合考虑的设计，对交通灯识别的方式进行了一定程度的优化，使盲人的出行的安全得到更多保障。
参考文献：
[1]G.Siogkas， E.Skodras and E.Dermatas. Traffic Lights Detection in Adverse Conditions using Color， Symmetry and Spatiotemporal Information. In proceedings of VISAPP 2012
[2]J. Gong， Y. Jiang， G. Xiong，C. Guan， G. Tao and Huiyan Chen， The Recognition and Tracking of Traffic Lights Based on Color Segmentation and CAMSHIFT for Intelligent Vehicles. In proceedings of IV， 2010.
[3]R de Charette， F Nashashibi. Traffic light recognition using image processing compared to learning processes. In proceedings of IROS 2009， pp 333-338
[4]M. Diaz-Cabrera， P. Cerri and J. Sanchez-Medina， Suspended Traffic Lights Detection and Distance Estimation Using Color Features， In proceedings of ITS’2012， pp. 1315-1320.
[5]V. John. Traffic Light Recognition in Varying Illumination using Deep Learning and Saliency Map. IEEE.2014
[6]Y Jie. A new traffic light detection and recognition algorithm for electronic travel aid. Fourth International Conference on Intelligent Control and Information Processing （ICICIP）.2013
[7]Jonathan Hicks.Emotion Detection Using OpenCV for Automatic Facial Recognition. Earlham College Department of Computer Science
[8]Jan Flusser. Recognition of Images Degraded by Gaussian Blur. IEEE. FEBRUARY 2016
[9]Vladimir Chernov. Integer-based accurate conversion between RGB and HSV color spaces. Computers & Electrical Engineering.2015
[10] T. Hyun，J. In-Hak，C Seong-lk. Detection of Traffic Lights for VisionBased Car Navigation System， In proceedings of PSIVT 2006
[11]M. Omachi， S. Omachi. Traffic light detection with color and edge information. In proceedings of ICCSIT 2009. pp 284 - 287