论文部分内容阅读
【摘 要】 目前，市场上训练青少年专注度的产品较少且功能单一，市场缺口已然很大。本研究突破了传统训练方法的局限性，设计了一种基于脑电波的青少年专注度训练系统。本系统主要由脑电波模块、图像模块、专注度训练模块和云平台构成。首先使用脑电波模块对训练者的专注度进行监测，让训练者与训练模块进行语音交互，配合图像模块的识别结果，分析训练者的兴趣点，然后使用网页进行兴趣视频实时切换，吸引训练者的注意力，从而提高训练者的专注度。训练结果表明：该专注度训练系统设计能够实现对青少年专注度的逐步提高，系统稳定可靠，数据可视化便于观察。本系统的应用领域广泛，为进一步发展打下了基础。
【关键词】 计算机应用 脑电波 专注度训练 图像识别
引 言
青少年教育是一个国家教育体系的基础工作，怎样培养一个性格乐观向上、行为习惯良好、具备初步探索社会形态能力的下一代已经成为国家战略的有机组成部分[1]。而在青少年教育中，青少年专注度的高低直接影响青少年对外界的认知能力，专注度差不仅会对青少年的日常生活有影响，还会影响青少年以后的学习生活，甚至对青少年的一生都有影响。因此训练并提高青少年专注度具有一定社会意义。现有专注度训练方法有很多，但普遍存在训练效果缓慢、效果不稳固等缺陷。而随着科学家对大脑的不断研究，脑电波作为一种直接映射大脑内部活动状态和人们思维状态的生物电信号，在神经心理学、脑疾病诊断、脑机接口、认知科学等领域中被广泛运用[2]。所以使用脑电波改善现有训练方法具有一定研究价值。
本文设计研发了一种基于脑电波的青少年专注度训练系统，以益智性为出发点，从兴趣点入手对青少年进行专注度训练，引导青少年在快乐中集中注意力。父母可以通过脑电波数据实时反馈了解到孩子的训练效果，便于与孩子更好的沟通。
1 系统整体设计方案
青少年专注度训练系统方案设计如图1所示。系统主要由脑电波模块、图像模块、专注度训练模块和云平台构成。其中，脑电波模块主要由脑电波传感器Neurosky和ThinkGear芯片组成，通过采集训练者的原始脑电波信号，用来计算训练者的专注度指数，实现对整个训练过程的专注度监测；图像模块主要由树莓派微处理器作为控制器，通过接受摄像头采集的图像信息，通过数据传输发送到服务器端，进行机器视觉图像识别；专注度训练模块是由Arduino微處理器、语音识别模块、语音合成模块和上位机组成，训练模块通过与训练者进行语音交互，配合图像模块的识别结果，分析训练者的兴趣点，然后使用上位机进行兴趣视频实时切换，吸引训练者的注意力，从而达到对训练者的专注度提高；云平台主要由服务器和上位机网站构成，通过记录分析训练者的训练过程和结果，不断迭代更新个性兴趣矩阵，进一步完善本训练系统。
2 系统硬件设计
2.1 脑电波模块
本系统脑电波模块是由脑电波传感器和蓝牙模块组成。本模块的主要功能是实现对整个训练过程的的专注度监测。脑电波模块使用的是neurosky脑电波传感器，传感器通过对训练者的原始脑电波数据进行滤波去噪、频谱分析，结合神念脑电算法[3]，由不同频率脑电波占比关系计算出eSense专注度指数，不同类型脑电波如图2所示，表明训练者的专注度水平的强烈程度，从而作为本系统的专注度衡量指标。为满足高速率、低功率的数据传输，使用蓝牙模块建立无线连接，优化了脑电波模块和云平台之间的数据交互，实现了信息传递。
2.2 图像模块
本系统的图像模块是由摄像头和树莓派微处理器组成。本模块的主要功能是完成对训练过程所需的图像信息采集及传输。摄像头选用的是KS8A17AF高清800万像素摄像头模组，使用USB3.0数据传输，支持标准的UVC传输协议，分辨率高且反应迅速。主控器采用的是树莓派Raspberry Pi 4，是一款基于4核心64位ARM Cortex-A72 CPU的高性能微处理器，工作频率高达1.5GHz，具有非常高的运算能力和处理性能[4]。该处理器还具有千兆以太网接口、两个USB 3.0和两个USB 2.0接口，满足系统低延迟、高速率的图片流传输要求。当收到服务器发送的拍照命令时，树莓派控制摄像头进行图像采集，存储并等待服务器响应，最后以图片流的形式将图像信息发送至服务器端。
2.3 专注度训练模块
本系统的专注度训练模块由语音识别模块、Arduino单片机和语音合成模块组成。本模块的主要功能是通过青少年与训练系统之间简单的语音交互，从而进一步控制图像采集、兴趣分析和视频切换等功能，实现专注度持续训练。语音识别模块采用的是基于SI-ASR技术的LD3320芯片，集成了高精度A/D和D/A接口，不需要用户进行录音训练，可动态编辑识别关键词列表[5]。本模块的主控器采用的是Arduino单片机，具有丰富的接口和片上资源，支持多种串口通信协议，搭配Wifi模块，可快速传输和响应操作命令。语音合成模块使用的是XFS5152C芯片，使用简单的文本命令便可以自动合成语音，操作便捷灵活。
具体实现流程如图3所示，当训练者与训练模块进行语音交互时，语音识别模块将接受的语音信息进行预处理和特征向量转化，通过Arduino将语音数据处理为文本标签，经Wifi模块将数据发送到服务器。等待服务器对数据做出响应之后，Arduino将接受的答复命令发送给语音合成模块，完成语音播报。同时，服务器根据语音信号和采集的图像信号，进行兴趣分析，实时视频切换，吸引训练者注意力，从而达到专注度训练。
3 系统软件设计
本训练系统的软件设计主要包括基于脑电波的专注度监测、基于机器视觉的目标检测算法、平台网页设计3部分。接下来，将分别介绍每一部分的设计。
3.1 基于脑电波的专注度监测
为实现对整个训练过程的的专注度监测，设计了基于脑电波的专注度监测，青少年在专注度训练期间一直佩戴脑电波模块，采集训练者的原始脑电波信号。首先对采集的脑电波信号进行预处理，使用ICA算法[6]进行伪迹去除，减少周围环境的噪声干扰。然后对脑电波信号进行频段划分，按照不同频率范围提取Delta、Theta、Alpha、Beta、Gamma波段。之后使用NeuroSky公司的eSense脑电算法进行信号分类，由不同频率脑电波占比关系计算出eSense专注度指数，作为本系统的专注度训练衡量指标，并在Web端实时显示。 3.2 基于機器视觉的目标检测算法
3.2.1 RetinaNet算法
为了利用摄像头进行目标检测，达到物品种类识别以及后期兴趣分析的目的，在这里设计了基于机器视觉的目标检测算法，选取了RetinaNet网络进行图像识别。RetinaNet是在深度残差网络（Deep Residual Network，ResNet）的基础上进行改进，增加了一层特征金字塔网络（Feature Pyramid Networks，FPN）和两层全卷积神经网络（Fully Convolutional Networks，FCN）。主要效果是改进了标准的交叉熵（Cross-entropy，CE）loss，解决了类别不平衡的问题。具体实现原理如下：
标准的交叉熵loss如下所示：
（1）
稍微变换一下如式（2）：
（2）
得出：
（3）
式中，越大，代表越容易实现分类目标。而RetinaNet提出了Focal loss[7]改进CE loss：
（4）
最终，为了使不同类别更加平衡，补充了常数项正负样本平衡因子，如下：
（5）
Focal loss最大的特点是解决了正负样本分布不平衡的问题，减少了数量较大的无关信息对loss的影响。RetinaNet不仅提高了识别准确率，而且在单阶段目标检测网络实现了与双阶段目标检测网络近似的速率。
3.2.2 训练数据集
本算法的训练数据采用COCO标准数据集和网络爬虫获取。COCO数据集是一个由微软团队提供的，以环境感知为目标的图像识别数据集。提供80类图像，20万张标注图片，主要通过图像分割来进行目标标定。为了进一步提高识别率，本系统还通过网络爬虫从搜索引擎等图片网站爬取了20类，共6万张图片。对图片数据打上标签、进行目标标注，并按照VOC2007格式将数据按比例随机抽样切分训练集、验证集和测试集样本。
3.2.3 目标检测结果
通过使用本算法进行目标检测时，可以滤除大部分背景等无用信息对识别结果的影响。如图4所示，拍摄图片中大量背景物体的识别权重较低，对居中明显的物体进行优先筛选识别。
3.3 平台网页设计
3.3.1 实时切换兴趣视频
在通过语音交互和机器视觉目标检测之后，服务器会根据识别的结果，结合兴趣分类，在Web端进行兴趣视频实时切换，吸引训练者的注意力，从而提高训练者的专注度。具体实现过程为：当服务器完成物体识别之后，向Web监听器发送post请求，监听器进行解析，一方面将解析数据存入数据库中保存，另一方面将数据对应的视频文件通过WebSockets协议推送到浏览器端，实现视频的切换。
3.3.2 记录成长历程
云平台通过数据库记录每一次的识别结果，不断迭代更新个性兴趣矩阵，同时Web实时显示训练者的专注度变化，可以通过历史记录浏览专注度训练效果。
图5中，通过对某一训练者训练效果连续记录，将日平均专注度展示。结果表明，这一训练者的训练效果有较为平稳的提高。
4 结论
青少年专注度问题是一个值得注意的问题，随着脑电波技术的不断发展，结合脑电波技术提高青少年专注度是一个重要的研究方向。本文设计了一套基于脑电波的青少年专注度训练系统，利用脑电波分析对整个训练过程进行专注度监测，直观反映训练效果，通过语音交互和图像识别分析青少年兴趣点，以视频互动的方式吸引青少年的注意力，从而不断提高青少年的专注度。该系统经过前期测试，在设计成本、测量方法、测量效果等方面都达到了设计要求，可以通过不断改进，进一步应用到各个领域。
【参考文献】
[1] 和超, 庞峰. 儿童教育空间趣味性的营造[J]. 大众文艺, 2017(21):137.
[2] 谢宗豹, 林蕙青. 医学思维与创新[M]. 上海科学技术出版社, 2009.
[3] Zhang L, Lv Q, Xu Y. Single channel brain-computer interface control system based on TGAM module[C]. International Congress on Image & Signal Processing. IEEE, 2018.
[4] 刘继元. 基于树莓派的物联网应用[J]. 电子世界, 2016, No.494(08):26-27.
[5] 李艳霞. 智能化电梯控制系统设计与实现[D]. 2013.
[6] Chen J L , Ros T , Gruzelier J H . Dynamic changes of ICA-derived EEG functional connectivity in the resting state[J]. Human Brain Mapping, 2013, 34(4).
[7] Lin T Y , Goyal P , Girshick R , et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, PP(99):2999-3007.
作者简介：冯韶文（1995—），男，汉族，山东青岛市人，硕士研究生，单位：山东理工大学计算机科学与技术学院计算机技术专业，研究方向：嵌入式应用。
通讯作者：*巩秀钢（1970—），男，汉族，山东淄博市人，副教授，博士，单位：山东理工大学计算机科学与技术学院计算机技术专业，研究方向：计算机测控、嵌入式应用、仪器仪表智能化等。
基金项目：国家级大学生创新创业训练计划项目（201910433024）
【关键词】 计算机应用 脑电波 专注度训练 图像识别
引 言
青少年教育是一个国家教育体系的基础工作，怎样培养一个性格乐观向上、行为习惯良好、具备初步探索社会形态能力的下一代已经成为国家战略的有机组成部分[1]。而在青少年教育中，青少年专注度的高低直接影响青少年对外界的认知能力，专注度差不仅会对青少年的日常生活有影响，还会影响青少年以后的学习生活，甚至对青少年的一生都有影响。因此训练并提高青少年专注度具有一定社会意义。现有专注度训练方法有很多，但普遍存在训练效果缓慢、效果不稳固等缺陷。而随着科学家对大脑的不断研究，脑电波作为一种直接映射大脑内部活动状态和人们思维状态的生物电信号，在神经心理学、脑疾病诊断、脑机接口、认知科学等领域中被广泛运用[2]。所以使用脑电波改善现有训练方法具有一定研究价值。
本文设计研发了一种基于脑电波的青少年专注度训练系统，以益智性为出发点，从兴趣点入手对青少年进行专注度训练，引导青少年在快乐中集中注意力。父母可以通过脑电波数据实时反馈了解到孩子的训练效果，便于与孩子更好的沟通。
1 系统整体设计方案
青少年专注度训练系统方案设计如图1所示。系统主要由脑电波模块、图像模块、专注度训练模块和云平台构成。其中，脑电波模块主要由脑电波传感器Neurosky和ThinkGear芯片组成，通过采集训练者的原始脑电波信号，用来计算训练者的专注度指数，实现对整个训练过程的专注度监测；图像模块主要由树莓派微处理器作为控制器，通过接受摄像头采集的图像信息，通过数据传输发送到服务器端，进行机器视觉图像识别；专注度训练模块是由Arduino微處理器、语音识别模块、语音合成模块和上位机组成，训练模块通过与训练者进行语音交互，配合图像模块的识别结果，分析训练者的兴趣点，然后使用上位机进行兴趣视频实时切换，吸引训练者的注意力，从而达到对训练者的专注度提高；云平台主要由服务器和上位机网站构成，通过记录分析训练者的训练过程和结果，不断迭代更新个性兴趣矩阵，进一步完善本训练系统。
2 系统硬件设计
2.1 脑电波模块
本系统脑电波模块是由脑电波传感器和蓝牙模块组成。本模块的主要功能是实现对整个训练过程的的专注度监测。脑电波模块使用的是neurosky脑电波传感器，传感器通过对训练者的原始脑电波数据进行滤波去噪、频谱分析，结合神念脑电算法[3]，由不同频率脑电波占比关系计算出eSense专注度指数，不同类型脑电波如图2所示，表明训练者的专注度水平的强烈程度，从而作为本系统的专注度衡量指标。为满足高速率、低功率的数据传输，使用蓝牙模块建立无线连接，优化了脑电波模块和云平台之间的数据交互，实现了信息传递。
2.2 图像模块
本系统的图像模块是由摄像头和树莓派微处理器组成。本模块的主要功能是完成对训练过程所需的图像信息采集及传输。摄像头选用的是KS8A17AF高清800万像素摄像头模组，使用USB3.0数据传输，支持标准的UVC传输协议，分辨率高且反应迅速。主控器采用的是树莓派Raspberry Pi 4，是一款基于4核心64位ARM Cortex-A72 CPU的高性能微处理器，工作频率高达1.5GHz，具有非常高的运算能力和处理性能[4]。该处理器还具有千兆以太网接口、两个USB 3.0和两个USB 2.0接口，满足系统低延迟、高速率的图片流传输要求。当收到服务器发送的拍照命令时，树莓派控制摄像头进行图像采集，存储并等待服务器响应，最后以图片流的形式将图像信息发送至服务器端。
2.3 专注度训练模块
本系统的专注度训练模块由语音识别模块、Arduino单片机和语音合成模块组成。本模块的主要功能是通过青少年与训练系统之间简单的语音交互，从而进一步控制图像采集、兴趣分析和视频切换等功能，实现专注度持续训练。语音识别模块采用的是基于SI-ASR技术的LD3320芯片，集成了高精度A/D和D/A接口，不需要用户进行录音训练，可动态编辑识别关键词列表[5]。本模块的主控器采用的是Arduino单片机，具有丰富的接口和片上资源，支持多种串口通信协议，搭配Wifi模块，可快速传输和响应操作命令。语音合成模块使用的是XFS5152C芯片，使用简单的文本命令便可以自动合成语音，操作便捷灵活。
具体实现流程如图3所示，当训练者与训练模块进行语音交互时，语音识别模块将接受的语音信息进行预处理和特征向量转化，通过Arduino将语音数据处理为文本标签，经Wifi模块将数据发送到服务器。等待服务器对数据做出响应之后，Arduino将接受的答复命令发送给语音合成模块，完成语音播报。同时，服务器根据语音信号和采集的图像信号，进行兴趣分析，实时视频切换，吸引训练者注意力，从而达到专注度训练。
3 系统软件设计
本训练系统的软件设计主要包括基于脑电波的专注度监测、基于机器视觉的目标检测算法、平台网页设计3部分。接下来，将分别介绍每一部分的设计。
3.1 基于脑电波的专注度监测
为实现对整个训练过程的的专注度监测，设计了基于脑电波的专注度监测，青少年在专注度训练期间一直佩戴脑电波模块，采集训练者的原始脑电波信号。首先对采集的脑电波信号进行预处理，使用ICA算法[6]进行伪迹去除，减少周围环境的噪声干扰。然后对脑电波信号进行频段划分，按照不同频率范围提取Delta、Theta、Alpha、Beta、Gamma波段。之后使用NeuroSky公司的eSense脑电算法进行信号分类，由不同频率脑电波占比关系计算出eSense专注度指数，作为本系统的专注度训练衡量指标，并在Web端实时显示。 3.2 基于機器视觉的目标检测算法
3.2.1 RetinaNet算法
为了利用摄像头进行目标检测，达到物品种类识别以及后期兴趣分析的目的，在这里设计了基于机器视觉的目标检测算法，选取了RetinaNet网络进行图像识别。RetinaNet是在深度残差网络（Deep Residual Network，ResNet）的基础上进行改进，增加了一层特征金字塔网络（Feature Pyramid Networks，FPN）和两层全卷积神经网络（Fully Convolutional Networks，FCN）。主要效果是改进了标准的交叉熵（Cross-entropy，CE）loss，解决了类别不平衡的问题。具体实现原理如下：
标准的交叉熵loss如下所示：
（1）
稍微变换一下如式（2）：
（2）
得出：
（3）
式中，越大，代表越容易实现分类目标。而RetinaNet提出了Focal loss[7]改进CE loss：
（4）
最终，为了使不同类别更加平衡，补充了常数项正负样本平衡因子，如下：
（5）
Focal loss最大的特点是解决了正负样本分布不平衡的问题，减少了数量较大的无关信息对loss的影响。RetinaNet不仅提高了识别准确率，而且在单阶段目标检测网络实现了与双阶段目标检测网络近似的速率。
3.2.2 训练数据集
本算法的训练数据采用COCO标准数据集和网络爬虫获取。COCO数据集是一个由微软团队提供的，以环境感知为目标的图像识别数据集。提供80类图像，20万张标注图片，主要通过图像分割来进行目标标定。为了进一步提高识别率，本系统还通过网络爬虫从搜索引擎等图片网站爬取了20类，共6万张图片。对图片数据打上标签、进行目标标注，并按照VOC2007格式将数据按比例随机抽样切分训练集、验证集和测试集样本。
3.2.3 目标检测结果
通过使用本算法进行目标检测时，可以滤除大部分背景等无用信息对识别结果的影响。如图4所示，拍摄图片中大量背景物体的识别权重较低，对居中明显的物体进行优先筛选识别。
3.3 平台网页设计
3.3.1 实时切换兴趣视频
在通过语音交互和机器视觉目标检测之后，服务器会根据识别的结果，结合兴趣分类，在Web端进行兴趣视频实时切换，吸引训练者的注意力，从而提高训练者的专注度。具体实现过程为：当服务器完成物体识别之后，向Web监听器发送post请求，监听器进行解析，一方面将解析数据存入数据库中保存，另一方面将数据对应的视频文件通过WebSockets协议推送到浏览器端，实现视频的切换。
3.3.2 记录成长历程
云平台通过数据库记录每一次的识别结果，不断迭代更新个性兴趣矩阵，同时Web实时显示训练者的专注度变化，可以通过历史记录浏览专注度训练效果。
图5中，通过对某一训练者训练效果连续记录，将日平均专注度展示。结果表明，这一训练者的训练效果有较为平稳的提高。
4 结论
青少年专注度问题是一个值得注意的问题，随着脑电波技术的不断发展，结合脑电波技术提高青少年专注度是一个重要的研究方向。本文设计了一套基于脑电波的青少年专注度训练系统，利用脑电波分析对整个训练过程进行专注度监测，直观反映训练效果，通过语音交互和图像识别分析青少年兴趣点，以视频互动的方式吸引青少年的注意力，从而不断提高青少年的专注度。该系统经过前期测试，在设计成本、测量方法、测量效果等方面都达到了设计要求，可以通过不断改进，进一步应用到各个领域。
【参考文献】
[1] 和超, 庞峰. 儿童教育空间趣味性的营造[J]. 大众文艺, 2017(21):137.
[2] 谢宗豹, 林蕙青. 医学思维与创新[M]. 上海科学技术出版社, 2009.
[3] Zhang L, Lv Q, Xu Y. Single channel brain-computer interface control system based on TGAM module[C]. International Congress on Image & Signal Processing. IEEE, 2018.
[4] 刘继元. 基于树莓派的物联网应用[J]. 电子世界, 2016, No.494(08):26-27.
[5] 李艳霞. 智能化电梯控制系统设计与实现[D]. 2013.
[6] Chen J L , Ros T , Gruzelier J H . Dynamic changes of ICA-derived EEG functional connectivity in the resting state[J]. Human Brain Mapping, 2013, 34(4).
[7] Lin T Y , Goyal P , Girshick R , et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, PP(99):2999-3007.
作者简介：冯韶文（1995—），男，汉族，山东青岛市人，硕士研究生，单位：山东理工大学计算机科学与技术学院计算机技术专业，研究方向：嵌入式应用。
通讯作者：*巩秀钢（1970—），男，汉族，山东淄博市人，副教授，博士，单位：山东理工大学计算机科学与技术学院计算机技术专业，研究方向：计算机测控、嵌入式应用、仪器仪表智能化等。
基金项目：国家级大学生创新创业训练计划项目（201910433024）