健康体检数据预处理方法研究与应用

• 作 者: 王培培
• 出 处: 郑州大学
• 发表日期: 2016年期
• 关键词: 体检数据 预处理 数据清洗 可视化

利用医疗体检数据积累丰富且有价值的信息,可进行疾病的风险分析及个性化健康指导,预测受检者患上某种慢病的风险和概率,提醒受检者及时发现潜在疾病,为其提供健康指导及疾病治疗措施。但原始体检数据存在信息模糊、有噪声、不完整和冗余的问题,无法直接用于疾病的风险评估与预测,因此对医疗体检数据进行预处理是很重要的。为了充分完成体检数据的预处理工作,本文在传统的预处理方法的基础上从多角度提出了针对体检数据预处理的有效方法:针对信息冗余的问题,提出基于压缩方法的体检数据归约,降低了体检数据预处理的时间及空间复杂度;针对体检项目不统一、异常值、重复值及缺失值较多的问题,提出基于相似重复记录和缺失值的体检数据清洗方法,完成了体检数据的清洗,解决了体检数据不一致的问题。通过删除元组、忽略不完整数据及填充技术完成基于缺失值的数据清洗;针对唯一标识码缺失的问题,提出基于线性函数的体检数据变换,实现了历年体检数据的连续性和规范性。在实现体检数据清洗时创新性的提出基于分词和权值的字段匹配算法完成相似重复记录的检测。体检数据预处理的目的是将不规范的数据转换为标准数据,实现医生术语、体检结论的标准化,纠正错误信息、填补空缺值。实验结果证明:基于压缩方法的体检数据归约可大大减少体检数据的不相关及冗余信息;基于分词和权值的字段匹配算法在召回率、正确率和F-测度值上分别高于传统算法6.23%、5.44%和5.84%,说明改进算法在检测相似重复记录上的准确性高于传统的算法;验证了经过基于线性函数的体检数据变换成功的给体检者添加唯一标识码。最后,开发了体检数据查询系统,实现了对预处理后体检数据的查询工作,将体检者的各项指标进行可视化展示。