【摘 要】
：
由于时序大数据的体量过大,信息检索工作变得极为困难,因此,需要利用去重算法管理时序大数据.由于传统算法对大数据类别的分类效果不够理想,导致应用去重算法的相关系统性能
【机 构】
：
广东工商职业技术大学计算机学院,广东肇庆526040
论文部分内容阅读
由于时序大数据的体量过大,信息检索工作变得极为困难,因此,需要利用去重算法管理时序大数据.由于传统算法对大数据类别的分类效果不够理想,导致应用去重算法的相关系统性能下降,因此,研究基于贝叶斯模型的时序大数据并行去重算法.该算法预先定义了时序大数据重复度,对冗余数据进行压缩,基于超级特征值检测相似数据,通过贝叶斯模型分类相似数据,实现对时序大数据的并行去重.测试结果表明:此次研究算法占用的空间内存更低,最低内存占用量为52.3 B,出现在数据集B内.与两种传统去重算法相比,应用该算法后系统吞吐量更高,最高可达到915 MB/S,数据去重执行时间更短,平均执行时间为30 s.可见基于贝叶斯模型的去重算法,对于大数据并行去重有更好的应用效果.
其他文献
由于传统的变压器套管绝缘故障检测的方法未对故障类型进行分类,导致了故障检测的定位准确性较差,为此,提出基于递归神经网络的变压器套管绝缘故障检测方法.通过高分辨的智能
为提高突发大客流预测的准确性,设计了一个城市轨道交通网络化运营背景下突发大客流预测方法.首先建立起客流指标体系,然后对客流分布预测影响因素分析,最后根据城市轨道交通
为提高数控机床人机界面评价的可靠性,提出基于层次分析法和神经网络的数控机床人机界面评价模型.构建数控机床人机界面评价的约束参数模型,通过层次分析方法得到多状态特征
为提升变电站继电保护装置定值智能校核效率,设计了一个基于光学字符智能识别的变电站继电保护装置定值智能校核技术.首先采用光学字符智能识别方法获取定值在线校核图形,然
针对引起国产高强度钢板在V形折弯时出现的回弹现象,对材料性能及钢板厚度的参数进行研究.通过控制变量法对高强度钢板进行V形折弯实验得出实验数据并分析屈服强度及板厚对回
一体化联合作战需要把情报信息、指挥控制、火力打击和综合保障等作战要素连为一体,形成无连链接的作战体系,从而制定高效协同,整体联动的作战计划.基于一体化联合作战交互共
为了提高多源网络入侵失稳控制能力,提出基于态势感知的多源网络入侵失稳控制方法.首先进行多源网络入侵的信息采集,再结合传感信息融合识别方法进行参数融合处理,从而实现多
针对现有机械类虚拟仿真实验项目评价体系中存在的不足与缺失的现象,创新性提出以实验系统自动评分为主体的评价体系.以《机械设计—联轴器虚拟仿真实验》为例,对实验系统自
针对传统语音室设备存在自动断电节能控制能力差的问题,提出基于耦合级联控制的语音室设备自动断电节能控制方法.采用模糊适应度控制方法,确定语音室设备自动断电节能控制的
传统档案管理系统由于防碰撞算法不够完善,导致系统运行的准确度较低,设计基于RFID与防碰撞的智能档案柜管理系统。硬件部分设置档案柜的周边配置,连接相关组件;软件部分建立档案柜管理信息数据库,基于RFID技术设置管理模式,构建防碰撞的档案柜智能化管理。实验结果:设计的管理系统用户识别的误码率在10%以下,证明融合了RFID技术与防碰撞算法的管理系统更适用于智能档案柜管理系统。