面向数据中心系统的磁盘使用度预测研究

来源 :第 23 届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:judycome7
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  随着云计算和移动互联网的发展,前端的设备提供服务入口,而大量的数据存储和处理任务需要在后台的数据中心完成,数据中心成为云计算时代最重要的基础设施。与之相对应的是,企业级数据中心的规模越来越大,数据中心的自动化运营和维护所面临的挑战也越来越大。除了软、硬件故障以外,服务器的磁盘使用过高是数据中心运维中最常见的问题之一,且经常发生于系统负载最高的时候,严重伤害用户体验。通常对于服务器的运行情况等信息有定期记录,可以作为后续操作的依据。而传统的阈值方式具有一定的缺陷,因此需要考虑更为可靠地方法。本文针对磁盘占用率的监控和处理问题,通过预测磁盘占用率的变化情况,提前进行相应处理。从而将"事后被动应对"改变为"事前主动预防",降低运维的工作难度。本文工作基于某知名互联网企业数据中心的真实历史数据,分别使用决策树和深度自动编码器(Deep Auto-Encoder,DAE)来建立预测模型,预测半小时、六小时、十二小时、一天、两天、三天后的磁盘占用率情况。这样做可以让运维人员提前了解到磁盘的运行情况,并根据预测结果安排处理任务的时间。决策树模型快速、有效、理解性强,DAE模型适用范围更广,但计算耗时长。两种模型的故障检测率都超过98%,两天内的误报率也控制在5%以内。通过与时间序列分析的方法进行比较,表明本文建立的模型预测效果更好,更能适应不同变化趋势的磁盘。本文工作对于数据中心的自动化运维具有重要应用价值。
其他文献
本文通过选取实际工程结构中的1X7结构钢绞线索进行断裂冲击试验,拟获得对应的索力时程曲线以及钢绞线索的断裂现象和失效机理,并为冲击响应谱的计算作铺垫。首先通过对无损钢绞线索进行动态拉伸,得到钢绞线索的断索情况以及对应的索力值,并计算出每根钢绞线索的失效时间,再将失效时间作为谱分析中的冲击持时,计算冲击响应谱。最终得到了五根钢绞线索的断裂过程以及相应的断索参数。结果表明钢绞线索的失效时间不随外在条件
为探讨分析桥梁横向拼接拓宽给既有预应力混凝土箱梁桥箱梁桥面板可能带来的结构病害,本文利用有限元方法分析了新旧箱梁之间产生的相互作用对既有箱梁结构应力状态的影响,考虑的作用包括新建混凝土桥梁的收缩徐变效应、新旧箱梁之间的不均匀沉降差、温度梯度以及车辆活载作用。研究结果表明,拓宽后既有箱梁的部分顶板和靠近新建箱梁的大部分内侧翼缘板顶面普遍处于较大的拉应力状态,其中新建桥梁混凝土收缩和徐变效应、新旧箱梁
根据波动理论,地震区起主要破坏作用的是震源发射的P波和S波。因此,本文推导了任意角度入射的平面P波和平面SV波在土体中应力的表达形式,并分析了地震波参数和土体参数对土体动应力路径的影响,比较了P波和SV波所产生的动应力路径间的差异。结果表明:当P波、SV波单独入射时,土体动应力路径均为椭圆,椭圆的形状随入射角、入射频率、波速、泊松比、深度等因素在一定范围内变化。
大数据技术的出现与发展使得存储系统面临巨大机遇与挑战。同时,作为传统内存介质的动态随机存储器(DRAM),由于其工艺尺寸达到20 nm及以下,使得内存系统在稳定性、可靠性等方面出现问题,亟待新型存储器的替代。相变存储器(PCM)具有非易失性、抗辐射干扰、密度高等优点,是最有可能取代DRAM的非易失性存储器。然而,相变存储器面临写寿命有限、电阻漂移、永久性故障、软错误等可靠性问题。在天基系统中,对内
近年出现的一类新型非易失性存储器(Non-Volatile Memory,NVM)如相变存储器和RRAM等,表现出非易失、存储密度高、低延迟、低功耗、抗震性好、可按字节寻址等优点,使得NVM成为潜力巨大的新型存储设备.针对这类NVM,学术界和工业界已设计实现多个新型内存文件系统如PMFS、SIMFS和HiNFS等,充分发挥非易失性内存高访问速度和可按字节寻址等优点,实现高效的文件访问和可靠的一致性
随着物联网、移动互联网、社交网络等一系列新兴技术和应用方式的出现,人们对海量数据实时存储、处理的需求不断增加.分布式消息系统由于其解藕数据收集与处理系统、良好的性能和扩展性被广泛使用.基于对分布式消息系统的广泛需求,一大批消息系统被开发发布,其中包括LinkedIn 2011年推出的Kafka,Twitter 2016年5月开源的DistributedLog,Yahoo!2016年9月开源的的Pu
近年来,随着云计算和大数据技术的相继涌现,数据中心在规模上和数量上都出现了跨越式的增长,能源消耗进一步加剧.能源成本的增长和环境问题的日益突出使得数据中心面临严峻挑战,引进经济环保的新能源已经迫在眉睫.太阳能和风能是目前最具前景的两种新能源,不仅获取方式简单,在全球大部分地区广泛存在,而且环保无污染,但是新能源的间歇性、不稳定性和突变性等特点,导致数据中心无法有效适应新能源.为此,各大数据中心开始
云计算依靠自身优秀的性能,灵活的扩展性,低廉的价格吸引着国内外企业将自身的业务迁移到云上.但是随着云上企业数量增多、任务种类增多、性能特征变复杂,用户很难在运行成本与服务需求的平衡中实现最优,所以用户为了简化操作申请过多的资源,造成了使用成本增加.许多典型的解决资源利用率低下的问题,都是从云提供商的角度优化放置算法,而用户选择将限制资源利用率增加;也有一些方法通过在云平台下的任务性能短时间采集并预
本文首先基于Landau Khalatnikov理论通过使用BSIM4模型来对NC-FeFETs进行建模,分析NC-FeFETs具有的栅极电压放大作用.之后考虑到阻尼常数对器件性能的影响,设置阻尼常数为主要变量,引入了基于反相器的延迟测试、功耗测试以及再生性测试,将得到的结果与相同条件下的MOSFETs进行对比,当阻尼常数为0.0001Ω·m时,NC-FeFETs在延时上与MOSFETs相当,并且
NVMe全称Non-Volatile Memory Express,非易失性存储器标准,是PCI-E SSD的一种规范。命名空间管理是最新NVMe规范中的一个固件功能,本文在基于PCI-E SSD的测试平台上设计和实现了命名空间的创建和删除算法,使得一个固态盘可以当做若干个固态盘使用;还实现了设备端的命令处理流程,可以通过命令分发、命令解析、命令数据传输等任务去处理在设备端的命令,最后根据NVMe