纠删码内存集群更新方案研究

• 作 者: 夏杰
• 出 处: 华中科技大学
• 发表日期: 2004年期
• 关键词: 纠删码 内存集群 更新窗口 分组更新 混合更新

近年来,纠删码内存方案因其响应延时低、空间利用率高等优点,得到了越来越多研究者的关注。现有纠删码内存研究主要针对只读负载,侧重于失效恢复和负载均衡方面,甚少涉及数据更新。事实上,纠删码内存系统也需要考虑数据更新操作。通常地,现有数据更新过程采用串行方式来实现,无法充分发挥内存集群的硬件性能。针对此,对纠删码内存集群下数据更新机制进行研究,发挥硬件并行能力以提高数据更新性能。为了解决串行更新方案更新效率低的问题,提出了一种基于分组的并行更新策略GU（Group Update）,其基本思路是:通过设置更新窗口,对该时间窗口内所有的更新请求进行分组,再并行更新单个分组内的多个更新请求。与串行更新每次完成一个更新请求不同,GU策略每次能够完成一组更新请求。在GU策略的基础上,提出一种混合式并行更新方案Hybrid-U_[gu]（Hybrid Update）,其核心思想是:根据不同的更新分组所请求数据分块的分布特征,采用匹配的更新方法,从而降低网络流量,即,更新流量。具体地,将GU策略应用到四种纠删码磁盘存储集群的串行更新方案（DUM、PUM、PUM-P、PDN-P）中,得到四种相应的纠删码内存集群并行更新方案(DUM_[gu]、PUM_[gu]、PUM-P_[gu]、PDN-P_[gu]),则混合式式并行更新方案Hybrid-U_[gu]是该四种内存集群并行更新方案的某种组合,如‘DUM_[gu]+PUM-P^[gu]’。由Benchmark程序YCSB生成写更新Trace,并在真实内存集群重新播放该Trace,从而对上述串行更新方案和并行更新方案的平均更新时间、更新流量进行了量化评估。实验结果表明,相对于串行更新方案,采用GU策略的并行更新方案能够减少平均更新时间约53.6%。相对于单一的并行更新方案,混合式并行更新方案Hybrid-U_[gu]方案能够降低更新流量约6%³0%。