论文部分内容阅读
随着云服务技术的发展和成熟，越来越多的机构、公司、个人开始接受并使用云平台。云存储服务是云平台中的核心基础服务之一。近年来，云存储系统响应延迟优化的相关问题吸引了学术界和工业界的广泛关注。考虑到需要服务的用户规模，以及应用的复杂性（服务一个面向应用的请求可能需要执行数百次存储访问），降低云存储系统的尾响应延迟已成为对其进行性能优化的一个重要方面。云存储系统的尾响应延迟是指系统中最慢的少量数据访问请求对应的响应延迟。通常使用系统的高百分位延迟对其进行衡量。所谓高百分位延迟是指系统响应延迟的高百分位数。本文围绕云存储系统的尾延迟优化问题提出了相应的应对方案。
针对面向Web应用的云对象存储系统的请求处理方式，建立了一个可以预测其尾延迟的基于分析的性能模型COSModel，具有适用范围广，预测结果准确的特点。已有的性能模型可分为基于模拟的性能模型和基于分析的性能模型。基于模拟的性能模型需要预先在不同负载下对系统进行基准测试，并根据基准测试的结果预测系统性能。COSModel则将云对象存储系统抽象为一个排队论模型，通过求解该排队论模型得到系统的尾延迟。由于 COSModel 无需使用与负载相关的基准测试结果进行预测，相比于基于模拟的性能模型，COSModel克服了其预测准确度易受工作负载变化影响的缺点。已有的基于分析的模型忽略了部分影响系统尾延迟的重要因素，包括：请求处理过程中数据定位和元数据读取涉及访问存储设备，云对象存储系统使用基于事件驱动的并发处理架构，请求到达存储服务器后需要等待被接受等。COSModel 综合考虑了这些因素对尾延迟的影响。相比于已有的基于分析的性能模型，COSModel克服了其无法准确预测云对象存储系统尾延迟的缺点。实验数据表明， COSModel的平均预测误差为2.63%，最高可将基准模型的预测误差降低90%。
针对数据密集型应用进行数据访问时具有偏斜性和突发性的特点，提出了一种基于云对象存储系统的面向突发性负载的选择性副本方法 Lemming，具有能够在突发性负载下有效利用系统空闲资源降低系统尾延迟的特点。选择性副本是指为访问热度不同的数据存储不同数量的副本，以提高系统在偏斜性负载下的性能。由于需要执行数据迁移，频繁改变数据的副本数量会对系统尾延迟造成显著的负面影响，因此，已有的选择性副本方法只考虑负载在较长时间周期内的变化。为了应对突发负载在短期内不可预测的变化，Lemming 采用了一种激进的策略调整系统中数据的副本数量和布局，即，以更加频繁地执行数据迁移为代价，从而尽可能降低突发负载对系统响应延迟的影响。为了降低为数据创建额外副本引入的性能开销，Lemming 提出了一种两阶段数据迁移方法，即，先利用正常的数据访问将数据从源节点（通常为重负载节点）读取到存储客户端，再将数据从存储客户端迁移至目标节点。相比于直接从源节点迁移数据到目的节点，使用两阶段数据迁移可以避免在重负载的源节点上执行额外的数据读取操作。实验数据表明，Lemming 最高可将系统的平均响应延迟降低95.4%，最高可将系统的第99百分位延迟降低98.0%。
针对延迟敏感的分布式存储系统中要求数据访问具有低延迟的特点，提出了一种基于新型网络设备（可编程网络交换机和网络加速器）的副本选择方法NetRS，以提高副本选择效率，降低系统尾延迟。在延迟敏感的存储系统中，通常使用客户端直接选择副本代替传统的集中式副本选择方法，从而降低执行副本选择的延迟开销对系统响应延迟的影响。然而，基于客户端的副本选择方法通常无法及时获取系统全局状态信息，且大量独立的副本选择节点之间可能同时选择同一个副本服务器而发生冲突，最终导致系统执行副本选择的效率低下。NetRS有效利用了新型网络设备的可编程能力，将大量客户端的副本选择任务交给少量的网络设备执行，从而有效提高副本选择的效率。为了优化副本选择节点在复杂数据中心网络中的布局，NetRS将该布局问题进行了形式化，并提出可快速求解其近似最优布局的启发式算法。基于对数据包格式和网络设备请求处理流水线的设计，NetRS 可以保持对客户端透明且支持多种不同的副本选择算法。实验数据表明，NetRS 最高可将系统的平均响应延迟降低50.3%，最高可将系统的第99百分位延迟降低69.7%。
针对面向Web应用的云对象存储系统的请求处理方式，建立了一个可以预测其尾延迟的基于分析的性能模型COSModel，具有适用范围广，预测结果准确的特点。已有的性能模型可分为基于模拟的性能模型和基于分析的性能模型。基于模拟的性能模型需要预先在不同负载下对系统进行基准测试，并根据基准测试的结果预测系统性能。COSModel则将云对象存储系统抽象为一个排队论模型，通过求解该排队论模型得到系统的尾延迟。由于 COSModel 无需使用与负载相关的基准测试结果进行预测，相比于基于模拟的性能模型，COSModel克服了其预测准确度易受工作负载变化影响的缺点。已有的基于分析的模型忽略了部分影响系统尾延迟的重要因素，包括：请求处理过程中数据定位和元数据读取涉及访问存储设备，云对象存储系统使用基于事件驱动的并发处理架构，请求到达存储服务器后需要等待被接受等。COSModel 综合考虑了这些因素对尾延迟的影响。相比于已有的基于分析的性能模型，COSModel克服了其无法准确预测云对象存储系统尾延迟的缺点。实验数据表明， COSModel的平均预测误差为2.63%，最高可将基准模型的预测误差降低90%。
针对数据密集型应用进行数据访问时具有偏斜性和突发性的特点，提出了一种基于云对象存储系统的面向突发性负载的选择性副本方法 Lemming，具有能够在突发性负载下有效利用系统空闲资源降低系统尾延迟的特点。选择性副本是指为访问热度不同的数据存储不同数量的副本，以提高系统在偏斜性负载下的性能。由于需要执行数据迁移，频繁改变数据的副本数量会对系统尾延迟造成显著的负面影响，因此，已有的选择性副本方法只考虑负载在较长时间周期内的变化。为了应对突发负载在短期内不可预测的变化，Lemming 采用了一种激进的策略调整系统中数据的副本数量和布局，即，以更加频繁地执行数据迁移为代价，从而尽可能降低突发负载对系统响应延迟的影响。为了降低为数据创建额外副本引入的性能开销，Lemming 提出了一种两阶段数据迁移方法，即，先利用正常的数据访问将数据从源节点（通常为重负载节点）读取到存储客户端，再将数据从存储客户端迁移至目标节点。相比于直接从源节点迁移数据到目的节点，使用两阶段数据迁移可以避免在重负载的源节点上执行额外的数据读取操作。实验数据表明，Lemming 最高可将系统的平均响应延迟降低95.4%，最高可将系统的第99百分位延迟降低98.0%。
针对延迟敏感的分布式存储系统中要求数据访问具有低延迟的特点，提出了一种基于新型网络设备（可编程网络交换机和网络加速器）的副本选择方法NetRS，以提高副本选择效率，降低系统尾延迟。在延迟敏感的存储系统中，通常使用客户端直接选择副本代替传统的集中式副本选择方法，从而降低执行副本选择的延迟开销对系统响应延迟的影响。然而，基于客户端的副本选择方法通常无法及时获取系统全局状态信息，且大量独立的副本选择节点之间可能同时选择同一个副本服务器而发生冲突，最终导致系统执行副本选择的效率低下。NetRS有效利用了新型网络设备的可编程能力，将大量客户端的副本选择任务交给少量的网络设备执行，从而有效提高副本选择的效率。为了优化副本选择节点在复杂数据中心网络中的布局，NetRS将该布局问题进行了形式化，并提出可快速求解其近似最优布局的启发式算法。基于对数据包格式和网络设备请求处理流水线的设计，NetRS 可以保持对客户端透明且支持多种不同的副本选择算法。实验数据表明，NetRS 最高可将系统的平均响应延迟降低50.3%，最高可将系统的第99百分位延迟降低69.7%。