论文部分内容阅读
Budd Van Lines公司副总裁兼CIO Douglas Soltesz正面临一个常见问题：数据如潮水般涌来，似乎没完没了。
“就算给我再大的存储容量，我也能将它塞满。”Douglas Soltesz指出，来自该公司办公室和仓库的近四个月的高清监控视频如今在其Nexenta Stor NAS和SAN平台上占用了60TB的存储空间。这类视频是公司存储需求每年以50%～80%的速度增长的原因之一。
十年来，凭借硬驱技术使得存储密度不断增加，但截至目前此种形式已经遭遇瓶颈，IT部门正在期待增加存储密度的新技术，比如叠瓦式磁记录（SMR）和相变内存（PCM）。而在此期间，企业用户则借助软件来降低成本，并提高数据访问速度，这些软件可以对普通磁盘驱动器、固态硬盘和服务器端闪存内存上的数据进行虚拟化、重复数据删除和缓存等处理。
磁盘密度越来越高
存储厂商希捷科技公司的高级副总裁Mark Re表示，经过十年来密度稳步增长的历程后，使用垂直磁记录（PMR）技术的磁盘，其每平方英寸的最大存储容量在1TB左右。
市场研究公司IHS iSuppli的存储分析师Fang Zhang称，在今年下半年，希捷将开始交付使用SMR的驱动器：通过在磁盘上叠放数据磁道，就像在屋顶上叠放木瓦那样，从而将更多数据“塞”到磁盘上。这最终有望将驱动器密度提高到每平方英寸1.3TB～1.4TB；希捷的SRM驱动器明年会开始出现在台式机上，之后会扩大到存储阵列等其他平台上。
此外，下一个技术进展就是热辅助磁记录（HAMR），这有望将磁盘驱动器的密度提高到每平方英寸5TB。这项技术使用小小的激光器改变磁盘磁性。希捷的第一批HAMR驱动器预计会在2015年或2016年面市。
而今年第四季度，希捷的劲敌西部数据预计也会发布充氦的磁盘驱动器。氦提供了比空气要小的阻力，因而可以为驱动器另外添加一两张存储盘片。额外盘片可以将PMR驱动器的最大容量从今天的4TB提高至5TB或6TB。西部数据方面称，他们计划在两年内发布SMR和HAMR驱动器；而未来，他们希望通过使用自组装分子和纳米印制（nanoimprinting）技术让硬驱密度翻番。
在闪存方面，厂商们不仅在努力提高密度，还在努力提高服务器端闪存存储和固态硬盘里面所用闪存的可用容量和使用寿命。
惠普存储部门的首席技术官Milan Shetti表示，大多数闪存和固态硬盘基于NAND，到2016年前后，它们将被一种名为相变内存（PCM）的新型非易失性内存所取代。不像磁记录技术通过改变物理内存部分的磁场方向记录数据，PCM运用热量改变存储介质的导电性。IBM苏黎世研究实验室的内存和探头技术经理Haris Pozidis表示，PCM驱动器不仅速度快于NAND闪存，内存单元能经受的读写周期也要比NAND闪存多两三倍。对于像高速缓存这些不断读写数据的应用来说，这点很重要。
Shetti预测，最初的驱动器容量大约在200GB至250GB，驱动器大小到2018年至少翻番。他强调，这些都将是可用容量，目前的固态硬盘却不是这样：原始容量中15%～20%已被预留，用来更换渐渐损耗的内存单元。Shetti预计每GB价格会与目前闪驱的价格相当，这意味着价格会下降15%～20%，因为全部的原始容量实际上都是可用容量。
重复数据删除必不可少
在过去的10年，重复数据删除（指消除数据重复副本的方法）由改变游戏规则的新颖技术变成必不可少的功能。
观察人士表示，别指望重复数据删除从硬驱删除的数据量方面出现任何突破性增加。目前，重复数据删除通常能达到的数据缩减比是7∶1或10∶1。将来的改进会来自对数据进行重复数据删除速度方面的提升和整个企业使用标准的重复数据删除系统。由于重复数据删除在硬件而不是在软件里面进行，并在速度比今天的NAND闪存更快的非易失性内存（如PCM）里面进行，速度会因而提升。Shetti预测“每个非易失性内存控制器都会内置重复数据删除技术。”他还指出，不像磁盘驱动器，重复数据删除不会引起非易失性内存驱动器上出现碎片。
内置重复数据删除是指数据经过重复数据删除处理后加以存储，它减少了将数据从主存储器存储到备份和复制副本的需求。Pure Storage称，其内置重复数据删除让闪存阵列得以存储多达5至10倍的数据。
观察人士还预计重复数据删除的应用范围会从传统上用于备份扩大到其他应用环境以及更多的计算和存储设备。戴尔公司称，其计划把收购Ocarina后获得的重复数据删除技术集成到EqualLogic和Compellant产品系列中，“首先，我们会把它与压缩技术一起用于快照之类的数据，然后用于更常访问的数据和文件。”戴尔存储部门产品营销执行董事Travis Vigil说。
惠普存储部门的产品营销主管Sean Kinney预测，统一的重复数据删除平台会大行其道，企业可以将这种平台用于所有的应用和存储。这不仅有望减少企业购买的存储系统数量，还有望降低许可、培训和管理方面的成本。
性能遇上速度
一些用户升级存储系统并不是完全由于他们在管理大量数据方面需要帮助，他们同时还需要迅速访问数据。
凯斯西储大学正在将100TB的研究文件数据从EMC Celerra NS480转移到Panasas ActiveStor 8以便迅速分析，另将65TB的行政管理结构化数据转移到Nexsan NST 5310。该学校信息技术服务设计部高级技术主管Brian Christian表示，除了提升性能外，用户希望创建容量多达600TB的单一名称空间，这远高于EMC和NetApp两款产品的64TB这一极限。
“我们的第一个小型高性能集群使用了充当网络文件服务器的传统NAS设备，该设备已不堪重负。我们与同事交流后发现，如果想获得所需的发展，就需要一个并行NAS。于是我们购买了Panasas产品。”Christian说。 为了提升性能，许多客户在服务器里面使用闪存，并且在存储阵列里面使用固态硬盘，以便先将对速度敏感的数据缓存起来，然后将数据写入到速度较慢，但价格较低、容量较高的普通硬驱上。
此外，NAS厂商NetApp也凭借EF540进入了闪存阵列市场。据了解，EF540具有稳定低延迟的性能、高可用性、整合数据保护机制以及提高企业存储效率的功能。
软件搭配普通磁盘
一些公司正在远离专有的软硬件，改用由软件管理的普通磁盘，在线营销SaaS提供商Constant Contact就是其中之一。
Constant Contact首席技术官Stefan Piesche说：“三年半前我加入公司时，主要的系统扩展方式是购买更多的存储系统、更快的存储系统以及更大更快的数据库服务器。”为了降低成本，满足公司每年15%～25%的存储增长需求，他将原先在3Par SAN上运行的IBM DB2数据库改用在戴尔服务器、普通磁盘和Fusion-io闪存卡上运行的MySQL和Cassandra NoSQL开源数据库。
Piesche指出，这个新平台不仅速度比旧存储系统“快了一个数量级”，还提供了更高的性能、可用性以及灾难恢复能力，同时也不需要繁重的管理。
而一些较新的厂商则将物理硬件形式的软件与磁盘和处理器封装起来。Gridstore的存储设备不仅可以对数据进行虚拟化处理，还能对存储控制器进行虚拟化处理，从而消除单一故障点，同时该设备还支持从许多服务器实现更快的并行数据访问。
另一种提高可扩展性的基于软件的方法便是将数据“片段”分布到多个物理数据库上。Cleversafe公司的dsNet技术也作为硬件设备来销售，它最适合处理由大小在50KB～100KB之间的对象组成的1PB以上的存储容量。该公司总裁兼首席执行官Chris Gladwin表示，这很适合通过互联网共享照片之类的应用。
下一个阶段
随着硬驱变得更大更快，闪存变得更大更可靠，开源存储架构日趋成熟，一些业界观察人士发觉企业应对数据洪流的方式出现了根本性变化。
Shetti预测，鉴于新的非易失性内存技术得到采用，随着新技术在成本上较之更高端的光纤通道和SAS磁盘更具竞争力，企业越来越不需要对固态硬盘与旋转磁盘之间的数据进行分层处理，容量更高、成本更低的SATA磁盘仍会有一席之地。但他同时也表示，封装的复杂性和不同的软件接口，将使得用户不能在同一系统中混合使用非易失性内存和SATA磁盘。
日立数据系统公司首席技术官休伯特·吉田（Hu Yoshida）指出，在3～5年内，就价格而言，闪驱会与高性能磁盘在同一水平线上。不过，如果厂商们添加更多的缓存，连普通硬驱也会提升速度。希捷预计，再过两三年，其产品线中的主角将是这类“混合”驱动器。
此外，云存储服务会提供速度慢但成本极低的归档服务，减轻企业内部的存储负担。比如说，亚马逊Glacier服务每月每GB的成本仅为1美分。咨询公司StorageIO创始人Greg Schulz说：“虽然恢复云数据需要3～5个小时，但不会超过从异地存储磁带恢复数据的时间，Glacier在成本上与磁带相比将颇具竞争力。”
与此同时，具有成本效益、低成本硬件和低成本开源软件等优点的云服务，仍将被许多IT部门所关注。比如说，Constant Contact正考虑“私有存储云”，即在亚马逊简单存储服务（S3）等提供商的系统上使用开源软件，这样做的好处就是成本低，它们可提供“几乎没有限制的横向扩展功能”。Piesche表示：“借助Cassandra，我希望将存储集群分散在分布式数据中心中，以实现灾难恢复，而这样做没有任何许可成本，没有任何复杂的设置，也没有任何人工干预。”
“就算给我再大的存储容量，我也能将它塞满。”Douglas Soltesz指出，来自该公司办公室和仓库的近四个月的高清监控视频如今在其Nexenta Stor NAS和SAN平台上占用了60TB的存储空间。这类视频是公司存储需求每年以50%～80%的速度增长的原因之一。
十年来，凭借硬驱技术使得存储密度不断增加，但截至目前此种形式已经遭遇瓶颈，IT部门正在期待增加存储密度的新技术，比如叠瓦式磁记录（SMR）和相变内存（PCM）。而在此期间，企业用户则借助软件来降低成本，并提高数据访问速度，这些软件可以对普通磁盘驱动器、固态硬盘和服务器端闪存内存上的数据进行虚拟化、重复数据删除和缓存等处理。
磁盘密度越来越高
存储厂商希捷科技公司的高级副总裁Mark Re表示，经过十年来密度稳步增长的历程后，使用垂直磁记录（PMR）技术的磁盘，其每平方英寸的最大存储容量在1TB左右。
市场研究公司IHS iSuppli的存储分析师Fang Zhang称，在今年下半年，希捷将开始交付使用SMR的驱动器：通过在磁盘上叠放数据磁道，就像在屋顶上叠放木瓦那样，从而将更多数据“塞”到磁盘上。这最终有望将驱动器密度提高到每平方英寸1.3TB～1.4TB；希捷的SRM驱动器明年会开始出现在台式机上，之后会扩大到存储阵列等其他平台上。
此外，下一个技术进展就是热辅助磁记录（HAMR），这有望将磁盘驱动器的密度提高到每平方英寸5TB。这项技术使用小小的激光器改变磁盘磁性。希捷的第一批HAMR驱动器预计会在2015年或2016年面市。
而今年第四季度，希捷的劲敌西部数据预计也会发布充氦的磁盘驱动器。氦提供了比空气要小的阻力，因而可以为驱动器另外添加一两张存储盘片。额外盘片可以将PMR驱动器的最大容量从今天的4TB提高至5TB或6TB。西部数据方面称，他们计划在两年内发布SMR和HAMR驱动器；而未来，他们希望通过使用自组装分子和纳米印制（nanoimprinting）技术让硬驱密度翻番。
在闪存方面，厂商们不仅在努力提高密度，还在努力提高服务器端闪存存储和固态硬盘里面所用闪存的可用容量和使用寿命。
惠普存储部门的首席技术官Milan Shetti表示，大多数闪存和固态硬盘基于NAND，到2016年前后，它们将被一种名为相变内存（PCM）的新型非易失性内存所取代。不像磁记录技术通过改变物理内存部分的磁场方向记录数据，PCM运用热量改变存储介质的导电性。IBM苏黎世研究实验室的内存和探头技术经理Haris Pozidis表示，PCM驱动器不仅速度快于NAND闪存，内存单元能经受的读写周期也要比NAND闪存多两三倍。对于像高速缓存这些不断读写数据的应用来说，这点很重要。
Shetti预测，最初的驱动器容量大约在200GB至250GB，驱动器大小到2018年至少翻番。他强调，这些都将是可用容量，目前的固态硬盘却不是这样：原始容量中15%～20%已被预留，用来更换渐渐损耗的内存单元。Shetti预计每GB价格会与目前闪驱的价格相当，这意味着价格会下降15%～20%，因为全部的原始容量实际上都是可用容量。
重复数据删除必不可少
在过去的10年，重复数据删除（指消除数据重复副本的方法）由改变游戏规则的新颖技术变成必不可少的功能。
观察人士表示，别指望重复数据删除从硬驱删除的数据量方面出现任何突破性增加。目前，重复数据删除通常能达到的数据缩减比是7∶1或10∶1。将来的改进会来自对数据进行重复数据删除速度方面的提升和整个企业使用标准的重复数据删除系统。由于重复数据删除在硬件而不是在软件里面进行，并在速度比今天的NAND闪存更快的非易失性内存（如PCM）里面进行，速度会因而提升。Shetti预测“每个非易失性内存控制器都会内置重复数据删除技术。”他还指出，不像磁盘驱动器，重复数据删除不会引起非易失性内存驱动器上出现碎片。
内置重复数据删除是指数据经过重复数据删除处理后加以存储，它减少了将数据从主存储器存储到备份和复制副本的需求。Pure Storage称，其内置重复数据删除让闪存阵列得以存储多达5至10倍的数据。
观察人士还预计重复数据删除的应用范围会从传统上用于备份扩大到其他应用环境以及更多的计算和存储设备。戴尔公司称，其计划把收购Ocarina后获得的重复数据删除技术集成到EqualLogic和Compellant产品系列中，“首先，我们会把它与压缩技术一起用于快照之类的数据，然后用于更常访问的数据和文件。”戴尔存储部门产品营销执行董事Travis Vigil说。
惠普存储部门的产品营销主管Sean Kinney预测，统一的重复数据删除平台会大行其道，企业可以将这种平台用于所有的应用和存储。这不仅有望减少企业购买的存储系统数量，还有望降低许可、培训和管理方面的成本。
性能遇上速度
一些用户升级存储系统并不是完全由于他们在管理大量数据方面需要帮助，他们同时还需要迅速访问数据。
凯斯西储大学正在将100TB的研究文件数据从EMC Celerra NS480转移到Panasas ActiveStor 8以便迅速分析，另将65TB的行政管理结构化数据转移到Nexsan NST 5310。该学校信息技术服务设计部高级技术主管Brian Christian表示，除了提升性能外，用户希望创建容量多达600TB的单一名称空间，这远高于EMC和NetApp两款产品的64TB这一极限。
“我们的第一个小型高性能集群使用了充当网络文件服务器的传统NAS设备，该设备已不堪重负。我们与同事交流后发现，如果想获得所需的发展，就需要一个并行NAS。于是我们购买了Panasas产品。”Christian说。 为了提升性能，许多客户在服务器里面使用闪存，并且在存储阵列里面使用固态硬盘，以便先将对速度敏感的数据缓存起来，然后将数据写入到速度较慢，但价格较低、容量较高的普通硬驱上。
此外，NAS厂商NetApp也凭借EF540进入了闪存阵列市场。据了解，EF540具有稳定低延迟的性能、高可用性、整合数据保护机制以及提高企业存储效率的功能。
软件搭配普通磁盘
一些公司正在远离专有的软硬件，改用由软件管理的普通磁盘，在线营销SaaS提供商Constant Contact就是其中之一。
Constant Contact首席技术官Stefan Piesche说：“三年半前我加入公司时，主要的系统扩展方式是购买更多的存储系统、更快的存储系统以及更大更快的数据库服务器。”为了降低成本，满足公司每年15%～25%的存储增长需求，他将原先在3Par SAN上运行的IBM DB2数据库改用在戴尔服务器、普通磁盘和Fusion-io闪存卡上运行的MySQL和Cassandra NoSQL开源数据库。
Piesche指出，这个新平台不仅速度比旧存储系统“快了一个数量级”，还提供了更高的性能、可用性以及灾难恢复能力，同时也不需要繁重的管理。
而一些较新的厂商则将物理硬件形式的软件与磁盘和处理器封装起来。Gridstore的存储设备不仅可以对数据进行虚拟化处理，还能对存储控制器进行虚拟化处理，从而消除单一故障点，同时该设备还支持从许多服务器实现更快的并行数据访问。
另一种提高可扩展性的基于软件的方法便是将数据“片段”分布到多个物理数据库上。Cleversafe公司的dsNet技术也作为硬件设备来销售，它最适合处理由大小在50KB～100KB之间的对象组成的1PB以上的存储容量。该公司总裁兼首席执行官Chris Gladwin表示，这很适合通过互联网共享照片之类的应用。
下一个阶段
随着硬驱变得更大更快，闪存变得更大更可靠，开源存储架构日趋成熟，一些业界观察人士发觉企业应对数据洪流的方式出现了根本性变化。
Shetti预测，鉴于新的非易失性内存技术得到采用，随着新技术在成本上较之更高端的光纤通道和SAS磁盘更具竞争力，企业越来越不需要对固态硬盘与旋转磁盘之间的数据进行分层处理，容量更高、成本更低的SATA磁盘仍会有一席之地。但他同时也表示，封装的复杂性和不同的软件接口，将使得用户不能在同一系统中混合使用非易失性内存和SATA磁盘。
日立数据系统公司首席技术官休伯特·吉田（Hu Yoshida）指出，在3～5年内，就价格而言，闪驱会与高性能磁盘在同一水平线上。不过，如果厂商们添加更多的缓存，连普通硬驱也会提升速度。希捷预计，再过两三年，其产品线中的主角将是这类“混合”驱动器。
此外，云存储服务会提供速度慢但成本极低的归档服务，减轻企业内部的存储负担。比如说，亚马逊Glacier服务每月每GB的成本仅为1美分。咨询公司StorageIO创始人Greg Schulz说：“虽然恢复云数据需要3～5个小时，但不会超过从异地存储磁带恢复数据的时间，Glacier在成本上与磁带相比将颇具竞争力。”
与此同时，具有成本效益、低成本硬件和低成本开源软件等优点的云服务，仍将被许多IT部门所关注。比如说，Constant Contact正考虑“私有存储云”，即在亚马逊简单存储服务（S3）等提供商的系统上使用开源软件，这样做的好处就是成本低，它们可提供“几乎没有限制的横向扩展功能”。Piesche表示：“借助Cassandra，我希望将存储集群分散在分布式数据中心中，以实现灾难恢复，而这样做没有任何许可成本，没有任何复杂的设置，也没有任何人工干预。”