论文部分内容阅读
摘要：伴随经济的发展，社会对高质量的专业计量服务、科学完善的质量管理体系、高效的办公自动化管理都有非常高的要求，随之而来的是信息量急剧增加，用户对计算机系统的高性能计算和大容量存储的需求不断增长。这使得高性能计算系统与大容量存储系统必然走向分离。基于此本文研究提供了一个很好的思路与方案，实现了对庞大计量数据存储与复杂性计算的分离。
关键词：高性能计算 大容量存储 数据存储
中图分类号：TP311 文献标识码：A 文章编号：1672-3791（2015）07（b）-0000-00
该文以现有的计量信息管理平台为基础，借助光纤通道技术的存储局域网（SAN），改变现有的DAS方式，并利用集中存储和分布式计算的技术将业务数据和系统数据从传统的计算机系统中分离出来，进而实现存储与计算的分离。按照这种模式构建的计算机系统，不仅能够极大地发挥计算机系统的灵活性和可用性，而且能够通过动态资源调度和组合充分发挥现有计算资源与存储资源的价值。并且还能够快速、灵活地适应新的业务发展的模式，真正实现“随需计算”，使其能够更好地满足用户及业务应用的需求。
1相关技术国内外发展现状
从20世纪的70年代以来，大多数计算机系统，尤其是大型机，采用传统的DAS（Direct—At—tached Storage）方式直接连接存储设备。近几年，随着计算机技术及网络技术的飞速发展，使得高性能计算资源和大容量存储资源在物理上的分离成为可能。将高性能计算系统与大容量存储系统进行科学分离是计量管理的必然趋势。
2本研究的设计原理
本研究的设计主要包括以下两个方面：首先，改变连接模式的方面，为了改变现有的DAS连接模式，考虑到计量信息数据的海量性、重要性等因素，我们将采用移动存储和虚拟技术相结合的方式保证数据的安全；其次，借助光纤通道技术搭建存储局域网，计算资源与存储资源通过网络相连，系统数据、用户数据和公共数据均存储在存储资源中，通过管理台来管理系统数据和计算资源之间的映射关系。使得每一个计算资源都可以通过绑定某一个系统数据，并分配相应的用户业务数据，以构成特定的业务系统；其次，大容量存储方面，数据的安全靠数据存储的技术来保证。如今国内的政府行业或企事业单位正在进行数据中心的集中，而不是集中服务器，只有做到数据信息的共享，全面收集数据并对其进行分析，才能提高政府行业或企事业单位的工作效率，才能真正做到利用基础数据对未来的发展进行决策分析。为了使存储系统拥有更安全的数据保护特性、更高的可靠性、更高的可用性、更灵活的扩展性及平滑增容的特性等，我们改变了拓扑连接技术，利用目前公认最具有发展潜力的开放式SAN存储技术，解决“信息孤岛”的问题。
3 与业务管理系统的衔接
为了将本项研究技术应用到实际工作中，同时也验证其实用性，特与吉林省能源计量数据采集分析系统相衔接，该系统是一套面向全省的能源计量数据采集分析业务系统。它的工作目标是充分利用通讯网络、自动化控制等高新技术，实现对重点用能单位能源计量工作的动态管理及对重点用能单位各耗能环节用能状况的实时监测和动态分析，为用能单位内部和相关管理部门提供高效、及时、全面、准确的用能数据，达到加强科学用能管理、挖掘节能潜力、分析耗能问题的综合节能降耗目标。政府节能主管部门可以通过对各项能耗数据实施全面监测，准确及时地评估重点用能单位用能状况，客观、公正、科学地评价节能降耗工作。该系统的架构图如图1所示。
图1 系统应用架构图
存储系统如图2所示。
图2 系统存储层面图
通过以上两个图可以看出该套业务系统不仅需要对基础信息的录入还需要对耗能现场的数据进行实时采集并加以计算最终形成分析统计的结果，因此，其访问量、存储量、计算量都相当庞大，并且对系统的相应时间要求也比较高。而利用本项目的研究方法，经过与公共计算平台的对接，使得整个系统的业务处理能力得到很大的提升，即系统连续服务时间：不间断；画面数据刷新时间：≤3秒；联机检索数据平均响应时间：≤5秒；网络平均负荷率：≤30%，充分证明了本项目所提出的方案是合理的，实际得到的结果是明显的。
该系统的研发来源于吉林省公共计算平台开放课题“基于计量管理信息平台的高性能计算系统与数据存储系统分离技术的研究”，力图利用一种计算与存储的分离技术，解决计量领域大数据的处理问题。并且通过将其应用于实际业务系统得到良好的实际效果。证明其具有很大的延伸性和发展空间，具有很大的推广价值。
参考文献
[1]张伟伟.面向I/O密集型应用的高性能计算机存储系统性能优化方法研究[D].长沙：国防科技技术大学，2012.
[2] 徐海琛，张献华，等.高性能计算技术与大容量存储技术概述[J].国土资源信息化，2004.
[3] 马一力，等.存储与计算的分离[J].计算机研究与发展，2005.
关键词：高性能计算 大容量存储 数据存储
中图分类号：TP311 文献标识码：A 文章编号：1672-3791（2015）07（b）-0000-00
该文以现有的计量信息管理平台为基础，借助光纤通道技术的存储局域网（SAN），改变现有的DAS方式，并利用集中存储和分布式计算的技术将业务数据和系统数据从传统的计算机系统中分离出来，进而实现存储与计算的分离。按照这种模式构建的计算机系统，不仅能够极大地发挥计算机系统的灵活性和可用性，而且能够通过动态资源调度和组合充分发挥现有计算资源与存储资源的价值。并且还能够快速、灵活地适应新的业务发展的模式，真正实现“随需计算”，使其能够更好地满足用户及业务应用的需求。
1相关技术国内外发展现状
从20世纪的70年代以来，大多数计算机系统，尤其是大型机，采用传统的DAS（Direct—At—tached Storage）方式直接连接存储设备。近几年，随着计算机技术及网络技术的飞速发展，使得高性能计算资源和大容量存储资源在物理上的分离成为可能。将高性能计算系统与大容量存储系统进行科学分离是计量管理的必然趋势。
2本研究的设计原理
本研究的设计主要包括以下两个方面：首先，改变连接模式的方面，为了改变现有的DAS连接模式，考虑到计量信息数据的海量性、重要性等因素，我们将采用移动存储和虚拟技术相结合的方式保证数据的安全；其次，借助光纤通道技术搭建存储局域网，计算资源与存储资源通过网络相连，系统数据、用户数据和公共数据均存储在存储资源中，通过管理台来管理系统数据和计算资源之间的映射关系。使得每一个计算资源都可以通过绑定某一个系统数据，并分配相应的用户业务数据，以构成特定的业务系统；其次，大容量存储方面，数据的安全靠数据存储的技术来保证。如今国内的政府行业或企事业单位正在进行数据中心的集中，而不是集中服务器，只有做到数据信息的共享，全面收集数据并对其进行分析，才能提高政府行业或企事业单位的工作效率，才能真正做到利用基础数据对未来的发展进行决策分析。为了使存储系统拥有更安全的数据保护特性、更高的可靠性、更高的可用性、更灵活的扩展性及平滑增容的特性等，我们改变了拓扑连接技术，利用目前公认最具有发展潜力的开放式SAN存储技术，解决“信息孤岛”的问题。
3 与业务管理系统的衔接
为了将本项研究技术应用到实际工作中，同时也验证其实用性，特与吉林省能源计量数据采集分析系统相衔接，该系统是一套面向全省的能源计量数据采集分析业务系统。它的工作目标是充分利用通讯网络、自动化控制等高新技术，实现对重点用能单位能源计量工作的动态管理及对重点用能单位各耗能环节用能状况的实时监测和动态分析，为用能单位内部和相关管理部门提供高效、及时、全面、准确的用能数据，达到加强科学用能管理、挖掘节能潜力、分析耗能问题的综合节能降耗目标。政府节能主管部门可以通过对各项能耗数据实施全面监测，准确及时地评估重点用能单位用能状况，客观、公正、科学地评价节能降耗工作。该系统的架构图如图1所示。
图1 系统应用架构图
存储系统如图2所示。
图2 系统存储层面图
通过以上两个图可以看出该套业务系统不仅需要对基础信息的录入还需要对耗能现场的数据进行实时采集并加以计算最终形成分析统计的结果，因此，其访问量、存储量、计算量都相当庞大，并且对系统的相应时间要求也比较高。而利用本项目的研究方法，经过与公共计算平台的对接，使得整个系统的业务处理能力得到很大的提升，即系统连续服务时间：不间断；画面数据刷新时间：≤3秒；联机检索数据平均响应时间：≤5秒；网络平均负荷率：≤30%，充分证明了本项目所提出的方案是合理的，实际得到的结果是明显的。
该系统的研发来源于吉林省公共计算平台开放课题“基于计量管理信息平台的高性能计算系统与数据存储系统分离技术的研究”，力图利用一种计算与存储的分离技术，解决计量领域大数据的处理问题。并且通过将其应用于实际业务系统得到良好的实际效果。证明其具有很大的延伸性和发展空间，具有很大的推广价值。
参考文献
[1]张伟伟.面向I/O密集型应用的高性能计算机存储系统性能优化方法研究[D].长沙：国防科技技术大学，2012.
[2] 徐海琛，张献华，等.高性能计算技术与大容量存储技术概述[J].国土资源信息化，2004.
[3] 马一力，等.存储与计算的分离[J].计算机研究与发展，2005.