论文部分内容阅读
在这个高速发展的时代,互联网技术得到进一步发展。信息技术对社会经济有着显著的促进作用,而信息技术中的奠基石则是数据库技术,它是信息存储的载体。传统的磁盘数据库在数据库技术中一直扮演着重要的角色,并且在传统的OLTP场景中也取得了不错的成绩。然而,人们对应用响应速度的要求越来越高,在许多高实时性的场景下,传统的磁盘数据库表现得不尽人意。伴随着内存技术的发展,内存的容量越来越大,价格也越来越低,其优越的存取速度使得内存数据库开始在各种场景中被大量应用。但是目前内存数据库依旧存在着诸多亟待解决的问题,包括数据安全性、系统快速恢复和疯狂占用内存等问题。这些问题都来源于其持久化方案的缺陷。常见的持久化方案就包括日志和快照两种方式,这两种方式只是对数据进行简单备份,并且快照方式还存在数据安全的重大问题。本文针对以上内存数据库在持久化方案上的不足,提出了优化方案:在完全兼容原生系统的基础上,对持久化方案进行改进。研究将原生系统中的持久化部分单独分离出来,交由独立的存储引擎处理,通过冷数据淘汰机制来降低内存占用率。在本论文中,主要将完成下面这些工作内容:1)从当前时代背景出发,深入调研内存数据持久化方案优化的现实性意义和该领域的发展现状。在充分调研的基础上,完成对系统的整体架构设计和功能具体实现,并使其性能达到较好水平。2)针对内存数据库中数据不完全安全的问题,提出利用独立存储引擎作为持久层,单独完成数据的持久化工作。利用存储引擎高效的跳表结构,提高数据写入和合并的效率。3)针对内存数据库在长期运作下占用大量内存和系统恢复缓慢的问题,提出了利用冷数据淘汰机制。将不常使用的数据从内存中除去,提高内存利用率,待到被重新读取的时候,再将数据加载到内存中,实现系统空重启。4)在完成系统设计后,构建多个workload对系统进行多个维度的测试,包括功能测试和性能测试,并将本系统与原生系统进行对比测试,结合测试结果进行相应的分析。实验结果表明,对内存数据库持久化方案的优化,数据库性能达到预期要求,并解决了持久化方面的一些问题。