论文部分内容阅读
摘要：河南交通规费征稽管理信息系统建成于2006年采用系统采用J2EE架构设计，使用JDBC访问数据库，运行在LINUX操作系统下，采用DB2大型数据库。并且在异地设有一个灾备数据库。本文主要阐述河南省交通规费征稽管理信息系统数据库的维护与优化。
关键词：数据库；安全；维护；优化
中图分类号：TP393.08 文献标识码：A文章编号：1007-9599 (2011) 16-0000-01
Henan Traffic Fees Collection Management Information System Database Maintenance and Optimization
Fan Qi,Kong Lingtao
(Henan Transportation and Communication Center,Zhengzhou450016,China)
Abstract:Stipulated Henan Zheng Ji management information system was built in 2006 using the system architecture using J2EE,using JDBC to access the database,running on the LINUX operating system,a large database using DB2.And in the off-site has a disaster recovery database.This article focuses on management information systems,Henan Province,Zheng Ji Stipulated database maintenance and optimization.
Keywords:Database;Security;Maintenance;Optimization
一、安全方面
首先，对于这个如此庞大的数据库，为了提高数据存储的安全性与可靠性，在数据库的使用方案要注意以下几点：对数据库的访问，用户名和密码加密存储，以免他人获取；关键信息加密存储；数据库的用户角色和权限必须严格设置，应该尽量创建视图以保护数据库的表；对于数据库的访问，最好采用存储过程，不但可以提高效率，同时也可以提高数据库的访问安全性；所有交易对数据库的写入，采用事务方式一次完成，保障数据的完整性。其次，省级数据集中后，系统的技术性和管理性安全就成为河南交通规费征稽管理信息系统最为重要的技术风险。这种风险来自三个方面：计算机系统停机、磁盘列阵破坏等不确定因素；来自网络外部的数字攻击；计算机病毒破坏等因素。第三，系统数据集中后，系统面临者大量业务请求和不断增加的业务内容，为了保障业务通畅的运行，系统的性能就成为河南交通规费征稽管理信息系统很重要的技术风险。这种风险来自三个方面：业务量加大，网点数量上升，业务内容不断增加；系统网络、硬件上升能力有限；系统软件能力限制。最后，为保障规费征稽业务的连续性，确保系统稳健运行，必须建立相应的数据备份中心。数据集中后必须尽快实现备份中心与生产中心相互镜像，支持双向恢复，保证数据一致性。
二、性能方面
为了最大程度提高系统性能，从应用系统设计的角度出发，需注意以下几点：
（一）客户端对本地业务数据进行缓存，加快业务操作访问本地数据时的响应速度，比如一些数据字典等数据，可以在本地预存，加快业务处理速度。
（二）对应用服务器的数据做缓存处理和分步加载，以提高访问远程数据的响应速度。对于一些查询结果较多的记录，采用数据缓存和分步加载，可以加快响应时间，减少网络负载。
（三）对各类SQL语句进行优化，以提高查询速度。
（四）对大量复杂的远程查询使用存储过程，以提高速度。
（五）对报表统计采用算法优化和临时表以提高速度。
（六）业务处理环境和统计查询环境相分离。由于大数据量的查询、统计，耗费资源比较高，为了不影响正常的业务处理和提高查询、统计速度，采用业务处理环境和统计查询环境分离措施。
（七）数据库对不同类型的税局分区存储，保证数据访问的效率。由于河南交通规费业务数据量大，且保存周期长，对于历史数据、不经常使用数据，与征费数据放在不同的分区商，提高查询速度。
三、具体日常工作
（一）总体优化说明。目前数据库的设置已经基于硬件和应用系统负载情况的综合考虑进行优化，此后的修改不应大范围调整。日常维护中，应注意索引的使用情况，尽可能减少表上无用或重复索引的数目，尽可能删除选择性很差的索引。同时，在每日高峰交易过后，执行runstats操作。当表中的数据量发生大范围变更（删除历史数据/批量插入大量数据/数据迁移等操作）后，也应及时运行runstats更新统计信息。
（二）运行中，执行效率低下时需做的工作：（1）检查数据库日志db2diag.log/db2inst1.nfy文件中的错误信息，可以忽略通讯上的错误警告，但对于某些数据库内存配置的不足（insufficent memory），锁升级lock escalation等错误需要重点关注。（2）对于内存不足，可以动态调整警告信息提示的各种内存参数大小，以128为单位递增，不可以数量级形式进行大范围调整。（3）对于bufferpool大小，首先可以将报表等交易推迟执行，同时缩小存储报表信息的表空间所占用的bufferpool大小。（4）发生锁升级时，可动态增加锁空间，适当减少命中率很高的bufferpool大小。锁空间（db cfg：locklist）增加以100M为单位，逐步增加，总量不可超过700M。如果增大LockList后数据库仍不断发生锁升级，则需要获取SQL语句的snapshot，分析SQL语句的查询计划，检查是否使用了相应索引。（5）定期获取执行较慢的SQL语句，分析其查询计划，必要时刻重新建立一次该表上的相应索引，或收集该表上的统计信息。（6）高峰处理时应关闭questCenter等监控工具，仅在数据库运行异常时重新开启监控。速度较慢时先执行/home/db2inst1/test/getsnap.sh暂时收集快照数据进行分析，找不到瓶颈时再使用questCenter。（7）在应用逻辑允许的情况下，考虑增加最频繁的缴费交易中select...withur方法，提高查询速度，减少锁资源的使用。（8）定期监控数据库日志空间，数据库日志磁盘空间不足时，可删除那些以往备份数据库操作前的日志。
（三）远程灾备主机的设置：可参考使用目前数据库的参数设置，不能因为其内存数目较多，就乘以相应的倍数。并可适当增加BUFFERPOOL的大小，但是，单个BUFFERPOOL的大小最大不可超过1.2G。
（四）每日、每周所作的工作。（1）每日都要备份数据库，执行一次runstat.sh脚本命令，并重新启动Linux服务器，释放积压内存。（2）每周需要执行reorgchk update statistics命令，检查是否需要reorg的表以及需要重建的索引；对需要进行重组的表执行reorg操作。
（五）与性能相关的关键参数的调整范围：当前的参数设置已经考虑了系统资源和系统负荷的情况，不推荐随意更改，仅在数据库运行不正常情况下才推荐修改，并且参数的调整请在推荐范围内调整，如果调整到范围的最高值后，仍然出现性能问题，建议从应用角度上分析，或从SQL运行角度上查找查询路径是否优化。
四、结束语
虽然我国实行税费改革后，养路费征收以全部停止，该系统也停止了使用，但现实工作中类似该系统的中大型数据库还是很多的，希望能给大家维护自己的数据库起到一个借鉴的作用。
关键词：数据库；安全；维护；优化
中图分类号：TP393.08 文献标识码：A文章编号：1007-9599 (2011) 16-0000-01
Henan Traffic Fees Collection Management Information System Database Maintenance and Optimization
Fan Qi,Kong Lingtao
(Henan Transportation and Communication Center,Zhengzhou450016,China)
Abstract:Stipulated Henan Zheng Ji management information system was built in 2006 using the system architecture using J2EE,using JDBC to access the database,running on the LINUX operating system,a large database using DB2.And in the off-site has a disaster recovery database.This article focuses on management information systems,Henan Province,Zheng Ji Stipulated database maintenance and optimization.
Keywords:Database;Security;Maintenance;Optimization
一、安全方面
首先，对于这个如此庞大的数据库，为了提高数据存储的安全性与可靠性，在数据库的使用方案要注意以下几点：对数据库的访问，用户名和密码加密存储，以免他人获取；关键信息加密存储；数据库的用户角色和权限必须严格设置，应该尽量创建视图以保护数据库的表；对于数据库的访问，最好采用存储过程，不但可以提高效率，同时也可以提高数据库的访问安全性；所有交易对数据库的写入，采用事务方式一次完成，保障数据的完整性。其次，省级数据集中后，系统的技术性和管理性安全就成为河南交通规费征稽管理信息系统最为重要的技术风险。这种风险来自三个方面：计算机系统停机、磁盘列阵破坏等不确定因素；来自网络外部的数字攻击；计算机病毒破坏等因素。第三，系统数据集中后，系统面临者大量业务请求和不断增加的业务内容，为了保障业务通畅的运行，系统的性能就成为河南交通规费征稽管理信息系统很重要的技术风险。这种风险来自三个方面：业务量加大，网点数量上升，业务内容不断增加；系统网络、硬件上升能力有限；系统软件能力限制。最后，为保障规费征稽业务的连续性，确保系统稳健运行，必须建立相应的数据备份中心。数据集中后必须尽快实现备份中心与生产中心相互镜像，支持双向恢复，保证数据一致性。
二、性能方面
为了最大程度提高系统性能，从应用系统设计的角度出发，需注意以下几点：
（一）客户端对本地业务数据进行缓存，加快业务操作访问本地数据时的响应速度，比如一些数据字典等数据，可以在本地预存，加快业务处理速度。
（二）对应用服务器的数据做缓存处理和分步加载，以提高访问远程数据的响应速度。对于一些查询结果较多的记录，采用数据缓存和分步加载，可以加快响应时间，减少网络负载。
（三）对各类SQL语句进行优化，以提高查询速度。
（四）对大量复杂的远程查询使用存储过程，以提高速度。
（五）对报表统计采用算法优化和临时表以提高速度。
（六）业务处理环境和统计查询环境相分离。由于大数据量的查询、统计，耗费资源比较高，为了不影响正常的业务处理和提高查询、统计速度，采用业务处理环境和统计查询环境分离措施。
（七）数据库对不同类型的税局分区存储，保证数据访问的效率。由于河南交通规费业务数据量大，且保存周期长，对于历史数据、不经常使用数据，与征费数据放在不同的分区商，提高查询速度。
三、具体日常工作
（一）总体优化说明。目前数据库的设置已经基于硬件和应用系统负载情况的综合考虑进行优化，此后的修改不应大范围调整。日常维护中，应注意索引的使用情况，尽可能减少表上无用或重复索引的数目，尽可能删除选择性很差的索引。同时，在每日高峰交易过后，执行runstats操作。当表中的数据量发生大范围变更（删除历史数据/批量插入大量数据/数据迁移等操作）后，也应及时运行runstats更新统计信息。
（二）运行中，执行效率低下时需做的工作：（1）检查数据库日志db2diag.log/db2inst1.nfy文件中的错误信息，可以忽略通讯上的错误警告，但对于某些数据库内存配置的不足（insufficent memory），锁升级lock escalation等错误需要重点关注。（2）对于内存不足，可以动态调整警告信息提示的各种内存参数大小，以128为单位递增，不可以数量级形式进行大范围调整。（3）对于bufferpool大小，首先可以将报表等交易推迟执行，同时缩小存储报表信息的表空间所占用的bufferpool大小。（4）发生锁升级时，可动态增加锁空间，适当减少命中率很高的bufferpool大小。锁空间（db cfg：locklist）增加以100M为单位，逐步增加，总量不可超过700M。如果增大LockList后数据库仍不断发生锁升级，则需要获取SQL语句的snapshot，分析SQL语句的查询计划，检查是否使用了相应索引。（5）定期获取执行较慢的SQL语句，分析其查询计划，必要时刻重新建立一次该表上的相应索引，或收集该表上的统计信息。（6）高峰处理时应关闭questCenter等监控工具，仅在数据库运行异常时重新开启监控。速度较慢时先执行/home/db2inst1/test/getsnap.sh暂时收集快照数据进行分析，找不到瓶颈时再使用questCenter。（7）在应用逻辑允许的情况下，考虑增加最频繁的缴费交易中select...withur方法，提高查询速度，减少锁资源的使用。（8）定期监控数据库日志空间，数据库日志磁盘空间不足时，可删除那些以往备份数据库操作前的日志。
（三）远程灾备主机的设置：可参考使用目前数据库的参数设置，不能因为其内存数目较多，就乘以相应的倍数。并可适当增加BUFFERPOOL的大小，但是，单个BUFFERPOOL的大小最大不可超过1.2G。
（四）每日、每周所作的工作。（1）每日都要备份数据库，执行一次runstat.sh脚本命令，并重新启动Linux服务器，释放积压内存。（2）每周需要执行reorgchk update statistics命令，检查是否需要reorg的表以及需要重建的索引；对需要进行重组的表执行reorg操作。
（五）与性能相关的关键参数的调整范围：当前的参数设置已经考虑了系统资源和系统负荷的情况，不推荐随意更改，仅在数据库运行不正常情况下才推荐修改，并且参数的调整请在推荐范围内调整，如果调整到范围的最高值后，仍然出现性能问题，建议从应用角度上分析，或从SQL运行角度上查找查询路径是否优化。
四、结束语
虽然我国实行税费改革后，养路费征收以全部停止，该系统也停止了使用，但现实工作中类似该系统的中大型数据库还是很多的，希望能给大家维护自己的数据库起到一个借鉴的作用。