论文部分内容阅读
在数据库技术不断发展的今天,我们不可能只用一个数据库来承担所有的业务操作,因为这样会大大增加主业务库的压力,同时还增加数据丢失的危险。为此,数据库分布式技术被提出来,业内不同的厂商都推出了各自的分布式技术软件或者组件。为了实现客户的这种需求,Oracle在数据库上提供多个组件,从较早的高级复制和DataGuard,到后来的Stream,再到目前主推的GoldenGate,都能实现数据库的分布式应用。
高级复制的示例
高级复制主要的用途是在多个数据库之间复制表级数据进行共享,并对这些数据进行维护、管理。高级复制不但可以减少主库的业务压力,还可以降低网络负载。复制的范围可以是表一级的对象,也可以全库复制,并且支持大部分数据类型,例如表、索引、视图、触发器、程序包、过程、函数等,还支持用户自定义的对象类型。高级复制分为多主复制和物化视图复制方式,根据不同应用需求,用户可以选择其中的一种或者两种方式同时使用。
Stream流复制的示例
Stream是进行分布式数据库的一种技术,它既拥有高级复制的优点,也有自身突出的地方。比起高级复制,Stream具有更灵活的复制模式、更少的开销,支持更广泛的数据库跨度。
在网络流量上,Stream能做到更少的开销,因为Stream可以在主节点上对应用的变化进行抓取,并对抓取的结果进行过滤,然后再发送到目标数据库,不需要把整个归档日志一起发送,从而减少了网络负担。基于不同的实际环境,Stream可以配置为down stream模式,在这一模式里,主库只是简单地把归档日志发送到down stream节点,从而降低了主数据库的CPU开销。通过在主库和目标数据库上配置捕捉进程、转播进程、应用进程,Stream可以把主库的数据变化应用到目标库上,达到数据的共享和分布式应用。数据捕捉的范围可以是单个表级的对象,也可以是用户的方案对象;可以全库进行,也可以单独复制。从数据库的跨度来看,Stream不仅支持Oracle数据库之间的复制,还支持非Oracle数据库与Oracle之间的复制,给用户更多选择。
DataGuard示例
DataGuard是Oracle先于高级复制推出的数据库组件。从最初推出的功能来看,DataGuard并不是真正意义的分布式数据库组件。因为采用物理形式,高级复制技术不能实现数据的共享应用,只能做到数据的灾备功能。直到逻辑DataGuard推出后,DataGuard才可以说是分布式数据库的一个可行方法,因为逻辑DataGuard可以让目标数据库处于打开状态,提供业务访问并能实现数据的在线共享。通过对在线日志的发掘,把日志转换成数据流,发送到目标数据库,再从目标数据库重新应用这些SQL语句,达到数据共享的功能。根据不同的保护模式,DataGuard可以配置为高性能、高可用性、高安全的模式,不同的模式适合不同的业务应用,且可以在线转换,这样能使数据库的维护更方便,更能适应业务的发展需要。
GoldenGate复制的示例
GoldenGate是Oracle最新推出的一款数据集成、高可用、实时灾备的数据库工具软件。从图中可以看出,其基本理念和之前的Stream复制类似,都是从主数据库上先对数据库的更改进行捕捉,并将得到的更改记录形成队列,将队列信息通过网络传输到目标数据库,然后再从目标数据库重新生成数据。GoldenGate可以对在线日志文件进行捕捉,也可以对归档日志文件进行捕捉。GoldenGate可以对数据库的更改进行分析,是一款不依赖于数据库的复制软件,所以不会对数据库的性能和稳定造成影响。GoldenGate TDM提供了灵活的应用方案,基于其先进、灵活的技术架构,用户可以根据需求组成各种拓扑结构。从复制的特点来说,GoldenGate可以实现单向复制、多向复制、广播复制、集中复制、多层复制等,给用户多种灵活可选的方案。
GoldenGate TDM 在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同,按照相同的事务环境提交,确保在目标系统上数据的完整性和一致性,为实时查询和事务处理创造了条件。
GoldenGate TDM的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程,其检查点记录当前已经抽取日志的位置和写队列文件的位置;对于投递进程,其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate TDM进程故障重启后数据无丢失。
GoldenGate TDM 用应答机制传输交易数据,只有得到确认消息后才认为数据传输完成,否则将自动重新传输数据,从而保证了抽取出的所有数据都能发送到备份端。数据传输过程中支持128位加密和数据压缩功能。
另外,GoldenGate可以实现不同架构数据库的复制、不同厂商数据库的复制、不同操作系统平台的复制、不同数据库版本的复制,是目前较全面、安全、可靠的数据库分布式应用的可选方案。
大唐电信IT服务技术方案
大唐電信为了解决客户的服务需求,实现业务连续性,特制定了相应的技术服务方案——分布式数据服务包。通过这个技术服务包,大唐电信给多个客户实现了数据分布式应用,有效地提高了数据的利用率,增加了客户业务的多元性,实现更高的效益,并且为数据提供了更多的保障。同时,在不同的环境部署中,大唐电信也为大力推动分布式技术应用的推广宣传,并在不断的实践中,培养出一支技术过硬的队伍。
在该服务中,大唐电信综合考虑客户的实际需求、IT的环境、限制条件等因素,根据不同的产品的特性,为客户推荐恰当的技术。服务内容包括:
1.咨询服务:跟客户直接沟通,了解客户的需求和目的;
2.信息收集:在了解需求后,通过对客户IT环境的信息收集,评估实施的可行性;
3.分布式方案的制定:由于分布式技术的特性不同,所需的设备、环境不同,实现的效果不同,也需要制定不同的技术方案;
4.方案的提交和实施:在方案制定以后,我们将按照实施要求部署到客户的环境当中;
5.效果测试和验收:实施完毕之后,将协同客户一起对分布式环境进行验收,其中最关键一项是及时测试,检验是否到达预期的目标。
6.后期维护:在验收以后,日常的维护是必不可少的,特别是一些关键时期和关键业务的操作。
高级复制的示例
高级复制主要的用途是在多个数据库之间复制表级数据进行共享,并对这些数据进行维护、管理。高级复制不但可以减少主库的业务压力,还可以降低网络负载。复制的范围可以是表一级的对象,也可以全库复制,并且支持大部分数据类型,例如表、索引、视图、触发器、程序包、过程、函数等,还支持用户自定义的对象类型。高级复制分为多主复制和物化视图复制方式,根据不同应用需求,用户可以选择其中的一种或者两种方式同时使用。
Stream流复制的示例
Stream是进行分布式数据库的一种技术,它既拥有高级复制的优点,也有自身突出的地方。比起高级复制,Stream具有更灵活的复制模式、更少的开销,支持更广泛的数据库跨度。
在网络流量上,Stream能做到更少的开销,因为Stream可以在主节点上对应用的变化进行抓取,并对抓取的结果进行过滤,然后再发送到目标数据库,不需要把整个归档日志一起发送,从而减少了网络负担。基于不同的实际环境,Stream可以配置为down stream模式,在这一模式里,主库只是简单地把归档日志发送到down stream节点,从而降低了主数据库的CPU开销。通过在主库和目标数据库上配置捕捉进程、转播进程、应用进程,Stream可以把主库的数据变化应用到目标库上,达到数据的共享和分布式应用。数据捕捉的范围可以是单个表级的对象,也可以是用户的方案对象;可以全库进行,也可以单独复制。从数据库的跨度来看,Stream不仅支持Oracle数据库之间的复制,还支持非Oracle数据库与Oracle之间的复制,给用户更多选择。
DataGuard示例
DataGuard是Oracle先于高级复制推出的数据库组件。从最初推出的功能来看,DataGuard并不是真正意义的分布式数据库组件。因为采用物理形式,高级复制技术不能实现数据的共享应用,只能做到数据的灾备功能。直到逻辑DataGuard推出后,DataGuard才可以说是分布式数据库的一个可行方法,因为逻辑DataGuard可以让目标数据库处于打开状态,提供业务访问并能实现数据的在线共享。通过对在线日志的发掘,把日志转换成数据流,发送到目标数据库,再从目标数据库重新应用这些SQL语句,达到数据共享的功能。根据不同的保护模式,DataGuard可以配置为高性能、高可用性、高安全的模式,不同的模式适合不同的业务应用,且可以在线转换,这样能使数据库的维护更方便,更能适应业务的发展需要。
GoldenGate复制的示例
GoldenGate是Oracle最新推出的一款数据集成、高可用、实时灾备的数据库工具软件。从图中可以看出,其基本理念和之前的Stream复制类似,都是从主数据库上先对数据库的更改进行捕捉,并将得到的更改记录形成队列,将队列信息通过网络传输到目标数据库,然后再从目标数据库重新生成数据。GoldenGate可以对在线日志文件进行捕捉,也可以对归档日志文件进行捕捉。GoldenGate可以对数据库的更改进行分析,是一款不依赖于数据库的复制软件,所以不会对数据库的性能和稳定造成影响。GoldenGate TDM提供了灵活的应用方案,基于其先进、灵活的技术架构,用户可以根据需求组成各种拓扑结构。从复制的特点来说,GoldenGate可以实现单向复制、多向复制、广播复制、集中复制、多层复制等,给用户多种灵活可选的方案。
GoldenGate TDM 在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同,按照相同的事务环境提交,确保在目标系统上数据的完整性和一致性,为实时查询和事务处理创造了条件。
GoldenGate TDM的抽取和复制进程使用检查点机制记录完成复制的位置。对于抽取进程,其检查点记录当前已经抽取日志的位置和写队列文件的位置;对于投递进程,其检查点记录当前读取队列文件的位置。检查点机制可以保证在系统、网络或GoldenGate TDM进程故障重启后数据无丢失。
GoldenGate TDM 用应答机制传输交易数据,只有得到确认消息后才认为数据传输完成,否则将自动重新传输数据,从而保证了抽取出的所有数据都能发送到备份端。数据传输过程中支持128位加密和数据压缩功能。
另外,GoldenGate可以实现不同架构数据库的复制、不同厂商数据库的复制、不同操作系统平台的复制、不同数据库版本的复制,是目前较全面、安全、可靠的数据库分布式应用的可选方案。
大唐电信IT服务技术方案
大唐電信为了解决客户的服务需求,实现业务连续性,特制定了相应的技术服务方案——分布式数据服务包。通过这个技术服务包,大唐电信给多个客户实现了数据分布式应用,有效地提高了数据的利用率,增加了客户业务的多元性,实现更高的效益,并且为数据提供了更多的保障。同时,在不同的环境部署中,大唐电信也为大力推动分布式技术应用的推广宣传,并在不断的实践中,培养出一支技术过硬的队伍。
在该服务中,大唐电信综合考虑客户的实际需求、IT的环境、限制条件等因素,根据不同的产品的特性,为客户推荐恰当的技术。服务内容包括:
1.咨询服务:跟客户直接沟通,了解客户的需求和目的;
2.信息收集:在了解需求后,通过对客户IT环境的信息收集,评估实施的可行性;
3.分布式方案的制定:由于分布式技术的特性不同,所需的设备、环境不同,实现的效果不同,也需要制定不同的技术方案;
4.方案的提交和实施:在方案制定以后,我们将按照实施要求部署到客户的环境当中;
5.效果测试和验收:实施完毕之后,将协同客户一起对分布式环境进行验收,其中最关键一项是及时测试,检验是否到达预期的目标。
6.后期维护:在验收以后,日常的维护是必不可少的,特别是一些关键时期和关键业务的操作。