容灾通信链路设计是容灾系统建设非常重要的部分,也是容灾方案设计的难点、要点之一,所以单列本章节进行阐述。
4.1 通信链路设计概述
下面是针对链路设计的相关技术介绍,供参考:
基于主机或基于应用的容灾技术来建设容灾系统,则将采用标准的IP网络连接,通信链路可以是ATM、E1/E3、IP等;如果采用基于存储或虚拟存储的技术来建设容灾方案,则可以采用Fibre Channel、ESCON、DWDM、SONET等通信链路,也可以通过FCIP设备利用ATM、E1/E3、IP等通信链路。
不同的通信链路有不同的要求,如距离限制、带宽能力等;而不同的容灾技术、不同的容灾应用对通信链路的要求不同;采用同步方式或采用异步方式进行数据复制对通信链路的要求也大不相同。
对于一个容灾方案,无论采用哪种复制技术,都需要解决以下问题.
在我当前选择的容灾中心距离的情况下:
· 我需要哪种链路? 需要多少条?成本如何?
· 这么远的距离对应用影响是什么? 如采用同步方式,响应时间是否太长?I/O数量能否满足?
· 如采用异步方式,我的RPO是多少?需要配多大的Cache量?
设计的链路是否一定满足预期的目标?
根据用户的不同要求进行科学的通信链路设计是保障用户在合理的通信成本下成功实现容灾系统建设的重要步骤之一。
4.2 容灾通信链路的比较
当前业界容灾方案的通讯链路基本采用有“裸光纤直连交换机方式、通过DWDM设备连接裸光纤方式、IP网络方式”等,每种方式各有利弊,以下对不同通信链路方式进行比较。
1) 通过裸光纤直连交换机,采用FC协议
采用FC协议的通信链路只适用于基于存储复制或虚拟存储复制的容灾方案。在这类方案中,生产中心与备份中心的光纤交换机通过裸光纤直连,如下图所示:
裸光纤直连交换机的通信链路模式
两个中心存储系统的容灾端口通过光纤交换机和裸光纤进行连接,可以保证同步或异步数据复制的性能。为保证高可用,通常采用冗余连接链路设计。容灾链路裸光纤可以和生产主机共享SAN交换机,也可以独立SAN交换机(也需要冗余)或SAN Router。通常为避免容灾链路通信和主机访问存储的相互干扰,采用独立的SAN来连接容灾通信链路的方式采用较多。
不同容灾方案需要的通信链路数量是不同的,具体需要链路的条数(即带宽要求)需要具体分析、计算获得。
2) 通过CWDM/DWDM设备直连裸光纤
采用密集波分复用技术,可以加载多协议,例如FC协议、IP协议,如下图所示:
采用CWDM/DWDM设备的通信链路模式
如上图所示, 通过CWDM/DWDM技术,主数据中心和容灾数据中心的IP网络连接、FC连接都可以复用到共享裸光纤,比较好的解决了裸光纤的利用率和多协议复用的问题。为避免单点故障,同样可以采用冗余连接、没有单点故障的解决方案。同时,采用CWDM/DWDM方式有更多的拓扑方案,需要在具体设计时进行分析后确定。
3) 利用IP网络,采用ATM或E1、E3线路
采用基于主机和基于应用的容灾方案可以直接利用IP网络,在此不再多加说明。采用“基于存储或基于虚拟存储”的容灾技术将需要进行FC协议到IP协议的转换,从而将FC加载在IP网络中传输。此方案采用国际流行的IP网络协议和链路,通过FC/IP转换设备(例如Nishan),将FC通道协议打包在IP数据包内,通过IP链路传输,理论上没有距离的限制,适用于远程异步数据复制,是性价比很好的选择。连接示意图如下:
采用FC到IP设备的通信链路模式
4) 各种种通信链路所提供的带宽(只供参考)
线路类型
理论带宽
(
Mbps)实际带宽
(去掉overhead后)(Mbps)
复制1TB
所需时间
T1
1.544
1.08
85天
T3
45
31.31
71小时
100bT
100
70.00
31.7小时
OC3
155
108.50
20.4小时
OC12
622
435.40
5.1小时
千兆以太网
1000
800
2.9小时
OC48
2488
1741.60
1.2小时
OC192
9953
6967.10
19分钟
· T1 - 1.544 megabits per second
· T3 - 43.232 megabits per second (28 T1s)
· OC3 - 155 megabits per second (84 T1s)
· OC12 - 622 megabits per second (4 OC3s)
· OC48 - 2.5 gigabits per seconds (4 OC12s)
· OC192 - 9.6 gigabits per second (4 OC48s)
4.3 容灾通信链路带宽估算
存储系统的性能配置要求和通信链路带宽要求需要根据用户的数据中心的实际情况进行分析计算决定。准确地估算用户的容灾通信链路的带宽要求需要对各中心需要容灾保护的应用的I/O负载进行数据收集,采集各应用I/O特征、负载大小,尤其是写I/O的数据,利用所收集的写I/O数据并结合所采用的容灾数据复制技术以及数据复制模式(同步、异步)、应用恢复的RTO/RPO要求来计算容灾通信链路的带宽要求。
EMC公司提供标准的方法和工具为客户进行容灾数据复制通信链路的设计,通常按以下步骤来估算容灾方案的通信链路带宽需求:
1) 当前生产中心I/O性能数据收集
主要收集需要进行容灾保护的应用、主机存储的I/O性能数据。数据的收集从两方面获得:
ü 从主机上获得I/O性能数据(如在UNIX平台上可利用IOSTAT,SAR可得到I/O性能数据;在Windows服务器上可利用Perfmon工具获得Windows服务器的I/O性能数据);
ü 从存储平台上获得I/O性能数据,通过存储平台的性能采集工具可以获得访问存储的每个LUN上的I/O分布情况,包括I/O特征(EMC提供完整的工具收集存储平台的I/O性能信息)。
2) 利用EMC设计软件过滤I/O性能数据,得到I/O写的数据
容灾通信链路的设计与I/O写的性能要求相关,只有写I/O才复制到远程容灾中心,因此写I/O的特征及负荷决定了链路的要求。此过程将过滤无关数据(如非关键应用的I/O—不需要容灾),得到每秒写I/O次数,不同应用类型的平均I/O块大小,是否有调优的需要等。下图是通过EMC工具获得的写I/O性能数据参考样本。
I/O写性能数据参考样本(EMC工具收集)
3) 根据采集的I/O写性能数据估算客户应用的总体峰值带宽和平均带宽
4) 根据容灾链路类型,连接方案估算容灾通信的“延时”
要考虑不同通信协议的额外开销以及物理链路带来的“延时”。
5) 估计未来性能增长要求和需要预留的峰值空间
通信链路的设计(包括所有能力规划)都需要考虑未来业务的增长,并预留增长空间。
6) 确定同步复制模式还是异步复制模式,如选择异步复制模式,则需要确定RPO要求(最多允许丢失多少数据)--根据RPO要求和业务的I/O量可以设计链路需求;也可以根据现有链路情况,结合业务的I/O量分析可以实现的RPO能力以及在源数据端需要为异步复制额外增加的Cache开销。
7) 利用EMC的专门工具进行设计
根据不同复制模式,将收集的I/O性能等参数输入到EMC工具中,同时考虑链路容余的要求,将可以为客户计算出所需要的带宽要求。
EMC公司未来将采用以上方法为用户进行容灾链路设计,该方法已经在很多EMC为重要提供的容灾方案中得到应用并获得成功。利用EMC科学的链路设计方法及独到的设计工具,EMC将能够为用户提出合理的链路规划方案,为成功实施容灾方案奠定基础。
EMC公司根据已经为广大高端用户提供容灾建设的经验,开发设计了专门的工具—ET Tools,用来做容灾数据复制方案的设计。该工具利用用户当前的业务I/O情况和用户的服务水平要求可以分析设计复制方案中的关键要求:通信链路带宽和复制平台(如主机或存储)的处理能力。也可以用来评估用户在受限的通信条件下所能达到的RPO要求。该工具在未来用作用户容灾技术平台服务水平的评估工具,可以定期进行I/O性能统计、分析性评估容灾数据复制平台是否满足不断变化了的业务发展要求。