一.简介

在Linux系统中目前以MD (Multiple Devices)虚拟块设备的方式实现软件RAID，利用多个底层的块设备虚拟出一个新的虚拟块设备，并且利用条带化(stripping)技术将数据块均匀分布到多个磁盘上来提高虚拟设备的读写性能，利用不同的数据冗余算法来保护用户数据不会因为某个块设备的故障而完全丢失，而且还能在设备被替换后将丢失的数据恢复到新的设备上。关于不同冗余级别的定义和数据块以及校验块的分布示意图可以参考存储专业委员会给出的参考资料“Common RAID Disk Data Format Specification ”。目前MD支持linear, multipath, raid0 (stripping), raid1 (mirror), raid4, raid5, raid6, raid10等不同的冗余级别和组成方式，当然也能支持多个RAID阵列的层叠组成raid1+0, raid5+1等类型的阵列。在参考资料“Software RAID HOWTO”中介绍了早期软件RAID阵列功能特点和使用方式，但是因为软件RAID程序的功能不断增加，因此很有必要写份新的使用介绍。

本文主要先讲解用户层mdadm如何管理软件RAID以及使用中经常遇到的问题和解决方法。在流行的Linux的发布版中，如FedoraCore,Gentoo, Ubuntu,Debian,SuseLinux系统中一般已经将MD驱动模块直接编译到内核中或编译为可动态加载的驱动模块。我们可以在机器启动后通过cat /proc/mdstat看内核是否已经加载MD驱动或者cat /proc/devices是否有md块设备，并且可以使用lsmod看MD是否是以模块形式加载到系统中。

如果Linux系统既没有将MD编译到内核也没有自动加载MD模块，则没有/proc/mdstat文件，那么需要执行命令modprobe md加载驱动模块。

如果系统中没有MD驱动模块则需要自己从Linux内核源代码网站下载源代码包，并且重新编译内核，并且需要在内核的配置文件选择。

在Linux系统中用户层以前使用raidtool工具集 来管理MD设备，目前广泛使用mdadm软件来管理MD设备，而且该软件都会集成在Linux的发布版中。如果系统中没有安装可以到RAID驱动程序和mdadm软件的维护者Neil Brown的个人网站 来下载源码包进行编译安装，或者下载RPM包直接安装。mdadm的最新版本是2.6.3。可以使用mdadm --version查看当前系统使用的版本。本文使用的是mdadm-2.6.3, Linux内核版本是Linux-2.6.22.1。下面的测试命令是在虚拟机环境中测试运行的。

二. mdadm管理软RAID阵列

mdadm程序是一个独立的程序，能完成所有的软RAID管理功能，主要有7种使用模式：

模式名字 主要功能 Create 使用空闲的设备创建一个新的阵列，每个设备具有元数据块 Assemble 将原来属于一个阵列的每个块设备组装为阵列 Build 创建或组装不需要元数据的阵列，每个设备没有元数据块 Manage 管理已经存储阵列中的设备，比如增加热备磁盘或者设置某个磁盘失效，然后从阵列中删除这个磁盘 Misc 报告或者修改阵列中相关设备的信息，比如查询阵列或者设备的状态信息 Grow 改变阵列中每个设备被使用的容量或阵列中的设备的数目 Monitor 监控一个或多个阵列，上报指定的事件

2.1 为磁盘划分分区

如果MD驱动被编译到内核中，当内核调用执行MD驱动时会自动查找分区为FD(Linux raid autodetect)格式的磁盘。所以一般会使用fdisk工具将HD磁盘或者SD磁盘分区，再设置为FD的磁盘。

软RAID阵列实际上也可以使用任何标准的块设备作为底层设备，如SCSI设备、IDE设备、RAM disk磁盘和NBD(Network Block Device)等，甚至是其他的MD设备。

如果MD驱动是模块形式加载，需要在系统运行时由用户层脚本控制RAID阵列启动运行。如在FedoraCore系统中在/etc/rc.d/rc.sysinit文件中有启动软RAID阵列的指令，若RAID的配置文件mdadm.conf存在，则调用mdadm检查配置文件里的选项，然后启动RAID阵列。

2.2 创建新的阵列

mdadm使用--create(或其缩写-C)参数来创建新的阵列，并且将一些重要阵列的标识信息作为元数据可以写在每一个底层设备的指定区间。--level(或者其缩写-l)表示阵列的RAID级别，--chunk(或者其缩写-c)表示每个条带单元的大小，以KB为单位，默认为64KB，条带单元的大小配置对不同负载下的阵列读写性能有很大影响。--raid-devices(或者其缩写-n)表示阵列中活跃的设备个数，而--spare-devices(或者其缩写-x)表示阵列中热备盘的个数，一旦阵列中的某个磁盘失效，MD内核驱动程序自动用将热备磁盘加入到阵列，然后重构丢失磁盘上的数据到热备磁盘上。

当RAID1/4/5/6/10等创建成功后，需要计算每个条带的校验和信息并写入到相应磁盘上，所以RAID阵列有一个冗余组数据同步的初始化过程(resync)。但是MD设备只要创建成功后即可对外被上层应用读写使用，当然由于上层数据读写降低数据同步的性能。初始化的时间长短和磁盘阵列自身性能以及读写的应用负载相关，使用cat /proc/mdstat信息查询RAID阵列当前重构的速度和预期的完成时间。

如果一个块设备已经正在被其他的MD设备或者文件系统使用，则不能用来创建新的MD设备。

Build模式可以用来创建没有元数据的RAID0/1设备，不能创建RAID4/5/6/10等带有冗余级别的MD设备。

使用阵列：

MD设备可以像普通块设备那样直接读写，也可以做文件系统格式化。

停止正在运行的阵列：

当阵列没有文件系统或者其他存储应用以及高级设备使用的话，可以使用--stop(或者其缩写-S)停止阵列；如果命令返回设备或者资源忙类型的错误，说明/dev/md0正在被上层应用使用，暂时不能停止，必须要首先停止上层的应用，这样也能保证阵列上数据的一致性。

2.3 组装曾创建过的阵列

模式--assemble或者其缩写(-A)主要是检查底层设备的元数据信息，然后再组装为活跃的阵列。如果我们已经知道阵列由那些设备组成，可以指定使用那些设备来启动阵列。

如果有配置文件(/etc/mdadm.conf)可使用命令mdadm -As /dev/md0。mdadm先检查mdadm.conf中的DEVICE信息，然后从每个设备上读取元数据信息，并检查是否和ARRAY信息一致，如果信息一致则启动阵列。如果没有配置/etc/mdadm.conf文件，而且又不知道阵列由那些磁盘组成，则可以使用命令--examine(或者其缩写-E)来检测当前的块设备上是否有阵列的元数据信息。

从上面命令结果可以找到阵列的唯一标识UUID和阵列包含的设备名字，然后再使用上面的命令来组装阵列，也可以使用UUID标识来组装阵列。没有一致的元数据的信息设备(例如/dev/sda和/dev/sda1等)mdadm程序会自动跳过。

配置文件：

/etc/mdadm.conf作为默认的配置文件，主要作用是方便跟踪软RAID的配置，尤其是可以配置监视和事件上报选项。Assemble命令也可以使用--config(或者其缩写-c)来指定配置文件。我们通常可以如下命令来建立配置文件。

使用配置文件启动阵列时，mdadm会查询配置文件中的设备和阵列内容，然后启动运行所有能运行RAID阵列。如果指定阵列的设备名字，则只启动对应的阵列。

2.4 查询阵列的状态

我们可以通过cat /proc/mdstat信息查看所有运行的RAID阵列的状态，在第一行中首先是MD的设备名，active和inactive选项表示阵列是否能读写，接着是阵列的RAID级别，后面是属于阵列的块设备，方括号[]里的数字表示设备在阵列中的序号，(S)表示其是热备盘，(F)表示这个磁盘是faulty状态。在第二行中首先是阵列的大小，单位是KB，接着是chunk-size的大小，然后是layout类型，不同RAID级别的layout类型不同，[6/6]和[UUUUUU]表示阵列有6个磁盘并且6个磁盘都是正常运行的，而[5/6]和[_UUUUU] 表示阵列有6个磁盘中5个都是正常运行的，下划线对应的那个位置的磁盘是faulty状态的。

如果Linux系统目前支持sysfs也可以访问/sys/block/md0目录查询阵列信息。

我们也可以通过mdadm命令查看指定阵列的简要信息(使用--query或者其缩写-Q)和详细信息(使用--detail或者其缩写-D) 详细信息包括RAID的版本、创建的时间、RAID级别、阵列容量、可用空间、设备数量、超级块状态、更新时间、UUID信息、各个设备的状态、RAID算法级别类型和布局方式以及块大小等信息。设备状态信息分为active, sync, spare, faulty, rebuilding, removing等等。

2.5 管理阵列

mdadm可以在Manage模式下，对运行中的阵列进行添加及删除磁盘。常用于标识failed磁盘，增加spare(热备)磁盘，以及从阵列中移走已经失效的磁盘等等。使用--fail(或者其缩写-f)指定磁盘损坏。

当磁盘已经损坏时，使用--remove(或者其缩写--f)参数将这个磁盘从磁盘阵列中移走；但如果设备还正在被阵列使用，则不能从阵列中移走。

如果阵列带有spare磁盘，那么自动将损坏磁盘上的数据重构到新的spare磁盘上；

如果阵列没有热备磁盘，可以使用--add(或者其缩写-a)参数增加热备磁盘

2．6 监控阵列

可以使用mdadm对RAID阵列进行监控，监控程序定时查询指定的事件是否发生，然后根据配置来妥善处理。例如当阵列中的磁盘设备出现问题的时候，可以发送邮件给管理员；或者当磁盘出现问题的时候由回调程序来进行自动的磁盘替换，所有监控事件都可以记录到系统日志中。目前mdadm支持的事件有RebuildStarted, RebuildNN(NN is 20, 40, 60, or 80), RebuildFinished, Fail,FailSpare,SpareActive,NewArray, DegradedArray, MoveSpare, SparesMissing, TestMessage。

如果配置每300秒mdadm监控进程查询MD设备一次，当阵列出现错误，会发送邮件给指定的用户，执行事件处理的程序并且记录上报的事件到系统的日志文件。使用--daemonise参数(或者其缩写-f)使程序持续在后台运行。如果要发送邮件需要sendmail程序运行，当邮件地址被配置为外网地址应先测试是否能发送出去。

查看系统日志信息，可以看到哪个阵列或者阵列中的哪个设备发生过的哪些事件。

回调程序从mdadm程序接受两个或者三个参数：事件名字，监控阵列的名字和特殊事件可能使用到的底层块设备名字。上面的事件返回的信息如下：

2．7 扩展阵列

如果在创建阵列时不想使用整个块设备，可以指定用于创建RAID阵列每个块设备使用的设备大小。

然后在阵列需要扩展大小时，使用模式--grow(或者其缩写-Q)以及--size参数(或者其缩写-z) 在加上合适的大小数值就能分别扩展阵列所使用每个块设备的大小。

如果上面是文件系统(ext2,ext3, reiserfs)，在设备大小扩展后，文件系统也要同时扩展。

mdadm还提供增加或减少阵列中设备个数的功能(reshape)，使用模式—grow和 --raid-disks(或者其缩写-n)参数再加上合适的设备个数。扩展后阵列中原来的热备盘变为活跃磁盘，所以阵列的设备个数增加，阵列的大小也相应增加。

2.8 Bitmap记录

使用bitmap模式记录RAID阵列有多少个块已经同步(resync)。参数--bitmap(或者其缩写-b)指定记录bitmap信息的文件名，如果是interval参数表示bitmap记录在每个设备的元数据区。--bitmap-chunk表示每个bit位代表RAID设备多大的数据块，单位是KB；而--delay(或者其缩写-d)指定多长事件同步bitmap信息到文件或者设备上，单位是秒，默认是5秒。--force(或者其缩写)表示覆盖掉已经存在bitmap文件。而且使用--examine-bitmap(或者其缩写-X)能够查看存储在文件或者设备元数据中的bitmap记录的信息。

当阵列创建时指定bitmap模式，如果阵列初始化中停止阵列，当再次启动阵列中，RAID阵列能够利用bitmap记录从上次中断的位置接着执行。

使用bitmap文件记录要求这个文件不能在RAID阵列上或者其相关的设备上，而且使用assemble命令时要指定bitmap文件名字。

bitmap模式在阵列处于降级(degrade)状态能够记录有哪些块被写过，当那个暂时失效的磁盘使用--re-add参数被重新添加后，阵列只重构这期间修改的数据块，减少阵列重构的时间。bitmap信息中dirty的数量表示降级期间被修改过的块。

结束语

mdadm管理程序和Linux内核的MD驱动程序由同一个维护者Neil Brown统一管理，因此两个软件的功能也在不断的增加，对应的软件版本也能及时升级。本文讲述了Linux系统中软RAID的基本概念和如何使用mdadm程序来管理软RAID设备，介绍了软RAID设备的创建，删除，停止和扩展等操作，以及其元数据和位图bitmap数据的管理方法。我们还将在文章"Linux中软件RAID使用常见问题解决"讨论使用软RAID设备常见的问题以及解决的方法。