<P></P><P>HP Exadata Setup/Configuration Best Practices 适用于： Oracle Exadata Storage Server Software - Version: 11.1.0.3.0 目的： 本文件的目的，是目前部署HP Oracle数据库机的安装和配置方面的最佳做法。包括硬件，软件，网络，数据库和ASM配置，和更多的验证。 范围和应用： 目标受众： HP Oracle数据库机工作的所有人员 HP Exadata Setup/Configuration Best Practices Verify Exadata Hardware. 1 Verify Platform Software. 1 Verify Replacement Hardware. 1 Employ Exadata Configuration Automation. 2 Ensure Infiniband Network Is Used for Oracle Clusterware and RAC Communication with the Database Machine 2 Ensure Multiple Oracle Home RDS Activation. 3 Ensure Proper ASM Software and Disk Group Attributes. 3 Ensure Proper Database Software and Compatibility. 3 Ensure DB_BLOCK_CHECKSUM is set to TYPICAL (default) or FULL. 4 Ensure full bandwidth is available by avoiding partitioning data at a cell level 4 Minimally enable cell alerts to be sent via email 4 Ensure proper software version and configuration to tolerate switch failure. 4 Configure NTP on the Voltaire switch. 4 Check for the latest software/patches at deployment time. 4 Configure Cell Groups and ASM Diskgroups for Optimal Performance and Availability 4 Avoid increasing the logfile size from the database machine default 5 Disable Hugepages on the Database Servers. 5 Configure the Number of Mounts before a File System check on the Database Servers 5 Limit fully qualified hostnames to 31 characters or less. 5 Instructions to Upgrade Voltaire Switch. 5 Example of setting the switch retries to 3. 6 Example of configuring NTP on the Voltaire switch. 6 Example output from db.iscsi.sh when the partition table hasn’t been created yet (ex: first node in a RAC cluster) 7 Example output from db.iscsi.sh when the partition table has been created yet 10 Verify Exadata Hardware 按照这些步骤来验证的Exadata硬件： 1. Verify cable connections via the following steps * Visually inspect all cables for proper connectivity. * Run the command, cat /sys/class/net/ib?/carrier on all nodes and ensure the output is â€˜1’. * Run the command, ls -l /sys/class/infiniband/*/ports/*/*errors* and check for errors. * The ibdiagtools.tar file contains the verify_topology and the infinicheck tools which should be run to verify Exadata hardware. Here is some information and considerations for these tools o verify_topology + 主要功能是验证符合预期的拓扑结构 + 使用-h 选项的基本用法信息。 + 核查的例子./verify_topology -t taurus or ./verify_topology -t fattree 取决于你有布线类型，12/11,目前的生产布线规范fattree 。 +下面是示例输出： # ./verify_topology -t fattree [ DB Machine Infianiband Cabling Topology Verification Tool ] 使用SSH （需要用户等价设置） Oth erwise please use -n flag Is every external switch connected to every internal switch..........[SUCCESS] Are any external switch connected to each other......................[SUCCESS] Check if all hosts have 2 CAs to different switches..................[SUCCESS] Does each switch have at most 6 DB Hosts and 10 cells................[SUCCESS] 2。验证硬件和固件 *硬件和固件可以用CheckHWnFWProfile.sh脚本验证。请参阅- H标志使用情况的信息。 验证平台软件 类似上述的硬件/固件检查脚本，也有一个脚本来验证平台软件CheckSWProfile.sh 。标志- H提供了使用信息。 验证更换硬件 如果在单元格中的主板需要更换，这是惠普可能不正确，如ML 150 G5的主板，而不是一个DL180 G5船舶。每个HP ML 150 G5和DL180 G5主板部件号相同，只是不同的跳线设置。如果发生这种情况，成像过程将失败，像下面的消息在引导过程中： Make and model is: HP Proliant ML150 G5 [FATAL] Not a supported hardware make and model /etc/init.d/do_image.sh error code: 1 这是惠普的责任来解决这个问题，但我们注意到，在这里，如果遇到这样的条件是了解。 HP必须确保主板indetifiable HP临Liant DL180 G5和正确的BIOS版本。 如果是不正确的BIOS版本，然后成像将失败再次与消息， BIOS是不正确的版本。 另一件事，以检查是否更换一块主板的引导顺序。曾有个案在过去在BIOS中的启动顺序是不正确的顺序，将在新的细胞从HP工厂快速。 请从惠普工厂快递细胞的引导顺序，并确保你看到相同的顺序在更换主板电池。 当主板上更换一个细胞， LO100网络配置重置为出厂默认值，使用DHCP自动拉从网络上的DHCP服务器地址。这必须设置在部署过程中使用的静态网络配置。请参阅有关详细信息， MetaLink说明855421.1 。 聘请Exadata的配置自动化 以下Oracle Exadata存储服务器的工具和功能优势，自动化和简化配置任务： CELLCLI commands * CREATE CELLDISK ALL—This CELLCLI command automatically creates celldisks on all available logical unit numbers (LUNs). * CREATE GRIDDISK ALL PREFIX=—This CELLCLI command automatically creates griddisks on all available celldisks. Ø注意，前缀应作为磁盘组名称相同。例如，命令创建griddisk = “数据” ，可用于创建网格磁盘知道您的ASM diskroup名称将是数据的前缀。请注意，因为没有在这个例子中指定的大小，网格的磁盘消耗的全细胞磁盘。 ASM的自动故障组检测 Oracle Exadata存储服务器上创建ASM故障组时，在相同的Oracle Exadata存储服务器单元的网格磁盘自动放置在同一ASM失败组。有没有需要指定失败组在磁盘组的创建，从而大大简化了CREATE DISKGROUP语法。 Dcli Oracle Exadata存储服务器包括每个单元上的工具Dcli ，您可以使用跨定义的一组细胞在平行执行命令或脚本。 Dcli工具大大简化了任何必须跨越的一个子集或所有细胞的运行操作。所有细胞的SSH用户等效性配置的一个重要前提，以优化Dcli使用。 Dcli提供的A ¢ Â € Å - KA ¢ Â € a选项来自动分配到authorized_keys文件的SSH私钥。 db.iscsi.sh 在/ opt / oracle.cellos / db.iscsi.sh脚本的数据库服务器上，容易产生错误的iSCSI配置过程完全自动化，创建iSCSI设备， udev配置。这个脚本应该运行在任何数据库服务器节点在初始配置。当完成时， iSCSI设备将可在/ dev / OCR * （还记得这些设备使用Oracle集群OCR和表决设备） 。 下面是一个示例输出从db.iscsi.sh分区表时并没有被创建（如：在RAC集群中的第一个节点） ，这里是一个示例输出从db.iscsi.sh当分区表已创建尚未（例如：除了在RAC集群中的第一个的所有节点） 确保InfiniBand网络，为Oracle集群件和RAC通信使用的数据库机 果使用Oracle集群件和Oracle RAC数据库机器，它是一种最佳实践，用于所有的网络和存储通信InfiniBand网络。 Infiniband的配置是预先细胞，但以下应在数据库服务器上验证： 1。确保用于Oracle集群通信专用网络是使用InfiniBand接口。这可以验证命令， oifcfg getif –type cluster_interconnect 2。确保用于Oracle RAC的通信专用网络运行在Infiniband网络RDS检查以下消息警报日志： 集群通信配置为使用以下接口（S ） 192.168.20.21此实例的群集互连IPC版本:oracle RDS / IP （通用） 如果没有运行RDS ，重新链接Oracle二进制通过以下： * Shutdown any process using the Oracle binary * cd $ORACLE_HOME/rdbms/lib * make -f ins_rdbms.mk ipc_rds ioracle 另外请注意，重要的是，以确保您的公共接口标记为公众而不是私人的。这可以与oifcfg getif命令检查。如果是无意中标记为私有，你可以得到的错误，如： Â· "OS system dependent operation:bind failed with status" Â· "OS failure message: Cannot assign requested address" 它可以纠正像oifcfg setif -global eth0/的命令 ：公共 确保多个Oracle主目录RDS激活 由于Oracle舍不共享的Exadata环境，确保使用以下命令（为您的环境量身定制） ，以确认所有的Oracle主设置的RDS 。 下面的例子是链接设置不当Oracle Home的情况 $ dcli -g /tmp/db -l oracle md5sum ${ORACLE_HOME}/lib/libskgxp11.so node1: 8d430d73ae31b437c282e5e9b96fdc85 /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node2: c1e65761e010f237c978efaa496e86f8 /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node3: c1e65761e010f237c978efaa496e86f8 /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node4: 8d430d73ae31b437c282e5e9b96fdc85 /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so 此外， dcli可以用来做重新链接。匹配的egrep dcli增加一举验证。注： 在exacution之前cd $ORACLE_HOME/rdbms/lib $ dcli -g /tmp/db -l oracle "export ORACLE_HOME=$ORACLE_HOME;cd `pwd`;make -f i*mk ipc_rds" node1: rm -f /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node1: cp /u01/app/oracle/product/11.1.0/db_1/lib//libskgxpr.so /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node2: rm -f /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node2: cp /u01/app/oracle/product/11.1.0/db_1/lib//libskgxpr.so /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node3: rm -f /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node3: cp /u01/app/oracle/product/11.1.0/db_1/lib//libskgxpr.so /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node4: rm -f /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so node4: cp /u01/app/oracle/product/11.1.0/db_1/lib//libskgxpr.so /u01/app/oracle/product/11.1.0/db_1/lib/libskgxp11.so $ dcli -g /tmp/db -l oracle "export ORACLE_HOME=$ORACLE_HOME;cd `pwd`;make -f i*mk ioracle" | egrep 'rm|mv.*oracle' node1: rm -f /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle node1: mv -f /u01/app/oracle/product/11.1.0/db_1/bin/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracleO node1: mv /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracle node2: rm -f /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle node2: mv -f /u01/app/oracle/product/11.1.0/db_1/bin/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracleO node2: mv /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracle node3: rm -f /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle node3: mv -f /u01/app/oracle/product/11.1.0/db_1/bin/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracleO node3: mv /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracle node4: rm -f /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle node4: mv -f /u01/app/oracle/product/11.1.0/db_1/bin/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracleO node4: mv /u01/app/oracle/product/11.1.0/db_1/rdbms/lib/oracle /u01/app/oracle/product/11.1.0/db_1/bin/oracle 确保适当的ASM软件和磁盘组的属性 验证ASM软件兼容的属性设置如下： 1。 Oracle ASM的软件必须运行11.1.0.7版。 2。对于包含Oracle Exadata存储服务器网格磁盘的ASM磁盘组，指定的属性设置如下： * Set the ASM attribute to 11.1.0.7. * Set the RDBMS attribute to 11.1.0.7. * Set the CELL.SMART_SCAN_CAPABLE attribute to TRUE. * Set the AU_SIZE attribute to 4M. 确保正确的数据库软件和兼容性 要访问Oracle Exadata存储服务器网格磁盘，设置Oracle数据库软件版本和兼容的参数如下： 1。 Oracle数据库软件版本运行释放11.1.0.7 。 2。设置数据库兼容初始化参数到11.1.0.7 。 确保DB_BLOCK_CHECKSUM设置为TYPICAL (default) or FULL Oracle Exadata存储服务器是硬（硬件辅助恢复数据）兼容。为了充分利用硬盘的功能，确保DB_BLOCK_CHECKSUM初始化参数设置为TYPICAL (default) or FULL。这确保了数据库校验计算和存储块。 确保全带宽是可避免在细胞水平上的分区数据 虽然它可能是有用的用于演示，避免分区数据：在细胞水平（例如基于时间的数据） 。数据应分布在所有磁盘和利用完整的磁盘带宽优化性能。这样的配置不仅提供了最好的性能，但是，更易于管理以及。 微创使细胞发出警报，通过电子邮件发送 细胞可以通过电子邮件和SNMP警报发送的各级。微创，警报应通过电子邮件发送，以确保一个看不见的问题不走。下面就是一个例子cellcli命令配置电子邮件警报： cellcli>ALTER CELL smtpServer='mailserver.maildomain.com', - smtpFromAddr='firstname.lastname@maildomain.com', - smtpToAddr='firstname.lastname@maildomain.com', - smtpFrom='Exadata cell', - smtpPort=' ', - smtpUseSSL='TRUE', - notificationPolicy='critical,warning,clear', - notificationMethod='mail'; 下面是一个例子cellcli命令来验证配置是正确的，警报可通过电子邮件发送（发送确认电子邮件） ： cellcli>alter cell validate mail; 确保正确的软件版本和配置容忍交换机故障 要优化开关故障检测和处理，应做以下： * The Voltaire switch software should be at least version 5.1.1. See this section for instructions * The switch polling retries should be set to 3 seconds (where each try is 5 seconds so 15 second default). See this section for an example Configure NTP on the Voltaire switch 为了使Voltaire切换到数据库服务器/细胞的消息上的消息适当的相关性，NTP应配置在交换机上使用相同的NTP服务器，时区等。 找到这本节中的配置的例子。 在部署时检查最新的软件/补丁 重要的是要确保在初始部署时间应用最新的软件/补丁。最新的生产代码是11.1.3.2和细节可以在Metalink说明791275.1 Cell组和ASM磁盘组配置最佳的性能和可用性 Exadata的cells和cell/grid磁盘可以在逻辑上分为对称的单元，我们将长期“cell group” 。分组cell和cell/grid磁盘到细胞群体提供了一种机制隔离开来，为更好地失败保护彼此的cell。请注意，创建多个cell群限制了最大的IO带宽，所以IORM通常是首选的解决方案，以实现IO负载隔离。cell群还提供了一个一致的存储配置，使ASM可以优化磁盘的磁盘组合作。一个cell and grid组中的所有cells的cell group和网格磁盘配置应该是相同的的。 这方面的例子将运行在cell group组中的所有cells的以下内容： cellcli>create celldisk all; create griddisk all prefix="HOT", size=170g; create griddisk all prefix="COLD"; 同样，每个ASM磁盘组应建立网格磁盘使用相同的前缀从cell group中的所有cells。这样的一个例子如下： sql>create diskgroup hot normal redundancy DISK 'o/*/HOT*' ATTRIBUTE 'AU_SIZE' = '4M', 'cell.smart_scan_capable'='TRUE', 'compatible.rdbms'='11.1.0.7', 'compatible.asm'='11.1.0.7'; sql>create diskgroup cold normal redundancy DISK 'o/*/COLD*' ATTRIBUTE 'AU_SIZE' = '4M', 'cell.smart_scan_capable'='TRUE', 'compatible.rdbms'='11.1.0.7', 'compatible.asm'='11.1.0.7'; 在一般情况下，所有的cells应该存在于一个cell group，使所有可用的IO带宽提供给应用程序。根据应用的要求，可能有某些情况下，当多个cell group所需。这一个例子，如果你想包含闪回恢复区，单独的物理磁盘从磁盘组包含数据库（S ）的磁盘组。根据环境，这可能是一个不错的选择，提供更全面的保护，从而更高的可用性。这是非常重要的理解，如果您选择使用多个cell group，您必须配置足够的cell在您的cell group，可满足应用服务级别（又名所需的带宽/响应时间） 。 当添加一个cell的一个cell group，该单元格的网格磁盘配置应在电池组的所有其他cell相匹配，同样，由此产生的网格磁盘被添加到相同的磁盘组的房子从电网磁盘现有的细胞。下降从一个细胞组一个细胞时，都应该被丢弃从该单元格网格磁盘从磁盘组他们的房子。这可以使用failgroup命令，失败组的名称一般是单元名称改变的磁盘组下降的磁盘优化。网格磁盘从磁盘组（S ）中删除后，电网的磁盘可以被丢弃。 最后，这里有一些其他相关的配置的最佳做法： *对于每一个cell group，一个ASCII文件应包含在该cell group的cell主机名的存在。这个文件可以用于dcli分组函数（ - g参数） ，当电池组中的所有细胞发出的命令。 *对于单实例Oracle ASM正常冗余，而cell所需的最低数量是两个，这是一个最好的做法，至少有三个cell，使ASM的冗余可以一个单元出现故障后重建。 *为Oracle RAC的Exadata细胞用于存储OCR和投票设备， 3个cell所需的支持CRS冗余（三人份）的投票设备。 避免增加从数据库机器的默认日志文件大小 数据库机器提供了极高重做生成率可能使你考虑增加日志文件的大小。当前数据库日志文件大小的机器默认是32G的，应该足以应付几乎所有的写密集型的工作负载。不要增加联机日志文件的大小比默认情况下，除非Oracle支持的数据库机器更大的。 数据库服务器上禁用Hugepages 当前数据库中的图像分配4G在许多情况下，由于种种原因没有得到使用hugepages 。 ，为什么hugepages不使用一些常见的例子是： *分配SGA创建时间要求是大于hugepage配置 *自动记忆体管理正在使用不能充分利用hugepages * oracle用户无法锁定请求的内存量，因为memlock限制是未指定或配置在/ect/security/limits.conf 考虑到这些问题，和缺乏数据仓库环境中受益，这是建议， hugepages数据库服务器上禁用。 请注意，不应该被禁用的Exadata细胞hugepages 。 错误8268393已提交，使这一变化在数据库端图像的永久，包括手动做变通节的步骤。 配置坐骑之前，文件系统检查数据库服务器 文件系统将检查（ fsck的）后，它通常安装在重新启动的时间，次数的指定数量。这之前检查的坐骑的最大数量，可以通过tune2fs - l命令确定（寻找最大装载计数）和数据库机数据库服务器的默认30 。如果你想改变这个最大的，它可以用tune2fs - c命令。 完全合格的主机名限制为31个字符或更少 这不是一个硬性要求，但限制完全合格的主机名，以31个字符或更少，确保各种Oracle消息不会有被截断的名称。 Voltaire Switch开关指示升级 1。在开始这个过程之前，您必须有5.1.0版。如果你有一个早期版本，升级到5.1.0 。版本show命令可用于获取版本。 2。主交换机上启动这一进程。主可确定与SM -信息显示命令 3。交换机软件下载FTP伏尔泰（例如： http://www.voltaire.com/ftp/support-products/Oracle/ISR9024/v5_01_01_872 ;... ...） 4。放置在一个本地FTP服务器（ ： / tmp目录前）软件包 5。如果尚未设置，配置交换机为FTP访问通过以下命令： 1. Login as user admin 2. enable 3. config 4. remote 5. server 6. username 7. password 8. Type in the password 9. exit 10. exit 11. update software It may seem to hang, but be patient. It seems to go through a validation download followed by the real one. 6。更新后，交换机将重新启动 7。其他管理交换机重新启动开关后，重复的过程。有没有软件更新上的非管理型交换机。 8。要确认版本，登录到交换机，并执行版本show命令。输出应该类似以下内容： ISR 9024 version: 5.1.1 date: Nov 10 2008 10:57:18 AM build Id:872 示例设置开关重试3 使用下面的命令来设置开关重试3 1. Login to the switch as admin 2. enable 3. config 4. sm 5. sm-info polling-retries set 3 请注意，这些命令应托管交换机上运行。此操作可以运行没有关闭任何下来。 Voltaire交换机上的NTP配置的范例 bash-3.00$ ssh admin@ admin@'s password: Welcome to Voltaire Switch ISR9024D-388e The built-in test will start in 5 seconds - press enter to skip the tests 3 ISR9024D-388e> enable password: ******** Type Ctrl-z to exit from enable mode to disable mode. ISR9024D-388e# config ISR9024D-388e(config)# ntp ISR9024D-388e(config-ntp)# clock show Fri Feb 22 11:34:39 UTC 2002 ISR9024D-388e(config-ntp)# ntp server-ip-address set ISR9024D-388e(config-ntp)# ntp status set enable The system clocks will be synchronized in a few moments; the results are show n the umServer log ISR9024D-388e(config-ntp)# clock show Tue Feb 24 14:46:23 UTC 2009 ISR9024D-388e(config-ntp)# time-zone list show ISR9024D-388e(config-ntp)# time-zone set 441 The change will be applied after next reboot ISR9024D-388e(config-ntp)# exit ISR9024D-388e(config)# exit ISR9024D-388e# hardware ISR9024D-388e(hardware)# reset Are you sure you want to reset the entire system? [yes|no] yes Read from remote host 10.204.32.83: Connection reset by peer Connection to 10.204.32.83 closed. bash-3.00$ ssh admin@10.204.32.83 admin@'s password: Welcome to Voltaire Switch ISR9024D-388e The switch you've logged in is not the master SM Would you like to connect to the master SM switch? [yes|no] no The built-in test will start in 5 seconds - press enter to skip the tests ISR9024D-388e> clock show Tue Feb 24 06:51:44 PST 2009 Example output from db.iscsi.sh when the partition table hasn’t been created yet (ex: first node in a RAC cluster) [root@dscbac01 ~]# ./db.iscsi.sh Are you setting this node as member of Oracle RAC (y/n) [n]: yConfiguring iSCSI drives for OCR and voting disks Client name of iSCSI initiator (hostname of this Oracle Database server): Warning. Client name is empty. Try again. Client name of iSCSI initiator (hostname of this Oracle Database server): dscbac01 Owner of ocrvot devices (Oracle Database owner usually user oracle) [oracle]: Group of ocrvot devices (Oracle Database owner group, usually dba) [dba]: Permissions of ocrvot devices (default 640) [0640]: IP address of the Infiniband interface bond0 of the cell providing ocrvota: 192.168.50.209 IP address of the Infiniband interface bond0 of the cell providing ocrvotb: 192.168.50.210 IP address of the Infiniband interface bond0 of the cell providing ocrvotc: 192.168.50.211 Client name of iSCSI initiator (hostname of this Oracle Database server): dscbac01 IP address of the Infiniband interface bond0 of the cell providing ocrvota: 192.168.50.209 IP address of the Infiniband interface bond0 of the cell providing ocrvotb: 192.168.50.210 IP address of the Infiniband interface bond0 of the cell providing ocrvotc: 192.168.50.211 Is this correct (y/n) [y]: Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 29704 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Processing node 192.168.50.209:3260,1 iqn.2001-04.com.dscbac01s.us.oracle.com-disk0 ... Assigned device /dev/sda to ip-192.168.50.209:3260-iscsi-iqn.2001-04.com.dscbac01s.us.oracle.com-disk0 Logout session [sid: 1, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Logout session [sid: 2, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Logout session [sid: 3, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 30025 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Disk /dev/sda doesn't contain a valid partition table Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): Command action e extended p primary partition (1-4) Partition number (1-4): First cylinder (1-1017, default 1): Using default value 1 Last cylinder or +size or +sizeM or +sizeK (1-1017, default 1017): Command (m for help): Command action e extended p primary partition (1-4) Partition number (1-4): First cylinder (378-1017, default 378): Using default value 378 Last cylinder or +size or +sizeM or +sizeK (378-1017, default 1017): Command (m for help): The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. Logout session [sid: 4, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Logout session [sid: 5, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Logout session [sid: 6, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 30430 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Processing node 192.168.50.210:3260,1 iqn.2001-04.com.dscbac02s.us.oracle.com-disk0 ... Assigned device /dev/sdb to ip-192.168.50.210:3260-iscsi-iqn.2001-04.com.dscbac02s.us.oracle.com-disk0 Logout session [sid: 7, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Logout session [sid: 8, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Logout session [sid: 9, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 30785 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Disk /dev/sdb doesn't contain a valid partition table Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): Command action e extended p primary partition (1-4) Partition number (1-4): First cylinder (1-1017, default 1): Using default value 1 Last cylinder or +size or +sizeM or +sizeK (1-1017, default 1017): Command (m for help): Command action e extended p primary partition (1-4) Partition number (1-4): First cylinder (378-1017, default 378): Using default value 378 Last cylinder or +size or +sizeM or +sizeK (378-1017, default 1017): Command (m for help): The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. Logout session [sid: 10, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Logout session [sid: 11, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Logout session [sid: 12, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 31191 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Processing node 192.168.50.211:3260,1 iqn.2001-04.com.dscbac03s.us.oracle.com-disk0 ... Assigned device /dev/sdc to ip-192.168.50.211:3260-iscsi-iqn.2001-04.com.dscbac03s.us.oracle.com-disk0 Logout session [sid: 13, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Logout session [sid: 14, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Logout session [sid: 15, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 31597 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Disk /dev/sdc doesn't contain a valid partition table Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): Command action e extended p primary partition (1-4) Partition number (1-4): First cylinder (1-1017, default 1): Using default value 1 Last cylinder or +size or +sizeM or +sizeK (1-1017, default 1017): Command (m for help): Command action e extended p primary partition (1-4) Partition number (1-4): First cylinder (378-1017, default 378): Using default value 378 Last cylinder or +size or +sizeM or +sizeK (378-1017, default 1017): Command (m for help): The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. Logout session [sid: 16, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Logout session [sid: 17, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Logout session [sid: 18, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 32028 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Add ip-192.168.50.209:3260-iscsi-iqn.2001-04.com.dscbac01s.us.oracle.com-disk0 to the persistent storage Add ip-192.168.50.210:3260-iscsi-iqn.2001-04.com.dscbac02s.us.oracle.com-disk0 to the persistent storage Add ip-192.168.50.211:3260-iscsi-iqn.2001-04.com.dscbac03s.us.oracle.com-disk0 to the persistent storage Starting udev: [ OK ] Example output from db.iscsi.sh when the partition table has been created yet [root@dscbac07 cellos]# ./db.iscsi.sh Are you setting this node as member of Oracle RAC (y/n) [n]: yConfiguring iSCSI drives for OCR and voting disks Client name of iSCSI initiator (hostname of this Oracle Database server): dscbac 07 Owner of ocrvot devices (Oracle Database owner usually user oracle) [oracle]: Group of ocrvot devices (Oracle Database owner group, usually dba) [dba]: Permissions of ocrvot devices (default 640) [0640]: IP address of the Infiniband interface bond0 of the cell providing ocrvota: 192. 168.50.209 IP address of the Infiniband interface bond0 of the cell providing ocrvotb: 192. 168.50.210 IP address of the Infiniband interface bond0 of the cell providing ocrvotc: 192. 168.50.211 Client name of iSCSI initiator (hostname of this Oracle Database server): dscbac 07 IP address of the Infiniband interface bond0 of the cell providing ocrvota: 192. 168.50.209 IP address of the Infiniband interface bond0 of the cell providing ocrvotb: 192. 168.50.210 IP address of the Infiniband interface bond0 of the cell providing ocrvotc: 192. 168.50.211 Is this correct (y/n) [y]: Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 30646 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com .dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-d isk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-d isk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Processing node 192.168.50.209:3260,1 iqn.2001-04.com.dscbac01s.us.oracle.com-di sk0 ... Assigned device /dev/sda to ip-192.168.50.209:3260-iscsi-iqn.2001-04.com.dscbac0 1s.us.oracle.com-disk0 Logout session [sid: 1, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, p ortal: 192.168.50.209,3260] Logout session [sid: 2, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, p ortal: 192.168.50.210,3260] Logout session [sid: 3, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, p ortal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 31040 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com .dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-d isk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-d isk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Info. Valid partition table already exists for the device /dev/sda: /dev/sda1 1 377 264435 83 Linux /dev/sda2 378 754 264465+ 83 Linux Cancel iSCSI OCR and voting devices set up (y/n) [n]: Recreate partition table for the device /dev/sda (y/n) [n]: Processing node 192.168.50.210:3260,1 iqn.2001-04.com.dscbac02s.us.oracle.com-di sk0 ... Assigned device /dev/sdb to ip-192.168.50.210:3260-iscsi-iqn.2001-04.com.dscbac0 2s.us.oracle.com-disk0 Logout session [sid: 4, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, p ortal: 192.168.50.209,3260] Logout session [sid: 5, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, p ortal: 192.168.50.210,3260] Logout session [sid: 6, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, p ortal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 31463 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com .dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-d isk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-d isk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Info. Valid partition table already exists for the device /dev/sdb: /dev/sdb1 1 377 264435 83 Linux /dev/sdb2 378 754 264465+ 83 Linux Cancel iSCSI OCR and voting devices set up (y/n) [n]: Recreate partition table for the device /dev/sdb (y/n) [n]: Processing node 192.168.50.211:3260,1 iqn.2001-04.com.dscbac03s.us.oracle.com-di sk0 ... Assigned device /dev/sdc to ip-192.168.50.211:3260-iscsi-iqn.2001-04.com.dscbac0 3s.us.oracle.com-disk0 Logout session [sid: 7, target: iqn.2001-04.com.dscbac01s.us.oracle.com-disk0, p ortal: 192.168.50.209,3260] Logout session [sid: 8, target: iqn.2001-04.com.dscbac02s.us.oracle.com-disk0, p ortal: 192.168.50.210,3260] Logout session [sid: 9, target: iqn.2001-04.com.dscbac03s.us.oracle.com-disk0, p ortal: 192.168.50.211,3260] Stopping iSCSI daemon: /etc/init.d/iscsi: line 33: 31879 Killed /etc/init.d/iscsid stop iscsid dead but pid file exists [ OK ] Turning off network shutdown. Starting iSCSI daemon: [ OK ] [ OK ] Setting up iSCSI targets: Login session [iface: default, target: iqn.2001-04.com .dscbac01s.us.oracle.com-disk0, portal: 192.168.50.209,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac02s.us.oracle.com-d isk0, portal: 192.168.50.210,3260] Login session [iface: default, target: iqn.2001-04.com.dscbac03s.us.oracle.com-d isk0, portal: 192.168.50.211,3260] [ OK ] Waiting 5 seconds for iSCSI to come up ... Info. Valid partition table already exists for the device /dev/sdc: /dev/sdc1 1 377 264435 83 Linux /dev/sdc2 378 754 264465+ 83 Linux Cancel iSCSI OCR and voting devices set up (y/n) [n]: Recreate partition table for the device /dev/sdc (y/n) [n]: Add ip-192.168.50.209:3260-iscsi-iqn.2001-04.com.dscbac01s.us.oracle.com-disk0 t o the persistent storage Add ip-192.168.50.210:3260-iscsi-iqn.2001-04.com.dscbac02s.us.oracle.com-disk0 t o the persistent storage Add ip-192.168.50.211:3260-iscsi-iqn.2001-04.com.dscbac03s.us.oracle.com-disk0 t o the persistent storage Starting udev: [ OK ] [root@dscbac07 cellos]# ls -ll /dev/ocr* lrwxrwxrwx 1 root root 3 Oct 16 17:34 /dev/ocrvota -> sda lrwxrwxrwx 1 root root 4 Oct 16 17:34 /dev/ocrvota1 -> sda1 lrwxrwxrwx 1 root root 4 Oct 16 17:34 /dev/ocrvota2 -> sda2 lrwxrwxrwx 1 root root 3 Oct 16 17:34 /dev/ocrvotb -> sdb lrwxrwxrwx 1 root root 4 Oct 16 17:34 /dev/ocrvotb1 -> sdb1 lrwxrwxrwx 1 root root 4 Oct 16 17:34 /dev/ocrvotb2 -> sdb2 lrwxrwxrwx 1 root root 3 Oct 16 17:34 /dev/ocrvotc -> sdc lrwxrwxrwx 1 root root 4 Oct 16 17:34 /dev/ocrvotc1 -> sdc1 lrwxrwxrwx 1 root root 4 Oct 16 17:34 /dev/ocrvotc2 -> sdc2 Errors OWS-1252</P><P></P>