一、组网规划
1、iSCSI双控直连组网
2、IP规划：包括主机系统和存储系统上的IP规划配置
存储系统侧IP配置需遵循以下原则：
1）iSCSI 主机端口的 IP 地址不能与管理网口的 IP 地址配置在同一个网段中。
2）磁阵每个 GE 口分配独立的 IP 地址， 同一个控制器的 4 个业务网口不可以配置在同一网段。
主机系统侧配置IP的方法在此不做详细介绍
当存储系统和主机系统的IP 都配置好后， 可以使用ping 命令查看路径是否畅通。 如ping不通则需要检查物理链路是否正常，IP 地址配置是否正确等。
二、配置前的准备
1、主机系统上的准备
2、存储系统上的准备【存储系统上，需要创建好业务所需要的 RAID（Redundant Array of Independent Disks） 、LUN（Logical Unit Number）及主机等信息。这些内容都是普遍通用的。在此不再多加描述】
创建存储池
创建主机
创建映射组
注意 映射组、主机、存储池 三者之间的关系
所谓在存储系统上创建存储池，即将多块硬盘虚拟化为一块虚拟硬盘，然后可以在虚拟硬盘上创建逻辑卷；
所谓在存储系统上创建主机，是为了实现在存储系统上创建一个和实际应用服务器主机对应的逻辑实体（与实际业务主机一一对应）；
所谓在存储系统上创建映射组，是为了实现一个或多个主机逻辑实体（即实际业务主机）与一个或多个逻辑卷之间的映射；
三、Superpath多路径软件安装
1、将安装包superpath-1.01.24-zte.x86_64.rpm上传到/usr/local/superpath_for_linux目录；
2、使用 cd 命令转到/usr/local/superpath_for_linux目录，执行如下命令进行安装
rpm -ivh superpath-1.01.24-zte.x86_64.rpm
3、执行命令rpm -qa | grep superpath查看Superpath 是否安装成功。如果返回superpath-1.01.24-zte.x86_64则表示安装成功。
注：Superpath 安装完成后，建议重启应用服务器主机。
四、建立iSCSI连接
1）配置主机系统上的iSCSI软件包（以CentOS7为例）
配置流程：
1、配置主机系统启动器
步骤1：安装iSCSI initiator
yum install -y iscsi-initiator-utils
步骤2：修改iSCSI initiator配置文件
建议对/etc/iscsi/iscsid.conf中有关超时检查的时间和自动启动会话分别重新设置如下：
node.session.timeo.replacement_timeout = 1
node.startup = automatic
步骤3：启动iscsi服务
#systemctl start iscsi
设置开机启动服务
#systemctl enable iscsi
步骤4：添加iSCSI initiatorname
（1）使用cat /etc/iscsi/initiatorname.iscsi命令获取iSCSI initiatorname
#cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.com.redhat:486042d3c9fb
（2）登录存储系统的管理页面，将“InitiatorName=”后面的主机名称添加到相应的主机ISCSI端口映射组中，管理界面的具体路径为【配置>逻辑>主机>配置】，具体步骤参见“2）配置磁阵端启动器”
步骤5：使用命令建立iSCSI连接
对于存储系统的每一个业务端口IP地址，按照如下方法连接：
（1）使用iscsiadm -m discovery -t st -p xxx.xxx.xxx.xxx命令发现存储设备，其中xxx.xxx.xxx.xxx为存储系统业务端口的IP地址。如
#iscsiadm -m discovery -t st -p 192.168.3.17
192.168.1.17:3260,129 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
192.168.2.17:3260,130 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
192.168.3.17:3260,131 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
192.168.4.17:3260,132 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2
（2）使用iscsiadm -m node -p xxx.xxx.xxx.xxx:3260 --login登录。如：
#iscsiadm -m node -p 192.168.3.17:3260 --login
Logging in to [iface: default, target: iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2, portal: 192.168.3.17,3260] (multiple)
Login to [iface: default, target: iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2, portal: 192.168.3.17,3260] successful.
使用iscsiadm -m node -p xxx.xxx.xxx.xxx:3260 --logout断开连接（可选）
（3）使用命令iscsiadm -m session查看连接是否成功。如
#iscsiadm -m session
tcp: [2] 192.168.3.17:3260,131 iqn.2099-01.cn.com.zte:usp.spr11-74:4a:a4:06:97:d2 (non-flash)
（4）如果主机侧还有其它的网口与存储端的其它业务端口连通，则存储端其他业务端口的IP地址，在网络连通的情况下，请按照上述步骤进行同样的操作。
步骤6：查看确认是否成功映射磁盘
使用命令iscsiadm -m session -P3查看连接状态。命令输出信息中查看Attached SCSI devices项，看是否有预期的磁盘发现。示例如下：
#fdisk -l
步骤7：使用 Superpath 软件提供的命令，查看该 SCSI 磁盘对应的虚拟盘是否已经生成。
（1）用#systemctl status superpathd.service确认 Superpath 软件是否启动成功。示例如下：
● superpathd.service - Device-Mapper Superpath Device Controller
Loaded: loaded (/usr/lib/systemd/system/superpathd.service; enabled; vendor preset: disabled)
Active: active (running) since Wed 2018-07-25 15:56:53 CST; 13min ago
Process: 20570 ExecStart=/sbin/superpathd (code=exited, status=0/SUCCESS)
Process: 20549 ExecStartPre=/etc/rc.d/boot.superpath preStart (code=exited, status=0/SUCCESS)
Main PID: 20573 (superpathd)
CGroup: /system.slice/superpathd.service
└─20573 /sbin/superpathd
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [group_by_node_name] enter, map name:'spatha'.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [group_by_node_name] sdb: tgt node name:iqn.2... .
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: spatha: domap action is 6.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [uevent_listen]: uevent 'add' from '/devices/...3'
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [uevent_listen]: uevent 'change' from '/devic...3'
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: spatha: load table [0 4294967296 multipath 1 ...1]
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [start_waiter_thread]: spatha: event checker ...d.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [ev_add_path]sdb 8:16 8:0:0:0 path added to d...a.
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [uev_add_map]dm-3: add map (uevent).
Jul 25 16:03:07 localhost.localdomain superpathd[20573]: [set_scheduler]: map dm-3 current scheduler i...].
Hint: Some lines were ellipsized, use -l to show in full.
如果 Superpath 软件未启动，用# systemctl start superpathd.service 启动进程
（2）使用 superpathd cli 交互命令行中 show topology 命令查看 SCSI 磁盘与虚拟盘的信息：
# superpathd show topology
create: spatha (350015eba95912375) dm-3 ZTE,ZXUSP
size=2.000T features='1 queue_if_no_path' hwhandler='1 alua' wp=rw
`-+- policy='round-robin 0' prio=100 status=active
`- 8:0:0:0 sdb 8:16 active ready running
2）配置磁阵端启动器
完成上面主机系统上启动器相关的配置操作后，还需要将获取到的启动器名称添加到磁阵管理系统中。
步骤1：在存储管理系统的导航树中选择【配置>逻辑>主机>配置】，在下拉菜单中选择创建主机；
步骤2：在弹出的对话框中，端口名称填写在主机上获取到的启动器名称，其它信息可根据实际情况进行填写。
五、使用系统自带的LVM（Logic VolumeManager）卷管理软件实现在线扩容
以虚拟磁盘/dev/mapper/spatha为例
1、使用 pvcreate 命令创建物理卷。
#pvcreate /dev/mapper/spatha
2、将物理卷dev/mapper/spatha添加到卷组centos
#vgextend centos /dev/mapper/spatha
3、在卷组centos中，将原逻辑卷/dev/centos/data的容量增大2T
#lvextend -L +2T /dev/centos/data
4、执行扩容调整，将文件系统增到逻辑卷的大小
#xfs_growfs /dev/centos/data
5、对原/data逻辑卷进行扩容后，再次查看/data目录的磁盘空间大小
# df -hP|grep /data #查看/data目录的磁盘空间大小
六、附录
基于ISCSI做存储扩容后，需要注意的是ISCSI是基于IP网络实现的，主机系统在启动过程中，其网络服务在未启动起来之前，主机系统是扫描不到存储设备上的硬盘的，但是主机系统（如Linux）在启动过程中，一般会先在/etc/fstab中进行硬盘或逻辑卷的挂载（如下图），等主机系统完全启动起来之后才起网络服务，如果/etc/fstab中有逻辑卷是在基于ISCSI存储设备上的硬盘创建的，那么主机系统在启动过程中会出现因挂载ISCSI存储设备上的逻辑卷失败而导致系统起不来的情况（在系统启动过程中可通过按F1按键来查看系统详细的启动过程信息）。
[root@localhost ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Tue Sep 26 12:46:12 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=de3ba27e-fc0d-4f4e-8e20-a16ed0f3cee4 /boot xfs defaults 0 0
/dev/mapper/centos-data /data xfs defaults,noatime,nodiratime 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
如上所述，逻辑卷data是在基于ISCSI存储设备上的硬盘创建的，直接放在/etc/fstab中挂载会导致主机系统启动失败，解决办法如下：
1、在/etc/fstab中将挂载逻辑卷data的命令行注释掉
[root@localhost ~]# vi /etc/fstab
#
# /etc/fstab
# Created by anaconda on Tue Sep 26 12:46:12 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=de3ba27e-fc0d-4f4e-8e20-a16ed0f3cee4 /boot xfs defaults 0 0
#/dev/mapper/centos-data /data xfs defaults,noatime,nodiratime 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
2、在主机系统的网络服务启动起来之后再逻辑卷data，可以在/etc/rc.local中增加挂载命令
# mount LVM LV
sleep 15
mount -t xfs -o noatime /dev/mapper/centos-data /data
总结：基于ISCSI存储设备实现的LVM中的逻辑卷不能放在fstab中挂载，需要等系统启动完成后（确切的说需要等网络服务启动起来之后，iscsi服务会自动连接ISCSI设备，并自动挂载ISCSI设备上的硬盘）再挂载，可以在/etc/rc.local中增加挂载命令
硬盘分区（或LVM分区，即逻辑卷）的UUID信息查看
[root@localhost ~]# blkid
/dev/sda1: UUID="de3ba27e-fc0d-4f4e-8e20-a16ed0f3cee4" TYPE="xfs"
/dev/sda2: UUID="fHo5y6-4KNS-mN1Q-ueW8-ngiN-9oe9-Re7JH5" TYPE="LVM2_member"
/dev/mapper/centos-root: UUID="78a4af74-3fc8-4759-9edf-af73f24493c7" TYPE="xfs"
/dev/mapper/centos-swap: UUID="ae3c18a9-f168-43ec-bbdd-01fec80894f1" TYPE="swap"
/dev/mapper/spatha: UUID="kBBlDq-75Zi-ds9y-8WYt-cf57-wcgn-odBf6m" TYPE="LVM2_member"
/dev/sdb: UUID="kBBlDq-75Zi-ds9y-8WYt-cf57-wcgn-odBf6m" TYPE="LVM2_member"
/dev/mapper/centos-data: UUID="4f4b0d2b-8e22-4e55-978d-738638580263" TYPE="xfs"