板块三章节4——iSCSI 服务器(待更新)
iSCSI 服务器
iSCSI 服务介绍
SCSI(Small Computer System Interface,小型计算机系统接口),一种用于计算机和智能设备之间(硬盘、软驱、光驱、打印机、扫描仪等)连接标准。
iSCSI(Internet Small Computer System Interface,Internet 小型计算机系统接口),又称为IP-SAN,是IBM公司研究开发的IP SAN技术,该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,基于TCP/IP的协议连接iSCSI服务端(Target)和客户端(Initiator),使得封装后的SCSI数据包可以在互联网传输,最终实现iSCSI服务端提供存储给客户端。
通常,iSCSI使用专用的10 Gb以太网或更好的网络,以最大程度地提高性能。
从物理服务器到存储的电缆通常封闭在数据中心内,并且理想情况下不直接连接到LAN网络,所以SAN流量通常不加密,以最大程度地提高性能。 为了实现WAN安全,iSCSI管理员可以使用IPsec加密流量。
iSCSI 架构
iSCSI服务是C/S架构。访问的iSCSI目标在客户端系统上显示为本地且未格式化的SCSI快设备,等同于通过SCSI布线、FC直连或FC交换光线连接的设备。
-
Initiator,iSCSI客户端,通常以软件方式部署,也可以使用iSCSI Host Bus Adapters (HBAs) (HBA)硬件。 Initiator必须具有唯一的名称(请参见IQN)。
-
Target,iSCSI服务器上的iSCSI存储资源。 Target必须具有唯一的名称(请参见IQN)。 每个目标都提供一个或多个块设备或逻辑单元(LUN-logical units)。 在大多数情况下,Target只提供一个设备,但一台服务器可以提供多个目标。
-
IQN(iSCSI Qualified Name)全球唯一的名称,用于标识发起者和目标。 IQN具有以下格式:
iqn.YYYY-MM.com.reversed.domain:name_string
- YYYY-MM,年和月。示例,2020年6月为2020-06。该日期有助于确保IQN唯一性。
- com.reversed.domain,反向域名。 例如,
server.redhat.fun
的反向域名为cloud.laoma.www
。 - name_string,用于标识您管理的特定目标。 如果服务器只具有一个目标,则有时会省略此名称。
-
Portal,指定服务器监听的地址和端口,例如,172.25.250.50:3260。
-
LUN(Logical Unit Number),代表Target提供的块设备。 每个目标可以提供一个或多个LUN。
-
ACL(Access Control List),使用Initiator的IQN限制客户端访问Target。
-
TPG(Target Portal Group),是目标的完整配置,包括Portal,LUN和ACL。 几乎所有目标都使用一个TPG,但是高级配置有时可能会定义多个TPG。
-
discovery,查询服务器上有Target列表。
-
login,向Target验证,验证通过后即可以使用Target服务器提供的块设备。
配置 iSCSI Targets
配置 iSCSI Targets需要安装以下软件:
- targetd,服务端软件。
- targetcli,用于配置targetd服务。
# 安装软件
[root@server-gx ~ 14:49:57]# yum install -y targetd targetcli.noarch# 启用并启动服务
[root@server-gx ~ 14:50:30]# systemctl enable --now targetd
当您不带任何选项运行targetcli时,该命令将进入交互模式。
在以下示例中,使用ls命令显示当前布局。
[root@server-gx ~ 14:51:05]# targetcli
Warning: Could not load preferences file /root/.targetcli/prefs.bin.
targetcli shell version 2.1.53
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'./> ls
o- / ...................................................... [...]o- backstores ........................................... [...]| o- block ............................... [Storage Objects: 0]| o- fileio .............................. [Storage Objects: 0]| o- pscsi ............................... [Storage Objects: 0]| o- ramdisk ............................. [Storage Objects: 0]o- iscsi ......................................... [Targets: 0]o- loopback ...................................... [Targets: 0]
配置 backstore 对象
backstore类型:
- block:服务器中的块设备,例如磁盘驱动器,磁盘分区或逻辑卷。
- fileio:本地文件系统中的常规文件。targetcli将该文件用作磁盘映像。
- pscsi:物理SCSI设备。 这种类型的存储允许客户端通过网络访问服务器上的物理SCSI设备。
- ramdisk:内存中的磁盘设备。 这种类型的存储不会持久存储数据。 服务器重新启动后,数据将丢失。
要使用targetcli创建后备存储,请使用其create命令。 该命令的行为取决于您在配置树中的当前位置。
示例:
/> cd /backstores/block
/backstores/block> create myblock1 /dev/sdb
Created block storage object myblock1 using /dev/sdb.
等同于
/> /backstores/block create myblock1 /dev/sdb
Created block storage object myblock1 using /dev/sdb.
配置 Target IQN
在/iscsi伪目录中,创建IQN,将您选择的IQN名称作为其第一个参数。
/backstores/block> cd /iscsi
/iscsi> create iqn.2025-08.top.azurewhisky.server:disk1
Created target iqn.2025-08.top.azurewhisky.server:disk1.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.
/iscsi> ls
o- iscsi ........................................... [Targets: 1]o- iqn.2025-08.top.azurewhisky.server:disk1 ......... [TPGs: 1]o- tpg1 .............................. [no-gen-acls, no-auth]o- acls ......................................... [ACLs: 0]o- luns ......................................... [LUNs: 0]o- portals ................................... [Portals: 1]o- 0.0.0.0:3260 .................................... [OK]
配置 LUN
/> cd /iscsi/iqn.2025-08.top.azurewhisky.server:disk1/tpg1/luns
/iscsi/iqn.20...sk1/tpg1/luns> create /backstores/block/myblock1 Created LUN 0.
配置 ACL
创建ACL,以允许客户端启动程序访问目标。在Red Hat Enterprise Linux上,启动器的IQN存储在/etc/iscsi/initiatorname.iscsi文件中。
/iscsi> cd /
/> cd /iscsi/iqn.2025-08.top.azurewhisky.server:disk1/tpg1/luns
/iscsi/iqn.20...sk1/tpg1/luns> create /backstores/block/myblock1 Created LUN 0.
/iscsi/iqn.20...sk1/tpg1/luns> cd /
/> cd /iscsi/iqn.2025-08.top.azurewhisky.server:disk1/tpg1/acls
/iscsi/iqn.20...sk1/tpg1/acls> create iqn.2025-08.top.azurewhisky.server:client
Created Node ACL for iqn.2025-08.top.azurewhisky.server:client
Created mapped LUN 0.
配置 Portal
/iscsi/iqn.20...sk1/tpg1/acls> cd /
/> cd /iscsi/iqn.2025-08.top.azurewhisky.server:disk1/tpg1/portals/
/iscsi/iqn.20.../tpg1/portals> delete 0.0.0.0 3260
Deleted network portal 0.0.0.0:3260
/iscsi/iqn.20.../tpg1/portals> create 10.1.8.10 3260
Using default IP port 3260
Created network portal 10.1.8.10:3260.
保存配置
退出targetcli shell时,该命令将配置保存在/etc/target/saveconfig.json文件中。
/iscsi/iqn.20.../tpg1/portals> exit
Global pref auto_save_on_exit=true
Configuration saved to /etc/target/saveconfig.json
非交互式管理 Targets
[root@server ~]# targetcli /backstores/block create myblock1 /dev/sdb
Created block storage object myblock1 using /dev/sdb.[root@server ~]# targetcli /iscsi create iqn.2024-12.cloud.laoma.server:disk1
Created target iqn.2024-12.cloud.laoma.server:disk1.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.[root@server ~]# targetcli /iscsi/iqn.2024-12.cloud.laoma.server:disk1/tpg1/luns \
> create /backstores/block/myblock1
Created LUN 0.[root@server ~]# targetcli /iscsi/iqn.2024-12.cloud.laoma.server:disk1/tpg1/acls \
> create iqn.2024-12.cloud.laoma.client
Created Node ACL for iqn.2024-12.cloud.laoma.client
Created mapped LUN 0.[root@server ~]# targetcli /iscsi/iqn.2024-12.cloud.laoma.server:disk1/tpg1/portals \
> delete 0.0.0.0 3260
Deleted network portal 0.0.0.0:3260[root@server ~]# targetcli /iscsi/iqn.2024-12.cloud.laoma.server:disk1/tpg1/portals \
> create 10.1.8.10 3260
Using default IP port 3260
Created network portal 172.25.250.10:3260.[root@server ~]# targetcli saveconfig
Configuration saved to /etc/target/saveconfig.json
提示:与交互式使用targetcli不同,命令行模式必须显式运行saveconfig子命令以保存配置。
访问 iSCSI 存储
iSCSI 启动器通常以软件方式实现。 使用基于软件的iSCSI启动器需要连接到具有足够带宽的现有以太网网络,以承载存储流量。
您也可以使用硬件启动器-主机总线适配器(HBA),从而减轻了其他系统资源的负担。
准备系统
配置iSCSI客户端启动程序需要安装iscsi-initiator-utils软件包,该软件包包括iscsi和iscsid服务以及**/etc/iscsi/iscsid.conf和/etc/iscsi/initiatorname.iscsi**配置文件。
[root@client-gx ~ 15:10:33]# yum install -y iscsi-initiator-utils
作为iSCSI启动器,客户端需要其自己的唯一iSCSI合格名称(IQN)。在安装iscsi-initiator-utils的过程中,该软件包生成唯一的IQN,并存储到/etc/iscsi/initiatorname.iscsi文件中。 管理员通常需要更改该名称。
[root@client-gx ~ 15:10:56]# vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2025-08.top.azurewhisky.server:client
/etc/iscsi/iscsid.conf文件包含您连接的目标的默认设置。 这些设置包括iSCSI超时,重试以及用于身份验证的用户名和密码参数。
软件包安装会自动配置iscsid服务,以便启动器在系统启动时自动重新连接到任何已发现的目标。 每当您修改启动程序的配置文件时,请重新启动iscsid服务。
连接 iSCSI 目标
在使用远程设备之前,首先需要发现目标。 发现过程使用/etc/iscsi/iscsid.conf中的配置将目标信息和设置存储在/var/lib/iscsi/nodes/目录中。
您可以使用以下命令执行远程目标的发现:
[root@client ~]# iscsiadm -m discovery -t st -p portal_ip[:port]
参数说明:
- portal_ip参数是目标门户的IP地址。
- 如果未指定port参数,它将使用默认端口3260。
示例:
[root@client-gx ~ 15:15:34]# iscsiadm -m discovery -t st -p server
10.1.8.10:3260,1 iqn.2025-08.top.azurewhisky.server:disk1
要使用列出的目标之一,请使用以下命令登录到该目标:
[root@client ~]# iscsiadm -m node -T Target -p portal_ip[:port] -l
示例:
[root@client-gx ~ 15:16:01]# iscsiadm -m node -T iqn.2025-08.top.azurewhisky.server:disk1 -l
Logging in to [iface: default, target: iqn.2025-08.top.azurewhisky.server:disk1, portal: 10.1.8.10,3260] (multiple)
Login to [iface: default, target: iqn.2025-08.top.azurewhisky.server:disk1, portal: 10.1.8.10,3260] successful.
此时,系统将检测到新的SCSI块设备,就好像它是本地连接的硬盘驱动器一样。 您可以使用以下命令查看新设备,该命令以打印级别3显示有关当前iSCSI登录会话的信息。
[root@client ~]# iscsiadm -m session -P 3
iSCSI Transport Class version 2.0-870
version 6.2.0.877-0
Target: iqn.2024-12.cloud.laoma.server:disk1 (non-flash)
Current Portal: 10.1.8.10:3260,1
...output omitted...
Attached scsi disk sdc State: running
或者,您可以查看dmesg
,tail /var/log/messages
或ls -l /dev/disk/by-path/*iscsi*
命令的输出。 该登录过程在重新启动后将保持不变。 因此,启动后块设备将自动可用。
格式化 iSCSI 设备
如果发现的块设备已经具有分区,文件系统或LVM卷,则可以使用常规命令(如mount)访问该数据。 您可以使用lsblk --fs命令检查设备。
[root@client-gx ~ 22:30:43]# blkid
/dev/sdb: UUID="8d9b5331-e852-4afb-819d-613854ccbc05" TYPE="xfs"
/dev/sr0: UUID="2022-07-26-15-09-17-00" LABEL="CentOS 7 x86_64" TYPE="iso9660" PTTYPE="dos"
/dev/sda1: UUID="f4066dcd-745d-41f9-aa1d-ac05f851eadc" TYPE="xfs"
/dev/sda2: UUID="AoBoAr-jeJM-m3Mx-a1Mc-Poi2-6ZRH-EwIov1" TYPE="LVM2_member"
/dev/mapper/centos-root: UUID="518fa23c-e4f4-44a0-b4f6-4d0e133c0000" TYPE="xfs"
/dev/mapper/centos-swap: UUID="b1926237-ff2b-4ad5-8145-0cfc29fa3e6c" TYPE="swap"
多个启动程序同时从同一目标安装同一文件系统,会导致文件系统损坏或尝试读取数据时出现不一致。 本地文件系统(例如ext4或XFS)不支持从多个系统并发安装。如果需要允许从多个系统同时访问基于iSCSI的块设备,请使用群集文件系统(例如GFS2)。
如果磁盘为空,则可以对其进行格式化,创建分区或将其用作LVM物理卷。
# 假设客户端发现的设备名称是/dev/sdb
[root@client ~]# mkfs.xfs /dev/sdb
持久化挂载
在/etc/fstab中的iSCSI目标上持久地挂载文件系统时,请确保遵循以下建议:
- 使用带有–fs选项的lsblk命令来确定文件系统UUID,然后使用该UUID挂载文件系统。 不要使用设备名称(
/dev/sd*
)。 设备的名称取决于 iSCSI 设备通过网络响应的顺序,因此设备名称可能会在引导之后更改。如果在 /etc/fstab 中使用设备名称,则系统可能会将设备挂载在错误的挂载点下。 - 在/etc/fstab中使用 _netdev 挂载选项。 因为iSCSI依赖网络访问远程设备,所以此选项可确保在网络和启动器启动之前,系统不会尝试挂载文件系统。
示例:
UUID="3d49d1dd-8209-43a1-a106-4de328762e00" /data xfs defaults,_netdev 0 0
还需要确保服务iscsi开机自动启动,该服务默认是开机自动启动的。
[root@client-gx ~ 22:37:44]# systemctl enable iscsi
断开目标连接
要停止使用iSCSI目标,请执行以下步骤:
-
确保没有使用目标提供的任何设备。 例如,卸载文件系统。
-
从/etc/fstab等位置删除对目标的所有持久引用。
-
从iSCSI目标注销。
[root@client ~]# iscsiadm -m node -T iqn.2024-12.cloud.laoma.server:disk1 \ > -p 10.1.8.10:3260 -u
-
删除 iSCSI目标的本地记录,以使启动器在引导过程中不会自动登录到目标。
[root@client ~]# iscsiadm -m node -T iqn.2024-12.cloud.laoma.server:disk1 \ > -p 10.1.8.10:3260 -o delete
故障处理
如果发现成功,但是启动器登录到发现的目标时遇到问题,则该问题很可能与访问控制或身份验证有关。客户端上的IQN与服务器上的IQN不匹配会导致目标登录失败。
如果问题是由于客户端上的启动器IQN不正确引起的,请在客户端的/etc/iscsi/initiatorname.iscsi文件中修复IQN,然后重新启动iscsid服务以使更改生效。
原因:iscsid 服务缓存了之前客户端扫描时使用的IQN。
处理方法:停止 iscsid 服务,释放之前客户端扫描时使用的IQN。
[root@client ~]# systemctl stop iscsid # 重新发现
[root@client ~]# iscsiadm -m discovery -t st -p server
10.1.8.10:3260,1 iqn.2024-12.cloud.laoma.server:disk1# 重新登录
[root@client ~]# iscsiadm -m node -T iqn.2024-12.cloud.laoma.server:disk1 -l
多路径访问(扩展-自学)
服务端准备
准备两个网络,targetcli中的portal也配置两个。效果如下:
[root@server ~]# ip -br a
lo UNKNOWN 127.0.0.1/8 ::1/128
ens160 UP 10.1.8.10/24 fd15:4ba5:5a2b:1008:20c:29ff:fe18:d49e/64 fe80::20c:29ff:fe18:d49e/64
ens224 UP 10.1.1.10/24 fe80::691c:af0d:551:9745/64 [root@server ~]# targetcli /iscsi/iqn.2024-08.fun.linux.server:webapp/tpg1/portals ls
o- portals ........................................................ [Portals: 2]o- 10.1.1.10:3260 ....................................................... [OK]o- 10.1.8.10:3260 ....................................................... [OK]
什么是多路径
多路径是指服务器和存储阵列存在多个物理连接方式使用虚拟设备,这种方式可以提供更加弹性的存储连接(一个路径down掉不会影响连接性),也可以聚合存储带宽提供性能。
示例:
多路径由dm-multipath子系统提供,使用内核device mapper系统获得虚拟设备,有multipathd进程和multipath命令行工具管理。
软件包device-mapper-multipath提供必要的binaries daemon和kernel modules。安装、配置、启动后,多路径设备节点会创建在两个位置。
出于管理目的,multipath设备创建在/dev/mapper,如果选择了user-friendly名称,这些设备也可以命名为mpathN[pM],或者配置在World Wide ID(WWID)之后。管理员也可以自定义多路径设备名,这些自定义名称在multipaths配置文件的multipaths部分使用alias选项定义。
多路径设备也会创建在/dev目录,格式/dev/dm-N与/dev/mapper下的文件匹配。这些设备提供给系统内部使用,禁止管理目的直接使用。
重要:多路径提供存储访问路径down情况的保护。如果存储本身不可用,访问访问存储也会不可用。
创建多路径设备,不同的路径将会合并到组中,取决于/etc/multipath.conf配置。典型情况,同一时刻只能激活一个组,一个组可以包含多个路径。当某个组故障,多路径进程将切换流量到不同组中。
配置多路径
安装软件包
[root@client ~]# yum install -y device-mapper-multipath
启用多路径
创建配置文件 /etc/multipath.conf 最简单的方法是使用mpathconf工具:
-
如果文件不存在,使用以下命令生成配置文件。也可以从默认位置/usr/share/doc/device-mapper-multipath-*/multipath.conf拷贝过来。
[root@client ~]# mpathconf --enable
-
如果文件已经存在,则以下命令会修改文件配置。
[root@client ~]# mpathconf --enable --with_multipathd y --with_chkconfig y
编辑配置文件后,使用 systemctl 命令 enable 和 start multipathd 进程。
[root@client ~]# systemctl enable multipathd
[root@client ~]# systemctl start multipathd
发现设备
过程省略。
监控多路径
multipath命令也可用于多路径状态监控。
- -l 选项,显示多路径拓扑简介。
- -ll 选项,会检测所有路径是否active,如果没有问题,路径的状态为active和ready。命令输出还会包括每个多路径设备的信息,有三个部分组成:多路径设备,path group,path group成员。
示例:
[root@client ~]# multipath -ll
mpatha (3600140559c2883e039048cbbce4320b4) dm-0 LIO-ORG ,myblock1
size=4.0G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 2:0:0:0 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=1 status=enabled`- 3:0:0:0 sda 8:0 active ready running
-
第一部分是多路径设备信息。
- 第一行:alias wwid 设备名 vendor 和产品信息。
- 第二行:size enabled features hardware handlers和写权限。
-
第二部分是多路径设备的path group,包括调度策略,优先级和path group 状态,紧随的是其成员path。对于每个path,也就是设备节点名,包括设备major和minor信息,path的状态。
- 状态为up,随时可以执行IO操作的path,显示的状态为ready。
- 状态为down,显示为faulty。
failover 的策略是active-passive配置,因此在任一时刻,只有一个路径是active状态,另外一个是enabled状态。
以下显示了passive状态的path group发生了故障。active状态的path group保持不变。
# 实验环境准备,断开server端第二块网卡
[root@server ~]# nmcli device disconnect ens192[root@client ~]# multipath -ll
mpatha (3600140559c2883e039048cbbce4320b4) dm-0 LIO-ORG ,clusterstor
size=4.0G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 2:0:0:0 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=1 status=enabled`- 3:0:0:0 sda 8:0 failed faulty offline
以下显示了active状态的path group发生了故障。active状态的path group变更为failed faulty offline,同时状态由active变更为enabled。passive状态的path group变更为active ready running,同时状态由enabled变更为active。
[root@client ~]# multipath -ll
mpatha (3600140559c2883e039048cbbce4320b4) dm-0 LIO-ORG ,clusterstor
size=4.0G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=enabled
| `- 2:0:0:0 sdb 8:16 failed faulty offline
`-+- policy='service-time 0' prio=1 status=active`- 3:0:0:0 sda 8:0 active ready running
重要:故障路径恢复后,当前的active path保持不变,即使恢复的路径之前是active path,可以通过手动切换回来。
使用设备
多路径设备名称为 /dev/mapper/mpatha,识别到设备后就可以正常使用。
示例:划分分区,格式化,挂载。
[root@client ~]# parted /dev/mapper/mpatha mklabel gpt
[root@client ~]# parted /dev/mapper/mpatha unit MiB mkpart webapp 1 10241 <<< 'Ignore'[root@client ~]# mkfs.xfs /dev/mapper/mpatha1
[root@client ~]# mount /dev/mapper/mpatha1 /var/www/html/[root@client ~]# df -h /var/www/html/
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/mpatha1 10G 104M 9.9G 2% /var/www/html
持久化挂载
[root@client ~]# vim /etc/fstab
# 最后增加一条
/dev/mapper/mpatha1 /var/www/html/ xfs _netdev 0 0[root@client ~]# systemctl daemon-reload
[root@client ~]# umount /var/www/html/
[root@client ~]# mount -a
[root@client ~]# df -h /var/www/html/
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/mpatha1 10G 104M 9.9G 2% /var/www/html
配置文件
配置文件 /etc/multipath.conf,包含5个部分:
-
defaults,定义了所有多路径的默认配置,会被devices和multipaths块配置覆盖。
-
blacklist,定义了多路径设备中不允许使用的设备。
-
blacklist_exceptions,定义了多路径设备中应该包含的设备,即使设备已经定义在blacklist中。
-
devices,指定特定设备类型,会被multipaths块覆盖。device是通过他们的vendor product和revision(修正)关键字识别(来自于sysfs的正则表达式匹配)。
-
multipaths,包含指定路径,会覆盖defaults块和devices块中定义的设备。多路径基于他们的WWIDs识别(使用getuid_callout函数获得)。
覆盖方式:multipaths > devices > defaults。
Defaults
完整的默认设置可以参考/usr/share/doc/device-mapper-multipath-*/multipath.conf.defaults。
一些有趣的设置:
-
path_selector:定义了组中下一次IO路径选择的算法。默认是“service-time 0”,提供给服务消耗时间最少的路径。备用算法,“round-robin 0”,分发IO给组中所有路径。rr_min_io_rq,定义每个IO路径发送多少个请求后转换到下一个IO路径。“queue-length 0”,定义下一个IO请求发送给最短队列长度的路径。
-
path_grouping_policy:多路径是如何合并到priority组中。默认是failover,每个路径放入单独的组。multibus,所有可能的路径都聚合到一个组中。在使用multibus前,确保存储控制器支持active-active连接。
-
path_check:定义multipathd进程如何确定路径是否healthy。包括硬件独立选项,directio和readsector0等,默认为directio,一般会被devices{}配置覆盖。
-
features:定义启用的多路径功能。语法格式:num list。num代表启用的功能,list代表启用的功能列表。例如,queue_if_no_path和no_partitions。
-
user_friendly_names:定义在未定义alias情况下,多路径名称是否为mpathN。
在mpathconf命令创建的默认配置文件中,默认开启了user_friendly_names选项,多路径设备名称以用户友好方式命名为mpathN。只有一个多路径设备的时候比较有用,但有多个多路径设备,这些设备名称就会混淆。禁用用户友好名称,mpathconf命令创建时指定选项–user_friendly_names n,多路径设备名称将命名在他们的WWIDs之后。
警告:如果启用了queue_if_no_path,设置features “1 queue_if_no_path”,路径fail,处理IO的进程将挂起直到路径恢复。这个行为在集群部署中是不希望看到的,因为一个节点的IO挂起会导致集群其他节点访问存储。解决方法,指定no_path_retry参数值为fail,路径失败后将会立刻通知更高层,而非阻塞IO直到路径恢复。
Blacklist
Blacklist 提供设备黑名单,通过WWID和device node指定设备,支持使用通配符。
blacklist {devnode "^vd[a-z]"wwid 1234567890abcde
}
查看磁盘设备WWID命令:
[root@client ~]# /usr/lib/udev/scsi_id -g -u /dev/sda
3600140559c2883e039048cbbce4320b4
blacklist_exceptions
blacklist_exceptions 也提供设备黑名单。
blacklist_exceptions {device {vendor "IBM"product "S/390.*"}
}
devices
定义了每个独立的设备。大部分存储都有自己的定义。
示例:
devices {device {vendor "COMPAQ "product "HSV110 (C)COMPAQ"path_grouping_policy multibuspath_checker readsector0path_selector "round-robin 0"hardware_handler "0"failback 15rr_weight prioritiesno_path_retry queue}
}
multipaths
用于为特定多路径设定不同的path_grouping策略,设定多路径alias。
multipaths {multipath {wwid 3600140559c2883e039048cbbce4320b4alias ClusterStoragepath_grouping_policy failover}
}
当path group配置了multibus策略时,多路径设备将所有路径组合到一个 group中。
multipaths {multipath {wwid 3600140559c2883e039048cbbce4320b4alias ClusterStoragepath_grouping_policy multibus}
}
[root@client ~]# multipath -ll
ClusterStorage (3600140559c2883e039048cbbce4320b4) dm-0 LIO-ORG ,clusterstor
size=4.0G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active|- 2:0:0:0 sdb 8:16 active ready running`- 3:0:0:0 sda 8:0 active ready running
ClusterStorage
path_grouping_policy failover
}
}
当path group配置了multibus策略时,多路径设备将所有路径组合到一个 group中。
multipaths {
multipath {
wwid 3600140559c2883e039048cbbce4320b4
alias ClusterStorage
path_grouping_policy multibus
}
}
```bash
[root@client ~]# multipath -ll
ClusterStorage (3600140559c2883e039048cbbce4320b4) dm-0 LIO-ORG ,clusterstor
size=4.0G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active|- 2:0:0:0 sdb 8:16 active ready running`- 3:0:0:0 sda 8:0 active ready running