02-深入ESXi存储管理 VMFS,NFS,vSAN配置与优化

+-----------------------------------------------------+
|                  虚拟机工作负载                         |
+-----------------------------------------------------+
|                   虚拟磁盘 (VMDK)                       |
+-----------------------------------------------------+
|               VMFS / NFS / vSAN                       |
+-----------------------------------------------------+
|              存储协议层 (FC/iSCSI/NFS/SMB)             |
+-----------------------------------------------------+
|      物理存储 (DAS/SAN/NAS/本地磁盘/SDD)                |
+-----------------------------------------------------+

+------------+----------+----------------+------------+------------+
|  置备类型   | 初始大小  | 创建速度        | 性能       | 适用场景    |
+------------+----------+----------------+------------+------------+
| Lazy Zeroed| 完整分配  | 快             | 首次写入慢  | 通用生产    |
| Eager Zero | 完整分配  | 慢（需归零）    | 一致性好    | FT/关键业务 |
| Thin       | 按需分配  | 极快            | 写入略有开销 | 开发测试    |
+------------+----------+----------------+------------+------------+

                   ESXi 主机 (vSAN 节点)
+------------------------------------------------+
|  磁盘组 1                      磁盘组 2         |
|  +----------+  +----------+   +----------+     |
|  | 缓存设备  |  | 容量设备  |   | 缓存设备  |     |
|  | NVMe 400G|  | HDD 4TB  |   | SSD 800G |     |
|  +----------+  | HDD 4TB  |   +----------+     |
|                | HDD 4TB  |                     |
|                +----------+                     |
+------------------------------------------------+

常见 SATP 列表：
- VMW_SATP_ALUA: 支持 ALUA（非对称逻辑单元访问）的阵列
- VMW_SATP_SYMM: 对称存储阵列（如 Dell EMC 部分型号）
- VMW_SATP_CX: NetApp 存储系统
- VMW_SATP_INTERNALL: 本地内部存储
- VMW_SATP_DEFAULT_AA: 默认的主动-主动阵列

+-------------------+          +-------------------+
|  ESXi 主机        |          |  ESXi 主机         |
|  HBA 0    HBA 1   |          |  HBA 0    HBA 1    |
+---+--------+------+          +---+--------+------+
    |        |                      |        |
+---+--------+------+          +---+--------+------+
| FC Switch A        |          | FC Switch B       |
+---+--------+------+          +---+--------+------+
    |        |                      |        |
+---+--------+----------------------+--------+------+
| 存储控制器 A（活动）   |  存储控制器 B（备用）   |
|  LUN 1（最优通过A）    |  LUN 1（次优通过B）      |
+------------------------+-------------------------+

+----------------------------------------------------------------+
|                   物理宿主操作系统                                |
|            (VMware Workstation Pro 17.5 / Fusion 13)            |
|                                                                 |
|  +-------------------+  +-------------------+                    |
|  | ESXi-01           |  | ESXi-02           |                    |
|  | 管理: 192.168.1.10|  | 管理: 192.168.1.11|                    |
|  | VM Network        |  | VM Network        |                    |
|  | 存储网: 10.0.1.10 |  | 存储网: 10.0.1.11 |                    |
|  +--------+----------+  +--------+----------+                    |
|           |                       |                              |
|           +-----------+-----------+                              |
|                       |                                          |
|            +----------+----------+                               |
|            | vCenter Server      |                               |
|            | 192.168.1.20        |                               |
|            | SSO: vsphere.local  |                               |
|            +----------+----------+                               |
|                       |                                          |
|  +--------------------+--------------------+                      |
|  |                                         |                    |
|  +-------------------+  +-------------------+                    |
|  | NAS 存储           |  | iSCSI 目标         |                   |
|  | (NFS)             |  | (Openfiler/SCST)   |                   |
|  | 192.168.1.30      |  | 192.168.1.31       |                   |
|  +-------------------+  +-------------------+                    |
|                                                                 |
|  ESXi-01 本地磁盘: 2×100GB HDD (模拟), 1×50GB SSD (缓存)         |
|  ESXi-02 本地磁盘: 2×100GB HDD (模拟), 1×50GB SSD (缓存)         |
+----------------------------------------------------------------+

# 1. 查看所有可用的磁盘设备
esxcli storage core device list | grep -E "Display Name|Device"

# 2. 查看特定磁盘的详细信息
esxcli storage core device list -d naa.xxxxxxxxxxxxxxxx

# 3. 使用 vmkfstools 创建 VMFS 6 数据存储
# 语法: vmkfstools -C vmfs6 -S <datastore_name> <device_path>
vmkfstools -C vmfs6 -S datastore-local-01 /dev/disks/naa.xxxxxxxxxxxxxxxx

# 输出示例：
# Creating vmfs6 filesystem on "naa.xxxxxxxxxxxxxxxx" with blockSize 1048576, \
# unmapGranularity 1048576, capacity "100.0 GB", volume label "datastore-local-01".

# 4. 验证 VMFS 数据存储已挂载
df -h | grep datastore

# 输出示例：
# /vmfs/volumes/datastore-local-01   100.0G   32.0M   99.9G    0% /vmfs/volumes/datastore-local-01

# 1. 假设原始的 LUN 从 100GB 扩展到 200GB
# 首先需要存储端扩展 LUN 大小

# 2. 在 ESXi 上重新扫描存储适配器以检测新的容量
esxcli storage core adapter rescan --all

# 3. 查看扩展后的设备容量
esxcli storage core device list -d naa.xxxxxxxxxxxxxxxx

# 4. 使用 vmkfstools 扩展 VMFS 卷
vmkfstools -X 200G /vmfs/volumes/datastore-local-01
# 或扩展到全部可用空间（推荐）：
vmkfstools --growfs /vmfs/volumes/datastore-local-01

# 5. 验证扩展结果
df -h | grep datastore-local-01
# 应显示从 100G 变为 200G

# 查看 UNMAP 状态
esxcli storage filesystem list | grep vmfs

# 手动触发 UNMAP（VMFS 6）
esxcli storage vmfs unmap -l datastore-local-01 -n 100

# 参数说明：
# -l: 数据存储标签或 UUID
# -n: 每次回收的最大块数（默认 100，越大回收越快但 I/O 影响越大）

# 针对 VMFS 5 的 UNMAP（需手动执行）
esxcli storage vmfs unmap -l datastore-local-01 --reclaim-unit=vmfs5 -n 100

# 查看 UNMAP 进度
esxcli storage vmfs unmap-status list

# 启用软件 iSCSI 适配器
esxcli iscsi software set --enabled=true

# 确认适配器已创建
esxcli iscsi adapter list
# 输出示例：
# Adapter     Driver      State   UID                   Description
# ----------  ----------  ------  --------------------  --------------------
# vmhba64     iscsi_sw    online  iscsi.vmhba64         iSCSI Software Adapter

# 查看适配器详细信息
esxcli iscsi adapter get --adapter=vmhba64

# 查看当前 IQN
esxcli iscsi adapter get --adapter=vmhba64 | grep iqn

# 设置自定义 IQN（可选，默认为自动生成）
esxcli iscsi adapter set --adapter=vmhba64 \
  --name="iqn.2026-05.local.vmware:esxi-01"

# 输出示例：
# Setting iqn name succeeded for adapter vmhba64

# 添加 iSCSI 目标门户（存储服务器 IP 和端口）
esxcli iscsi adapter target portal add \
  --adapter=vmhba64 \
  --address=192.168.1.31 \
  --port=3260

# 添加特定目标的静态发现（可选，替代 SendTargets）
esxcli iscsi adapter target add \
  --adapter=vmhba64 \
  --target="iqn.2026-05.com.storage:esxi-datastore"

# 重新扫描适配器以发现 LUN
esxcli storage core adapter rescan --adapter=vmhba64

# 启用单向 CHAP
esxcli iscsi adapter auth chap set \
  --adapter=vmhba64 \
  --direction=uni \
  --chap_name="esxi-01-chap-user" \
  --chap_secret="secure_chap_password123"

# 启用双向 CHAP（需要存储端也配置）
esxcli iscsi adapter auth chap set \
  --adapter=vmhba64 \
  --direction=mutual \
  --chap_name="esxi-01-chap-user" \
  --chap_secret="secure_chap_password123" \
  --chap_target_in="storage-target-secret" \
  --chap_target_out="storage-target-secret"

# 查看发现的存储设备
esxcli storage core device list | grep -A 5 "iSCSI\|naa."

# 在发现的 iSCSI 设备上创建 VMFS 数据存储
vmkfstools -C vmfs6 -S datastore-iscsi-01 /dev/disks/naa.xxxxxxxxxxxxxxxx

# 确认挂载
df -h | grep datastore-iscsi

# 查看 LUN 的可用路径
esxcli storage nmp device list -d naa.xxxxxxxxxxxxxxxx

# 输出中包含的关键信息：
# - Storage Array Type: VMW_SATP_DEFAULT_AA
# - Path Selection Policy: VMW_PSP_FIXED
# - Working Paths: vmhba64:C0:T0:L0, vmhba64:C1:T0:L0

# 将路径策略改为轮询（Round Robin）以启用负载均衡
esxcli storage nmp psp roundrobin deviceconfig set \
  --device=naa.xxxxxxxxxxxxxxxx \
  --type=iops \
  --iops=1

# 参数说明：
# --type=iops: 每 1 个 I/O 操作后切换路径
# 也可以使用 --type=bytes 和 --bytes=1048576（每 1MB 切换）

# 验证路径策略变更
esxcli storage nmp device list -d naa.xxxxxxxxxxxxxxxx | grep "Path Selection"

# 查看所有路径的实时状态
esxcli storage nmp path list --device=naa.xxxxxxxxxxxxxxxx

# 输出示例：
#  vmhba64:C0:T0:L0
#     Runtime Name: vmhba64:C0:T0:L0
#     Device: naa.xxxxxxxxxxxxxxxx
#     Path State: active
#     Transport: iscsi
#  vmhba64:C1:T0:L0
#     Runtime Name: vmhba64:C1:T0:L0
#     Device: naa.xxxxxxxxxxxxxxxx
#     Path State: active
#     Transport: iscsi

# 设置 SATP 的故障切换策略
esxcli storage nmp satp set \
  --satp=VMW_SATP_DEFAULT_AA \
  --default-psp=VMW_PSP_RR

# 1. 测试 NFS 服务器连通性
ping 192.168.1.30

# 2. 查看 NFS 服务器导出的共享
showmount -e 192.168.1.30
# 输出示例：
# Export list for 192.168.1.30:
# /export/nfs/vmware  *
# /export/iso         *

# 3. 挂载 NFS 数据存储（方法一：使用 esxcli）
esxcli storage nfs add \
  --host=192.168.1.30 \
  --share=/export/nfs/vmware \
  --volume-name=nfs-datastore-01

# 4. 挂载 NFS 数据存储（方法二：直接添加到 /etc/fstab 对应的 VM 配置文件）
# 不过 esxcli 是推荐方式

# 5. 验证挂载
df -h | grep nfs
# 输出示例：
# 192.168.1.30:/export/nfs/vmware   1.0T   200G   800G  20% /vmfs/volumes/nfs-datastore-01

# 6. 列出所有 NFS 数据存储
esxcli storage nfs list
# 输出示例：
# Volume Name    Host            Share                      Accessible  Mounted
# -------------  --------------  -------------------------  ----------  -------
# nfs-datastore  192.168.1.30    /export/nfs/vmware         true        true

# 挂载 NFS v4.1 数据存储
esxcli storage nfs add \
  --host=192.168.1.30 \
  --share=/export/nfs/vmware4 \
  --volume-name=nfs4-datastore-01 \
  --nfs-version=41

# 启用 Kerberos 认证（需要配置 KDC）
esxcli storage nfs add \
  --host=192.168.1.30 \
  --share=/export/nfs/secure-vmware \
  --volume-name=nfs4-secure \
  --nfs-version=41 \
  --sec-type=krb5p

# 查看 NFS v4.1 连接状态
esxcli storage nfs v41 status

# 设置 NFS 挂载选项（需要在 /etc/vmware/esx.conf 中设置）
# 但对于特定操作，可以直接通过 esxcli 调整

# 设置 NFS 超时值（默认 30 秒）
# 适用于大 I/O 场景或高延迟网络
vim-cmd hostsvc/advopt/update "NFS.MountTimeout" "int" 60

# 设置 NFS 读取/写入缓冲区大小（默认 1024KB）
vim-cmd hostsvc/advopt/update "NFS.MaxVolumes" "int" 8

# 查看当前 NFS 高级参数
esxcfg-advcfg -l | grep -i nfs

# 设置 NFS 最大队列深度（默认 64，SSD 后端建议 128）
esxcfg-advcfg -s 128 /NFS/MaxQueueDepth

# 设置 NFS 心跳间隔（默认 12 秒，高延迟网络可调大）
esxcfg-advcfg -s 20 /NFS/HeartbeatFrequency

# 设置 NFS 心跳超时（默认 180 秒）
esxcfg-advcfg -s 300 /NFS/HeartbeatTimeout

# 注意：上述高级参数修改会影响所有 NFS 数据存储，需谨慎操作

# 在每个 ESXi 主机上验证磁盘设备
esxcli storage core device list | grep -E "Display Name|Is SSD|Device Type"

# 确认缓存设备标记为 SSD
esxcli storage core device list -d <device_id> | grep "Is SSD"
# 如果是 SSD 但显示 false，可用以下命令强制标记：
esxcli storage core device setconfig -d <device_id> --mark-as-ssd=true

# 确认 vSAN 支持磁盘
esxcli vsan storage list

# 1. 在每个主机上创建 vSAN 所需的 vmkernel 适配器
# （如果在 vCenter 中使用集群级别的配置，此步骤可省略）

# 2. 在集群上启用 vSAN
# 需要连接到 vCenter 的 Shell 或通过 PowerCLI

# 通过 PowerCLI 启用 vSAN（在管理节点上执行）
# Connect-VIServer 192.168.1.20
# Get-Cluster "VSAN-Cluster" | Set-Cluster -VsanEnabled:$true

# 查看 vSAN 可用的磁盘
esxcli vsan storage list
# 输出示例：
# Device: naa.xxxxxxxxxxxx1
#    Display Name: Local VMware Disk1 (naa.xxxxxxxxxxxx1)
#    Size: 100.0 GB
#    Is SSD: true
#    Is Capacity Flash: false
#    Is Local: true
#    VSAN Info:
#       UUID:
#       Decommission State: none
#       State: eligible for use

# 将磁盘添加到 vSAN 磁盘组
# 注意：以下命令需要指定缓存和容量设备
esxcli vsan storage add \
  --disks="<cache_disk_device_id>" \
  --storage-type=hybrid

# 添加多个容量设备到一个组
esxcli vsan storage add \
  --disks="<cache_disk_device_id>" \
  --data-disks="<capacity_disk1>,<capacity_disk2>" \
  --storage-type=hybrid

# 添加全闪存磁盘组
esxcli vsan storage add \
  --disks="<cache_ssd>" \
  --data-disks="<capacity_ssd1>,<capacity_ssd2>" \
  --storage-type=allflash

# 查看已声明的 vSAN 磁盘
esxcli vsan storage list | grep -A 10 "VSAN Info"

# PowerCLI 创建存储策略示例
$policySpec = New-SpbmStoragePolicy -Name "Gold-SSD-Mirror" -Description "Gold tier with mirroring"
$capability = Get-SpbmCapability -Name "VSAN.hostFailuresToTolerate"
$policyRule = New-SpbmRule -Capability $capability -Value 1
$policySpec | Add-SpbmRule -Rule $policyRule

$capability2 = Get-SpbmCapability -Name "VSAN.stripeWidth"
$policyRule2 = New-SpbmRule -Capability $capability2 -Value 2
$policySpec | Add-SpbmRule -Rule $policyRule2

# 创建虚拟机并指定存储策略
# 方法：在 vSphere Client 中创建虚拟机时，在"选择存储"步骤
# 选择 vSAN 数据存储，然后应用创建好的 "Gold-SSD-Mirror" 策略

# 使用命令行检查 vSAN 对象的合规状态
# 确保所有对象显示 "Compliant"

# 1. 在 vCenter 集群级别启用 SIOC
# 导航到集群 → 配置 → 服务 → 启用 Storage I/O Control

# 2. 设置数据存储的延迟阈值
# 对于 NVMe/SSD 后端：5-10ms
# 对于 SAS HDD 后端：15-30ms
# 对于 SATA HDD 后端：30-50ms

# 3. 为关键虚拟机设置更高的存储份额
# 在虚拟机配置 → 编辑设置 → VM 存储策略
# 份额类型：自定义
# IOPS 份额：2000（高优先级）

# 4. 查看 SIOC 统计信息
esxtop -b -d 2 | grep -i "sioc\|storage"
# 或在 esxtop 中按 u 进入磁盘视图查看各数据存储的延迟

# 5. 检查 SIOC 状态
esxcli storage vmfs sioc status --volume-path=/vmfs/volumes/datastore-local-01

# 1. 使用 esxtop 监控存储性能
# 运行 esxtop，然后按 u 进入磁盘适配器视图
esxtop

# 在 esxtop 磁盘视图中关注的关键指标：
# NMLRD/s: 每秒读命令数
# NMWRT/s: 每秒写命令数
# QUED: 当前队列深度
# DAVG/cmd: 设备平均延迟（ms）
# KAVG/cmd: VMkernel 平均延迟（ms）
# GAVG/cmd: 客户机平均延迟（ms）

# 2. 使用 vscsiStats 分析虚拟磁盘性能
vscsiStats -l
# 列出所有正在运行虚拟机的虚拟 SCSI 设备

# 查看特定虚拟机的 I/O 延迟分布
vscsiStats -w <world_id> -i 1

# 3. 使用 esxcli 收集存储统计信息
esxcli storage core device stats get -d <device_id>
# LATENCY: 平均 I/O 延迟（微秒）
# QUEUED: 当前队列中的 I/O 数
# COMMANDS: 累计命令数

# 4. 查看存储路径延迟
esxcli storage nmp path list --device <device_id>
# 关注 Path State 应为 active，若有 dead 表示路径故障

# 5. 生成存储配置报告
esxcli storage core device list > /tmp/storage_devices.txt
esxcli storage nmp device list > /tmp/nmp_devices.txt
esxcli storage vmfs extent list > /tmp/vmfs_extents.txt

#!/bin/bash
# 文件名：configure_iscsi.sh
# 用途：ESXi 软件 iSCSI 适配器自动配置脚本
# 使用：在 ESXi Shell 中 sh configure_iscsi.sh

# 配置参数
ISCSI_IP="192.168.1.31"
ISCSI_PORT="3260"
ISCSI_TARGET="iqn.2026-05.com.storage:esxi-datastore"
CHAP_USER="vmware-storage"
CHAP_PASS="StrongCHAPpass2026!"
VMFS_NAME="datastore-iscsi-production"

echo "=== ESXi iSCSI 配置脚本开始 ==="

# 步骤 1：启用软件 iSCSI 适配器
echo "[1/5] 启用软件 iSCSI 适配器..."
esxcli iscsi software set --enabled=true

# 等待适配器创建
sleep 2

# 获取适配器名称
ADAPTER=$(esxcli iscsi adapter list | grep "iscsi_sw" | awk '{print $1}')
echo "   检测到 iSCSI 适配器: $ADAPTER"

# 步骤 2：配置 CHAP 认证
echo "[2/5] 配置 CHAP 认证..."
esxcli iscsi adapter auth chap set \
    --adapter=$ADAPTER \
    --direction=uni \
    --chap_name="$CHAP_USER" \
    --chap_secret="$CHAP_PASS"

# 步骤 3：添加目标门户
echo "[3/5] 添加 iSCSI 目标门户 ${ISCSI_IP}:${ISCSI_PORT}..."
esxcli iscsi adapter target portal add \
    --adapter=$ADAPTER \
    --address=$ISCSI_IP \
    --port=$ISCSI_PORT

# 步骤 4：添加静态目标
echo "[4/5] 添加 iSCSI 目标 ${ISCSI_TARGET}..."
esxcli iscsi adapter target add \
    --adapter=$ADAPTER \
    --target="$ISCSI_TARGET"

# 步骤 5：重新扫描适配器
echo "[5/5] 重新扫描存储适配器..."
esxcli storage core adapter rescan --adapter=$ADAPTER

echo "=== iSCSI 适配器配置完成 ==="
echo ""
echo "查找到的 iSCSI 存储设备："
esxcli storage core device list | grep -B 1 -A 5 "iSCSI\|naa."

echo ""
echo "是否在发现的 LUN 上创建 VMFS 数据存储? (y/n)"
echo "如需创建，请先确认 LUN 的设备 ID"

echo ""
echo "=== 配置完成 ==="

#!/bin/bash
# 文件名：configure_mpio.sh
# 用途：配置特定存储 LUN 的多路径策略

# 参数：设备 ID
DEVICE="$1"
PSP="${2:-VMW_PSP_RR}"

if [ -z "$DEVICE" ]; then
    echo "用法: $0 <device_id> [psp_policy]"
    echo "   device_id: 存储设备 ID (naa.xxx)"
    echo "   psp_policy: VMW_PSP_FIXED | VMW_PSP_MRU | VMW_PSP_RR (默认)"
    exit 1
fi

echo "配置设备 $DEVICE 的多路径策略为: $PSP"

# 检查设备是否存在
esxcli storage core device list -d "$DEVICE" > /dev/null 2>&1
if [ $? -ne 0 ]; then
    echo "错误：设备 $DEVICE 不存在"
    exit 1
fi

# 获取当前路径数
PATH_COUNT=$(esxcli storage nmp path list --device "$DEVICE" | grep -c "Runtime Name")
echo "当前路径数: $PATH_COUNT"

if [ "$PATH_COUNT" -lt 2 ]; then
    echo "警告：只有 $PATH_COUNT 条路径，多路径配置效果有限"
fi

# 设置 PSP
case "$PSP" in
    VMW_PSP_RR)
        esxcli storage nmp psp roundrobin deviceconfig set \
            --device="$DEVICE" \
            --type=iops \
            --iops=1
        echo "PSP 已设为 Round Robin（每 1 IOPS 切换）"
        ;;
    VMW_PSP_FIXED)
        esxcli storage nmp psp fixed deviceconfig set \
            --device="$DEVICE" \
            --preferred=vmhba64:C0:T0:L0
        echo "PSP 已设为 Fixed（优先路径: vmhba64:C0:T0:L0）"
        ;;
    VMW_PSP_MRU)
        esxcli storage nmp psp mru deviceconfig set \
            --device="$DEVICE"
        echo "PSP 已设为 MRU（最近使用的路径）"
        ;;
    *)
        echo "未知的 PSP 策略: $PSP"
        exit 1
        ;;
esac

# 验证配置
echo ""
echo "验证配置："
esxcli storage nmp device list -d "$DEVICE" | grep -E "Device|PSP|Path Policy|Working Path"

echo ""
echo "所有路径状态："
esxcli storage nmp path list --device "$DEVICE" | grep -E "Runtime|State"

#!/bin/bash
# 文件名：vsan_health_check.sh
# 用途：vSAN 健康状态快速诊断

echo "=========================================="
echo "  vSAN 健康检查报告 - $(date)"
echo "=========================================="

echo ""
echo "--- 1. 集群状态 ---"
esxcli vsan cluster get 2>/dev/null || echo "vSAN 未在此主机上启用"

echo ""
echo "--- 2. 各主机存储使用 ---"
for host in $(esxcli vsan cluster get 2>/dev/null | grep Member | awk '{print $2}'); do
    echo "主机: $host"
    esxcli vsan storage usage -t $host 2>/dev/null
done

echo ""
echo "--- 3. 磁盘组状态 ---"
esxcli vsan storage list | grep -E "Device:|State:|VSAN Info|Is SSD|Disk Group"

echo ""
echo "--- 4. vSAN 对象健康 ---"
# 获取 vSAN 对象统计（需在 vCenter 环境）
# 命令行模式下可用以下命令
python3 -c "
import json, subprocess
result = subprocess.run(['esxcli', 'vsan', 'health', 'summary', 'get'],
    capture_output=True, text=True)
print(result.stdout if result.stdout else '需 vCenter 环境上下文')
" 2>/dev/null

echo ""
echo "--- 5. 网络健康 ---"
esxcli vsan network list 2>/dev/null
ping -c 2 -W 1 192.168.1.11 > /dev/null 2>&1
if [ $? -eq 0 ]; then
    echo "节点间网络通信: 正常"
else
    echo "节点间网络通信: 异常（需要检查）"
fi

echo ""
echo "--- 6. 磁盘空间 ---"
df -h | grep vsan

echo ""
echo "=========================================="
echo "  诊断完成"
echo "=========================================="

#!/bin/bash
# 文件名：auto_storage_mount.sh
# 用途：批量挂载 iSCSI LUN 并创建 VMFS 数据存储
# 适合在首次部署时自动配置存储

# 配置
ISCSI_SERVER="192.168.1.31"
ISCSI_PORT="3260"
NFS_SERVER="192.168.1.30"

# 1. 配置 iSCSI
echo "=== 配置 iSCSI 存储 ==="
esxcli iscsi software set --enabled=true
sleep 2
ADAPTER=$(esxcli iscsi adapter list | grep "iscsi_sw" | awk '{print $1}')

# 批量添加目标门户
for portal in "192.168.1.31" "192.168.1.32"; do
    esxcli iscsi adapter target portal add \
        --adapter=$ADAPTER --address=$portal --port=$ISCSI_PORT
done

# 重新扫描
esxcli storage core adapter rescan --adapter=$ADAPTER
sleep 3

# 2. 在发现的 iSCSI 设备上创建数据存储
DEVICES=$(esxcli storage core device list | grep -B 1 "iSCSI" | grep "naa\." | awk '{print $1}')
INDEX=1
for DEVICE in $DEVICES; do
    DS_NAME="datastore-iscsi-$(printf '%02d' $INDEX)"
    echo "创建数据存储: $DS_NAME 于设备 $DEVICE"
    vmkfstools -C vmfs6 -S "$DS_NAME" "/dev/disks/$DEVICE" 2>/dev/null
    INDEX=$((INDEX + 1))
done

# 3. 挂载 NFS 共享
echo "=== 挂载 NFS 数据存储 ==="
esxcli storage nfs add --host=$NFS_SERVER \
    --share=/export/nfs/vmware --volume-name=nfs-datastore-01

echo "=== 存储配置完成 ==="
df -h | grep -E "datastore|nfs"

# 1. 检查 VMFS 卷的基本信息
vmkfstools -P -v 10 /vmfs/volumes/datastore-local-01
# -P 检查文件系统完整性
# -v 10 详细程度
# 输出应包含卷标签、UUID、版本、容量等信息

# 示例输出：
# VMFS version: 6
# VMFS UUID: xxxxxx-xxxxxxxx-xxxx-xxxxxxxxxxxx
# Capacity: 100.0 GB
# Free: 99.9 GB
# Block Size: 1 MB

# 2. 检查 VMFS 上的文件系统一致性
vmkfstools -x check /vmfs/volumes/datastore-local-01
# 如果输出为 "OK" 表示文件系统正常
# 如果有错误，会显示具体的损坏信息

# 3. 检查 VMFS 扩展的完整性
esxcli storage vmfs extent list
# 验证每个 VMFS 数据存储的扩展数量和状态
# 输出示例：
# Volume Name       Extent Number  Device Name                  Size
# datastore-local-01    0         naa.xxxxxxxxxxxxxxxx1       100.0 GB
# datastore-local-01    2         naa.xxxxxxxxxxxxxxxx2       50.0 GB  (在线添加)

# 4. 验证 VMFS 元数据的正确性
vim-cmd hostsvc/datastore/<datastore_id>/refresh
# 刷新数据存储的元数据，确保缓存一致

# 1. 检查 iSCSI 会话状态
esxcli iscsi session list
# 输出应显示：Status = connected
# 特别注意 Session ID 和目标 IQN 是否匹配

# 详细会话信息：
esxcli iscsi session connection list
# 输出示例：
# Connection ID: 2
# Session ID: iscsi.session-xxxxx
# Status: connected
# Target: iqn.2026-05.com.storage:esxi-datastore
# Target Portal: 192.168.1.31:3260
# CHAP: enabled

# 2. 验证 iSCSI LUN 的可用性
esxcli storage core device list | grep -A 10 "naa.xxxxxxxxxxxxxxxx"
# 确认：
# - Status: on
# - Is Local: off
# - Queue Depth: 64 (或更大，取决于存储阵列配置)
# - SCSI Level: 6

# 3. 验证路径冗余
esxcli storage nmp path list --device naa.xxxxxxxxxxxxxxxx
# 确保每个路径的 State 为 "active"
# 如果某个路径显示 "dead"，说明该路径有问题

# 4. 测试故障切换
# 手动禁用一条路径（模拟网络故障）
esxcli storage nmp path set \
  --runtime-name vmhba64:C1:T0:L0 \
  --state disabled
# 验证虚拟机 I/O 是否中断（应该无中断）
# 恢复路径
esxcli storage nmp path set \
  --runtime-name vmhba64:C1:T0:L0 \
  --state active

# 1. 检查 NFS 挂载状态
esxcli storage nfs list
# 验证所有 NFS 数据存储的 Accessible 字段为 true

# 2. 验证 NFS 性能
# 在 NFS 上创建一个临时文件进行写入测试
dd if=/dev/zero of=/vmfs/volumes/nfs-datastore-01/test_write \
   bs=1M count=1024 conv=fdatasync
# 输出应显示写入速度和耗时
# 示例：1024+0 records in, 1024+0 records out
# 1073741824 bytes (1.1 GB) copied, 10.2345 s, 104.9 MB/s

# 清理测试文件
rm /vmfs/volumes/nfs-datastore-01/test_write

# 3. NFS 锁定测试
# 在主机之间同步创建锁定测试
# 在 ESXi-01 上启动一个 VM（使用 NFS 数据存储）
# 在 ESXi-02 上尝试对同一 VM 进行 vMotion
# 验证 NFS 锁定机制正常工作

# 4. 检查 NFS 协议握手
# 查看 ESXi 与 NAS 之间的 NFS 版本协商
cat /var/log/vmkernel | grep -i nfs | tail -10
# 应显示使用的 NFS 版本（3 或 4.1）

# 1. vSAN 集群健康检查
esxcli vsan health summary get
# 输出示例：
# Overall Health: GREEN
# Number of failing components: 0
# Number of re-syncing components: 0

# 2. 检查 vSAN 容量
esxcli vsan storage usage summary
# Usage Summary:
#   Total Capacity: 3.0 TB
#   Used: 1.2 TB (40%)
#   Free: 1.8 TB (60%)
#   Object overhead: 200.0 GB

# 3. 检查对象状态
esxcli vsan debug object list
# 关注 Obj Status 字段，应为 "active"
# 如果显示 "degraded" 或 "absent"，需要进一步检查

# 4. vSAN 网络测试
esxcli vsan network test
# 测试 vSAN 节点间的网络延迟和带宽
# 如果延迟 > 5ms 或丢包 > 0%，需要优化网络

# 5. 验证存储策略合规性
# 在 vCenter 中选择 VM → 监控 → vSAN → 对象
# 检查所有对象的 "合规" 状态

#!/bin/bash
# 文件名：storage_benchmark.sh
# 用途：对数据存储进行简单性能测试

echo "=== 存储性能基准测试 ==="

# 在目标数据存储上创建测试文件
DS_PATH="/vmfs/volumes/$1"
if [ -z "$1" ]; then
    echo "用法: $0 <datastore_name>"
    echo "可用数据存储:"
    df -h | grep -v "Filesystem" | awk '{print $NF}' | grep -v "^/"
    exit 1
fi

if [ ! -d "$DS_PATH" ]; then
    echo "错误：数据存储 $DS_PATH 不存在"
    exit 1
fi

echo ""
echo "测试数据存储: $DS_PATH"
echo ""

# 顺序写入测试（大块）
echo "--- 顺序写入 (1M 块, 1GB 文件) ---"
time dd if=/dev/zero of="$DS_PATH/bench_write" \
    bs=1M count=1024 conv=fdatasync 2>&1 | grep -E "bytes|copied"
echo ""

# 顺序读取测试（大块）
echo "--- 顺序读取 (1M 块, 1GB 文件) ---"
echo 3 > /proc/sys/vm/drop_caches 2>/dev/null || true
time dd if="$DS_PATH/bench_write" of=/dev/null \
    bs=1M count=1024 2>&1 | grep -E "bytes|copied"
echo ""

# 随机写入测试（小块）
echo "--- 随机写入 (4K 块, 100MB 文件) ---"
time dd if=/dev/urandom of="$DS_PATH/bench_random" \
    bs=4K count=25600 conv=fdatasync 2>&1 | grep -E "bytes|copied"
echo ""

# 清理测试文件
rm -f "$DS_PATH/bench_write" "$DS_PATH/bench_random"

echo "=== 测试完成 ==="
echo "注：以上数据为单线程性能，实际多线程并发性能可能更高。"

# 1. 检查 iSCSI 会话是否建立
esxcli iscsi session list
# 如果无会话，说明 ESXi 无法连接到目标

# 2. 检查目标门户是否可达
nc -zv 192.168.1.31 3260
# 如果端口不通，检查网络连通性

# 3. 检查 CHAP 认证状态
esxcli iscsi adapter auth chap get --adapter=vmhba64

# 4. 检查特定目标的认证状态
esxcli iscsi adapter target list --adapter=vmhba64

# 5. 在 ESXi 日志中查找 iSCSI 错误
grep -i "iscsi.*error\|iscsi.*fail\|iscsi.*auth" /var/log/vmkernel | tail -20

# 1. 检查物理连接
esxcli storage core device list -d naa.xxxxxxxxxxxxxxxx
# 查看 Status 是否为 "on"

# 2. 检查路径状态
esxcli storage nmp path list --device naa.xxxxxxxxxxxxxxxx

# 3. 检查 VMFS 一致性
fsck.vmfs -x /vmfs/volumes/<datastore-uuid>

# 4. 检查 SCSI Reservation 冲突
grep -i "Reservation\|SCSI.*conflict" /var/log/vmkernel | tail -20

# 5. 尝试卸载并重新挂载
esxcli storage filesystem umount -l datastore-name
esxcli storage filesystem mount -l datastore-name

# 1. 使用 esxtop 检查存储延迟
esxtop
# 按 u 进入磁盘视图，关注 DAVG、KAVG、GAVG 指标
# DAVG > 20ms 表示存储设备延迟过高
# KAVG > 2ms 表示 VMkernel 层有瓶颈

# 2. 检查队列深度
esxcli storage core device list -d <device> | grep "Queue Depth"
# 如果队列深度被过度削减，可能限制 I/O 并发

# 3. 检查多路径分布
esxcli storage nmp device list -d <device>
# 检查所有路径是否都在均衡使用

# 4. 检查 vSAN 的磁盘平衡度
esxcli vsan storage usage -t all

# 5. 检查数据存储的 SIOC 状态
esxcli storage vmfs sioc status -l datastore-name

# 1. 检查主机状态
esxcli vsan cluster get | grep Member

# 2. 检查存储状态
esxcli vsan storage list | grep -E "Device:|State:|VSAN Info"

# 3. 检查对象的组件放置
esxcli vsan debug object list

# 4. 检查重新同步状态
esxcli vsan debug resync list

# 5. 检查磁盘健康
esxcli storage core device smart get -d <device>

# 1. 查看 vSAN 容量概览
esxcli vsan storage usage summary

# 2. 查找空间占用最大的 VM
# 在 vCenter 中使用 vsan 对象视图

# 3. 清理不需要的快照
# 在 vCenter 中删除所有不需要的快照

# 4. 启用去重和压缩（如果是全闪存 vSAN）
# 在 vCenter 的 vSAN 配置中启用去重和压缩
# 注意：去重需要重建数据，可能需要一定时间

# 5. 扩展集群容量
# - 向现有主机添加更多容量磁盘
# - 向集群添加新主机
# - 使用纠删码替代镜像以提高空间效率

# 6. 设置容量警告阈值
# vCenter → vSAN → 容量 → 警告阈值 80%，严重阈值 95%

# 7. 设置磁盘组的预留空间
# 至少保留 20-30% 空闲空间用于重新同步和 DRS 迁移

# 1. 列出所有存储路径
esxcli storage nmp path list

# 2. 重点关注 State 为 "dead" 的路径
esxcli storage nmp path list | grep -A 3 "dead"

# 3. 记录故障时间
grep "lost.*path\|path.*state.*dead\|SCSI.*error" /var/log/vmkernel | tail -30

# 4. 检查 SATP 配置状态
esxcli storage nmp device list | grep -E "Device|SATP"

# 1. 检查 NFS 挂载状态
esxcli storage nfs list | grep "Accessible"

# 2. 检查 NAS 服务器连通性
ping 192.168.1.30

# 3. 检查 NFS 服务
# 登录 NAS 服务器检查 NFS 服务状态
showmount -e 192.168.1.30

# 4. 检查 ESXi 的 NFS 心跳日志
grep "NFS.*heartbeat\|NFS.*timeout\|NFS.*lost" /var/log/vmkernel | tail -30

# 5. 检查网络丢包和延迟
ping -c 100 -s 1500 192.168.1.30 | grep -E "loss|avg|dev"

# 1. 检查精简虚拟磁盘的实际使用情况
vmkfstools -P /vmfs/volumes/datastore/path/to/vm.vmdk
# 比较 Capacity（文件大小）和 Space Used（实际使用）

# 2. 在客户机内部执行回收（Linux）
# 安装和运行 fstrim
sudo apt install -y util-linux
sudo fstrim -av

# 3. 在客户机内部执行回收（Windows）
# 运行优化驱动器工具来回收空间
# 或使用 PowerShell: Optimize-Volume -DriveLetter C -ReTrim -Verbose

# 4. 在 ESXi 层触发 UNMAP
esxcli storage vmfs unmap -l datastore-name -n 100

# 5. 检查是否启用了客户机 SCSI 丢弃支持
# 在 VM 高级参数中设置：
# disk.EnableUUID = TRUE
# sched.scsiX.status = "enable"