转载请注明出处：小锋学长生活大爆炸[xfxuezhagn.cn]
如果本文帮助到了你，欢迎[点赞、收藏、关注]哦~
目录
检查硬件和驱动状态
测试RDMA通信
报错修复
对于交换机的配置，可以看这篇：
【教程】详解配置多台主机通过交换机实现互联通信_通过交换机链接多台设备-CSDN博客
检查硬件和驱动状态
1、查看是否识别到网卡（PCI 层）
lspci | grep -i mellanox
如果输出类似以下内容，说明系统已经识别到了硬件设备。
40:00.0 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]
40:00.1 Ethernet controller: Mellanox Technologies MT27800 Family [ConnectX-5]
2. 查看驱动是否加载成功（内核模块）
lsmod | grep mlx5
mlx5_ib 466944 0
ib_uverbs 163840 2 rdma_ucm,mlx5_ib
ib_core 417792 8
mlx5_core 2191360 1 mlx5_ib
mlx_compat 69632 12
上述输出说明：
模块名 说明 mlx5_coreMellanox 网卡核心驱动，控制数据面 mlx5_ib用于 RDMA（InfiniBand verbs）的支持 ib_uverbs用户态 Verbs 接口（userspace RDMA 程序会依赖） ib_coreRDMA 核心抽象层（通用 InfiniBand 子系统） mlx_compatMellanox 向后兼容层（用于 OFED 内核兼容性）
如果没加载，可尝试手动加载：
sudo modprobe mlx5_ib
还可以查看所有与 RDMA 相关模块：
lsmod | grep rdmaib_uverbs
rdma_ucm
mlx5_ib
3. 查看网卡驱动和状态
ethtool -i ens1f1np1 # 替换为你的网卡名，ifconfig可查看
driver: mlx5_core
version: 24.10-2.1.8
firmware-version: 16.35.4506 (MT_0000000012)
expansion-rom-version:
bus-info: 0000:1a:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: yes
4. 查看 RDMA 设备信息（核心）
ibv_devinfo
hca_id: mlx5_0
transport: InfiniBand (0)
fw_ver: 16.35.4506
node_guid: 043f:7203:00dc:00d4
sys_image_guid: 043f:7203:00dc:00d4
vendor_id: 0x02c9
vendor_part_id: 4119
hw_ver: 0x0
board_id: MT_0000000012
phys_port_cnt: 1
port: 1
state: PORT_ACTIVE (4)
max_mtu: 4096 (5)
active_mtu: 1024 (3)
sm_lid: 0
port_lid: 0
port_lmc: 0x00
link_layer: Ethernet
这表示 RDMA 核心层已经注册并初始化成功。
5. 查看 RDMA 子系统
rdma link show
link mlx5_0/1 state ACTIVE physical_state LINK_UP netdev ens1f0np0
link mlx5_1/1 state ACTIVE physical_state LINK_UP netdev ens1f1np1
说明 RDMA 子系统已加载并绑定到对应网卡。
6. 检查 OFED 安装状态
如果你使用 Mellanox OFED（不是内核默认驱动），可以运行：
ofed_info -s
MLNX_OFED_LINUX-24.10-2.1.8.0:
确认你装的是 Mellanox 官方驱动栈。
测试RDMA通信
1、在两台服务器上新建以下脚本，命名为：rdma_test.sh 。
#!/bin/bash# ===============================================
# Script: rdma_test.sh
# Author: 小锋学长
# Description:
# 一键运行 RDMA 带宽测试（ib_write_bw）工具，自动完成：
# - 自动检测 GID index
# - 切换 CPU governor 为 performance
# - 支持 server/client 模式
# - 支持 read / write / send 操作类型（默认 read）
# - 支持传入设备名、端口号
# - 测试后自动恢复 CPU governor
#
# Requirements:
# - ib_write_bw 工具（来自 perftest 包）
# - Mellanox 驱动已正确加载
# - RDMA 设备支持 RoCE 并已配置 IP + GID
#
# Usage:
# Server 模式：
# bash rdma_test.sh server
# bash rdma_test.sh server [device] [port] [mode_type]
#
# Client 模式：
# bash rdma_test.sh client <server_ip>
# bash rdma_test.sh client <server_ip> [device] [port] [mode_type]
#
# Examples:
# bash rdma_test.sh server mlx5_1 1 read
# bash rdma_test.sh client 192.168.5.228 mlx5_1 1 read
#
# Note:
# - 默认设备为 mlx5_1，默认物理端口为 1
# - GID index 会根据本地 IP 自动选择
# - 支持异常退出自动清理 CPU governor 设置
# ===============================================# CONFIGURATION (默认值)
MODE="" # 第一个参数为运行模式，server 或 client
PEER_IP="" # 第二个参数作为 Server IP（仅 client 模式使用）
DEVICE="mlx5_1" # 第三个参数为设备名，默认值为 mlx5_1
PORT=1 # 第四个参数为物理端口，默认 1
MODE_TYPE="read" # 第五个参数为传输模式，read/write/send（默认 read）
GID_INDEX=-1 # 自动检测# 解析参数
ARGS=$(getopt -o m:i:d:p:t: \-l mode:,peer_ip:,device:,port:,mode_type: \-n "$0" -- "$@")
if [ $? -ne 0 ]; thenecho "❌ 参数解析失败"exit 1
fi
eval set -- "$ARGS"
while true; docase "$1" in-m|--mode) MODE="$2"; shift 2 ;;-i|--peer_ip) PEER_IP="$2"; shift 2 ;;-d|--device) DEVICE="$2"; shift 2 ;;-p|--port) PORT="$2"; shift 2 ;;-t|--mode_type) MODE_TYPE="$2"; shift 2 ;;--) shift; break ;;*) echo "❌ 未知参数: $1" >&2; exit 1 ;;esac
done# 确定实际运行的测试工具
case "$MODE_TYPE" inwrite) TEST_TOOL="ib_write_bw" ;;send) TEST_TOOL="ib_send_bw" ;;*) TEST_TOOL="ib_read_bw" ;;
esac
echo "==== RDMA 快速检查和测试工具 ===="
echo "运行模式 : $MODE"
echo "操作类型 : $TEST_TOOL"
echo "网卡设备 : $DEVICE"
echo "物理端口 : $PORT"
[[ "$MODE" == "client" ]] && echo "目标Server: $PEER_IP"# === 1. 检查 Mellanox 驱动加载状态 ===
echo "[1] 检查驱动模块加载状态"
lsmod | grep mlx5 || echo "❌ 未加载 Mellanox 驱动模块"# === 2. 查看设备状态 ===
echo -e "\n[2] 查看设备列表与状态"
ibv_devinfo -d "$DEVICE" || { echo "❌ RDMA 设备不可用"; exit 1; }# === 3. 自动识别 GID index ===
echo -e "\n[3] 显示端口 $PORT 的 GID 表："
for i in {0..15}; doGID=$(cat /sys/class/infiniband/${DEVICE}/ports/${PORT}/gids/$i)echo "GID[$i] = $GID"if [[ "$GID" =~ .*c0a8.* ]]; then # 检查是否含有192.168.5.x对应十六进制段GID_INDEX=$ifi
done
if [[ "$GID_INDEX" -eq "-1" ]]; thenecho "❌ 未能自动识别出 GID index，请手动设置 GID_INDEX"exit 1
elseecho "✅ 使用 GID index: $GID_INDEX"
fi# === 3.5 临时将 CPU governor 切换为 performance，并注册恢复 ===
echo -e "\n[3.5] 临时切换 CPU governor 为 performance"
declare -A ORIGINAL_GOVERNORS
for cpu in /sys/devices/system/cpu/cpu[0-9]*; dogov_file="$cpu/cpufreq/scaling_governor"cpu_name=$(basename "$cpu")ORIGINAL_GOVERNORS[$cpu_name]=$(cat "$gov_file")echo performance | sudo tee "$gov_file" > /dev/null
done
sleep 1restore_governors() {echo -e "\n[清理] 恢复原有 CPU governor 设置..."for cpu in "${!ORIGINAL_GOVERNORS[@]}"; doecho "${ORIGINAL_GOVERNORS[$cpu]}" | sudo tee /sys/devices/system/cpu/$cpu/cpufreq/scaling_governor > /dev/nulldone
}
trap restore_governors EXIT# === 4. 启动 RDMA 测试 ===
echo -e "\n[4] 启动 ib_write_bw 测试"
COMMON_ARGS="-d $DEVICE -i $PORT -x $GID_INDEX -s 65536 -q 8 -n 500000 --noPeak --report_gbits"if [[ "$MODE" == "server" ]]; thenecho "🟢 正在启动 server（设备=$DEVICE, 端口=$PORT, GID=$GID_INDEX, 模式=$TEST_TOOL）"# send 模式提示 + 参数处理if [[ "$MODE_TYPE" == "send" ]]; thenecho -e "\n📢 注意：当前为 send 模式，client需要主动发送数据"if [[ "$MODE" == "server" ]]; thenCOMMON_ARGS="$COMMON_ARGS --run_infinitely"fifiecho "🔧 实际执行命令：sudo $TEST_TOOL $COMMON_ARGS"while true; doecho -e "\n🟢 等待 client 连接..."sudo $TEST_TOOL $COMMON_ARGSecho -e "\n✅ 当前 client 测试完成，等待下一个连接...\n"sleep 1done
elif [[ "$MODE" == "client" ]]; thenif [[ -z "$PEER_IP" ]]; thenecho "❌ 错误：client 模式需要指定 server IP"echo "用法：$0 client <server_ip> [device] [port] [mode_type]"exit 1fiecho "🚀 正在连接到 server $PEER_IP（设备=$DEVICE, 端口=$PORT, GID=$GID_INDEX, 模式=$TEST_TOOL）"echo "🔧 实际执行命令：sudo $TEST_TOOL $COMMON_ARGS $PEER_IP"sudo $TEST_TOOL $COMMON_ARGS "$PEER_IP"
elseecho "❌ 错误：必须指定模式参数 server 或 client"echo "用法：$0 server [device] [port] [mode_type] 或 $0 client <server_ip> [device] [port] [mode_type]"exit 1
fi2、在服务端运行（根据你的情况修改）：
bash rdma_test.sh -m server -t read
3、在客户端运行（根据你的情况修改）：
bash test_rdma.sh -m client -i 192.168.5.228 -d mlx5_1 -p 1 -t read
4、测试结果：
字段解释：
字段名 含义 #bytes每个 RDMA 消息的 payload 大小（本例为 64 KiB） #iterations总共发送了多少条消息（5000 次） BW peak [MiB/sec]测试过程中的瞬时最大带宽（本例为 10313.62 MiB/s） BW average [MiB/sec]平均带宽（本例为 10313.14 MiB/s） MsgRate [Mpps]平均消息发送速率（每秒多少条消息，单位：百万条）
（本例为 0.165 Mpps，也就是 165,010 条/秒）
5、结果解析：
平均带宽换算为 Gbps（千兆位每秒）：
1 MiB = 2²⁰ 字节 = 8.388608 Mbit
所以实际达到了 86.5 Gbps 的有效吞吐量：
10313.14 MiB/sec × 8.388608 = ≈ 86520.2 Mbit/sec ≈ 86.5 Gbps
由于是mlx5 RoCE 网卡（ConnectX-4 或以上），active_speed = 25 Gbps × 4x，因此理论带宽为：25 × 4 = 100 Gbps（最大可用）。
-
实测：86.5 Gbps
-
达标率：≈ 86.5%
在真实环境下由于 PCIe 延迟、内存访问、系统 jitter、未调优参数等因素，能达到 80~90% 的理论带宽就已经非常理想。
6、进一步提升性能：
| 方法 | 效果 |
|---|---|
增加 -q（Queue Pairs 数） | 提高并发度 |
增加 -s 消息大小（如 128KB） | 增加吞吐上限 |
使用 -F | 跳过 CPU 频率校验 |
使用 --report_gbits | 直接用 Gbps 输出，避免换算 |
| 绑定 NUMA 节点 | 降低内存访问延迟 |
使用 --duration 模式长期运行 | 稳定性更好 |
示例命令：
sudo ib_write_bw -d mlx5_1 -i 1 -x 5 -s 65536 -q 8 -F -n 1000000 --report_gbits
报错修复
1、Unable to init the socket connection
把防火墙都关了。
sudo systemctl stop firewalld # 重启会恢复
sudo systemctl disable firewalld # 禁用后重启也不会恢复
sudo ufw disable
sudo iptables -F