RDMA 评估指标

发表于 |

讨论如何评估一个 RDMA 网络。

主要关注点

  • 选择多个 QP 进行测试
    为保证顺序，同一个QP/流通常固定在一个物理成员上。多个 QP 或多流才更可能利用多条链路。
    同时也要看多 QP 的调度的公平性问题。
  • 内存路径
    host2host / host2device / device2device / device2host
  • 消息模型
    不同的大小，是否 batch
  • 方向
    双向都要测，Read
  • 拓扑亲和
    例如 2 QP d2d 跨 NUMA 的损失
  • 规模并发
    例如多个 rail 同时
  • 时延稳定性
    p50/p99、长稳、错误计数、重传、拥塞等

把 -q 依次改为 1/2/4；把 ib_write_bw 改为 ib_read_bw 测读；交换 server/client 测反向。

1
2
3
4
# server
ib_write_bw -d mlx5_bond_0 -i 1 -x 3 -F --report_gbits -q 1 -s 67108864 -D 30
# client
ib_write_bw -d mlx5_bond_0 -i 1 -x 3 -F --report_gbits -q 1 -s 67108864 -D 30 <peer_rail_ip>