Connector 5，这个网卡对应的OFED驱动所对应的设置是默认就启动RoCE的功能。这会导致一些问题，如果虚拟机上不需要这个功能，就会造成内存的浪费，而且少一个UDP端口的可用性。同时如果另外一个问题是，如果想disable RoCE的功能，需要在Host上做设置
https://enterprise-support.nvidia.com/s/article/HowTo-Enable-Disable-RoCE-on-VMs-via-VFs-ConnectX-4-onwards;
https://mellanox.my.site.com/mellanoxcommunity/s/article/How-to-Disable-RoCE
而不能通过虚拟机层做配置disable这个功能，是比较糟糕的一个设计。多个产品如果有的需要使用RoCE，有不需要使用，而且这些VF都是公用的，有可能导致一些共享的问题。
如果关闭这个roce，在日志里会有如下日志：
May 15 02:29:18 -b kernel: [ 3.056048] ib_srpt MAD registration failed for mlx5_0-1.
May 15 02:29:18 -b kernel: [ 3.058822] ib_srpt srpt_add_one(mlx5_0) failed.
另外一个可以尝试的步骤
enable_roce: RoCE enablement state
RoCE enablement state controls driver support for RoCE traffic.
When RoCE is disabled, there is no gid table, only raw ethernet QPs are supported and traffic on the well known UDP RoCE port