一、问题描述
某客户反馈fluent双节点比友商节点慢,差距约17%左右,经工程师现场调优未达到优化目标。
1.1 软、硬件配置:
cpu:AMD 9554 3.1G 64C *2
内存:16G*32
bios固件版本:SDH2043010
系统:rhel8.9
Fluent工具版本:22.10
二、问题处理
Application Profile Configuration 改成High Performance Mode可以满足要求,fluent测试双节点测试比友商快5-8s,bios设置如下
但现场高性能计算场景和用户均要求关闭SMT,BIOS按场景设置为performance mode-此模式下无法单独关闭SMT,改成手动按场景设置依然无法到达效果。测试过程中发现CPU频率存在差距,友商设备稳定在3.75GHz左右,R6250A0仅在3.4-3.5GHz之间。需要持续调优
三、处理建议
持续对bios配置进行修改,具体修改内容如下:
BIOS配置项 |
SG |
SG修改后 |
BIOS版本 |
SDH2043010 |
SDH2043010 |
SMT Mode |
Enable |
Disable |
SVM Mode |
Enable |
Disable |
Core Performance Boost |
Enable |
Enable |
Global C-state Control |
Disable |
Disable |
Power Profile Selection |
High Performance Mode |
High Performance Mode |
Determinism Control |
Auto |
Manual |
Determinism Enable |
Performance |
Power |
TDP/PPT |
Auto |
400W |
SR-IOV |
Auto |
Disable |
在修改BIOS配置选项后,单机浮点计算运行正常,基本保持在7000到7100Gflops左右。
在基准测试测试一致后,对比用户应用测试结果。Fluent22.10测试结果如下:
厂商 |
SG(耗时) |
友商(耗时) |
差异 |
单机fluent |
1240s |
1201s |
3% |
双节点fluent测试 |
616s |
561s |
9% |
修改tuned-adm配置后测试如下:
两节点 |
四节点 |
|||
SG |
友商 |
SG |
友商 |
|
tuned off |
571s |
561s |
||
hpc-compute |
560s |
550s |
290s |
|
Throughput-performance |
616s |
565s |
368s |
最优测试结果SG:560s , 友商:550s,性能相差1.8%左右。
对于性能还有1.8%左右的差距持续排查发现:
①、kernel参数值有多处不一样;
②、系统rpm包数量不同;
③、BIOS配置不同。
上述综合因素导致可能存在一定差异,客户方面已能够接受,可进行交付。结合上述bios手动高性能调优以及tuned服务设置为hpc-compute,可能更适合fluent运行场景。对于存在的差异后续会反馈AMD持续分析。