1. QPS

QPS （ Queries Per Second ） 指每秒查询次数，它是衡量一个系统处理能力的重要指标，通常用于评估 web 服务器、数据库或其他服务在单位时间内能够处理的请求数量。

在不同的上下文中，QPS 可能具体指代以下内容：

1. Web 服务器：在处理 HTTP 请求时，QPS 表示服务器每秒能够响应的 HTTP 请求数量。
2. 数据库：在处理数据库查询时，QPS 表示数据库每秒能够执行的查询数量。
3. API 服务：在处理 API 请求时，QPS 表示 API 服务每秒能够处理的 API 请求数量。

高 QPS 表示系统有更强的并发处理能力，能够在单位时间内处理更多的请求，测试 QPS 可以了解系统在高负载下的性能。

可以使用 ab（Apache Benchmark），wrk，JMeter 等工具来进行压力测试，例如：

# -n : 总请求数 
# -c : 并发用户数
ab -n 1000 -c 10 http://aaa.com/api

2. 内存

• 可以使用 top，htop，ps 等工具监控进程的内存使用情况
• 记录基线：在无负载情况下记录内存使用情况
• 运行负载：进行其他负载测试时，持续监控内存使用情况
• 分析数据：对比负载前后的内存使用情况，计算内存需求

例如：

top -p <process_id>
ps -p <process_id> -o %mem,%cpu,cmd

3. 显存

• 监控工具：使用 nvidia-smi 监控 GPU 显存使用情况
• 记录基线：在无负载情况下记录显存使用情况
• 运行负载：在进行计算任务或模型推理时，持续监控显存使用情况
• 分析数据：对比负载前后的显存使用情况，计算显存需求

例如：

nvidia-smi
watch -n 1 nvidia-smi