下载链接

点击下载一键包与视频教程

不同GPU配置下的推理能力

• 无GPU：
  • 1.5B Q8推理：适合低资源设备，如树莓派、旧款笔记本等。最低4核CPU，8GB内存即可运行，但纯CPU推理速度较慢，约1~2秒/词。
  • 8B Q4推理：不推荐，因为8B模型在无GPU环境下对CPU和内存的要求较高，推理速度会非常慢。
• 4G GPU：
  • 8B Q4推理：4G显存的GPU可以支持8B模型的Q4量化推理，但性能会受到显存限制，适合轻量级任务。
• 8G GPU：
  • 32B Q4推理：8G显存的GPU可以支持32B模型的Q4量化推理，但需要更高的CPU和内存配置来配合。
  • 8B Q4推理：同样可以支持8B模型的Q4量化推理，性能会比4G GPU更好。
• 16G GPU：
  • 32B Q4推理：16G显存的GPU可以较好地支持32B模型的Q4量化推理，适合高精度任务。
  • 32B Q8推理：也可以支持32B模型的Q8量化推理，但Q8量化相比Q4量化会占用更多显存。
• 24G GPU：
  • 32B Q8推理：24G显存的GPU可以支持32B模型的Q8量化推理，推理速度和精度都会较好。
  • 70B Q2推理：可以支持70B模型的Q2量化推理，但需要更高的CPU和内存配置。