Ubuntu22 LLM GPU本地开发环境搭建:4090显卡/cuda/pytorch

0. 4090 显卡开箱与安装

可参考文章: https://www.toutiao.com/item/7477816734344217100/

扩展内存注意事项

机箱过来只有一条32G内存,扩展到4条32G ddr5 内存条,开机可能要等约2分钟!!!处于黑屏状态,请耐心等待。

问了下豆包: DDR5 内存模块在启动时需要进行初始化和训练,需要一些时间。

一. 驱动与cuda版本

建议安装相同版本,防止一名工程师调试通过的代码,到另外工程师电脑上运行报错。

  • 4090驱动:550

  • Pytorch: 2.5.1, cu211 (装pytorch时候一起装的cuda,可参考知乎文章:https://zhuanlan.zhihu.com/p/694533401)

  • CUDA Toolkit Archive: CUDA Toolkit Archive | NVIDIA Developer

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin

$ sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-