目前通过 runfile(local) 方式安装,最终 nvcc -V 看到的版本有偏差(安装12.4,显示12.0),但不影响使用 llama-factory,
llama.cpp 等使用(llama-cpp-python 的 cuda 版本 会安装失败,原因尚未深究)
如果需要 nvcc -V 看到和目标安装版本 完全一致的版本,可以尝试 deb(local) 等方式来安装,并做好可能需要删除重新安装的尝试准备
1. 详细步骤
1.1 安装 nvidia-utils 工具包
# 安装
# 使用 apt-cache search nvidia-utils 命令可以列出所有可用的 nvidia-utils 包版本(550 是个参考,可以使用最新的,也看 GPU 是否支持)
# 工作站/服务器可以使用 server 版本
sudo apt install nvidia-utils-550-server
# 验证
nvidia-smi
1.2 安装 CUDA Toolkit
# 以 CUDA Toolkit 12.4: Ubuntu-2

6183

被折叠的 条评论
为什么被折叠?



