alma8.10/anolis8.10中使用gcc13并安装vllm

其实初衷是想在alma中使用vllm。
但是安装编译时提示出错，因为alma中是安装的gcc8.4，所以要想办法解决这个问题。
1、此版本不能再使用crb了，这个已经弃用了，使用powertools。

dnf config-manager --set-enabled powertools

2、尝试安装

dnf install gcc-toolset-13-gcc gcc-toolset-13-gcc-c++

3、激活环境

scl enable gcc-toolset-13 bash

4、版本已经正确了

(base) [root@localhost yum.repos.d]# gcc --version
gcc (GCC) 13.3.1 20240611 (Red Hat 13.3.1-2)
Copyright (C) 2023 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

5、登录生效

echo "source /opt/rh/gcc-toolset-13/enable" >> ~/.bashrc
source ~/.bashrc

6、继续安装vllm0.17.1
如下是在anolis8.10中安装。

我的环境死活直接用命令安装安装不好。
就是这个命令：

pip install vllm[cuda13x]==0.17.1
或者
pip install vllm==0.17.1 --extra-index-url https://download.pytorch.org/whl/cu131 -i https://pypi.tuna.tsinghua.edu.cn/simple

干脆编译吧。

首先。安装好cuda130/cuda131、python3.10。后来看资料说python是3.10、3.11、3.12应该都可以。

(vllm) [root@localhost vllm]# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Wed_Aug_20_01:58:59_PM_PDT_2025
Cuda compilation tools, release 13.0, V13.0.88
Build cuda_13.0.r13.0/compiler.36424714_0

系统级依赖

yum install -y gcc-c++ cmake make git ninja-build wget

升级 Python 构建工具

pip install --upgrade pip setuptools wheel

vllm 核心依赖

pip install transformers>=4.39.0 sentencepiece psutil py-cpuinfo ninja

克隆 vllm 源码

git clone https://github.com/vllm-project/vllm.git
cd vllm

切换到 0.17.1 版本（稳定，适配 CUDA 13.x）

git checkout v0.17.1

环境验证：

import vllm
import torch
# 核心信息校验
print(f'vllm 版本: {vllm.__version__}')          # 输出 0.17.1
print(f'CUDA 可用: {torch.cuda.is_available()}') # 输出 True
print(f'CUDA 版本: {torch.version.cuda}')       # 输出 13.1（兼容 13.0）
print(f'nvcc 路径: {torch.utils.cpp_extension.CUDA_HOME}') # 输出 /usr/local/cuda-13.0

配置 CUDA 13.0 环境变量

export CUDA_HOME=/usr/local/cuda-13.0
export PATH=$CUDA_HOME/bin:$PATH
export LD_LIBRARY_PATH=$CUDA_HOME/lib64:$LD_LIBRARY_PATH

强制指定 CUDA 编译器，编译并安装

CMAKE_ARGS="-DCMAKE_CUDA_COMPILER=${CUDA_HOME}/bin/nvcc -DLLAMA_CUBLAS=on" \
pip install . --no-cache-dir --force-reinstall

等等就行了。