从零配置vLLM API服务：Ubuntu 22.04下Qwen3-8B-FP8的完整部署与性能调优

基于vLLM的高效推理服务部署：Ubuntu 22.04下Qwen3-8B-FP8实战指南

1. 环境准备与系统优化

在Ubuntu 22.04系统上部署AI推理服务，首先需要确保硬件和软件环境的兼容性。对于NVIDIA RTX 4060Ti显卡，建议安装CUDA 12.x版本以获得最佳性能支持。以下是完整的系统配置流程：

# 安装基础编译工具
sudo apt update && sudo apt install -y build-essential python3-dev ninja-build

# 安装CUDA Toolkit 12.4
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ /"
sudo apt install -y cuda-toolkit-12-4

系统优化建议：

• 调整swappiness值减少交换分区使用：

  echo "vm.swappiness = 10" | sudo tee -a /etc/sysctl.conf
  sudo sysctl -p
  

• 禁用不必要的系统服务：

  sudo systemctl disable --now bluetooth.service cups.service
  

注意：安装完成后需验证CUDA环境是否配置正确，执行nvidia-smi应显示驱动版本≥550，且nvcc --version输出为12.4。

2. 虚拟环境与依赖安装

Python虚拟环境能有效隔离项目依赖，避免版本冲突。推荐使用conda管理环境：

# 创建conda环境
conda create -n vllm python=3.10 -y
conda activate vllm

#