VLLM本机部署

VLLM本机部署——附代码

github Code

1. 设备参数

GPU:3070

2. 部署流程

1. 构建vllm基础镜像
   更新vllm： git submodule update --init --recursive

创建镜像： bash deploy/build_docker.sh

2. 下载模型权重资源
   自行在huggingface下载对应权重，由于3070显存8G较小，选择1.5B以下模型
3. 通过docker -v 挂载
   docker run -it -v your_ckpt_path:/workspace/Qwen2.5-0.5B-Instruct /bin/bash
4. 启动vllm服务
   进入docker容器里后，运行bash deploy/start_service.sh

本机部署部分问题

1. 重启后， docker images失效，无法运行
   原因是docker找不到data_root，临时解决方案是：1.修改/etc/docker/daemon.jon为错误格式，运行systemctl restart docker, 报错；2. 第一步修改为正确格式，再重启docker
   2） 由于配置代理，无法联网
   dockerfile中已经重置了http_proxy: “ARG http_proxy”