Intel集显(Core Ultra 7 258V)启用GPU加速跑大模型

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

视觉理解:图像识别、OCR、实体定位、计数、空间理解、GUI 交互 多模态推理:看图问答、图文理解、复杂逻辑推理(STEM、数学、代码)

#Deepseek #Ollama #Miniforge3 #LLM

省略了Ollama,Miniforge3或Anaconda3的安装
安装之后设置系统PATH环境变量:

E:\ANACONDA
E:\ANACONDA\Scripts
E:\ANACONDA\Library\mingw-w64\bin
E:\ANACONDA\Library\bin

第一:

conda config --show


#改变envs地址:C:\Users\your_name\.condarc,增加:

envs_dirs:
  - E:\AI\Miniforge3_25\envs
  - E://AI//Miniforge3_25//envs

第二:

conda create -n llm python=3.12 libuv
conda info --envs #查看conda环境
conda activate llm
pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/xpu

第三:

pip install --pre --upgrade ipex-llm[xpu_lnl] --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/lnl/cn/
pip install --pre --upgrade ipex-llm[cpp]  


#这一步可能会出错,不过不要紧,官方下载【ollama-0.5.4-ipex-llm-2.2.0b20250220-win】
#官方地址:https://github.com/intel/ipex-llm?tab=readme-ov-file,下载点链接Ollama Portable Zip进去即可下载

btw:验证加速

import torch
print(torch.xpu.is_available())

第四部:
运行

ollama-serve.bat

 

您可能感兴趣的与本文相关的镜像

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Llama
文本生成
图像识别

视觉理解:图像识别、OCR、实体定位、计数、空间理解、GUI 交互 多模态推理:看图问答、图文理解、复杂逻辑推理(STEM、数学、代码)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值