dify中使用配置大模型

一  windows中安装ollama

1.1 下载ollama以及安装

Ollama主页：https://ollama.com/download/

1）点击下载按钮，获取OllamaSetup.exe安装程序。

2)双击安装文件，点击「Install」开始安装。目前的Ollama会默认安装到C盘，路径如下：C:\Users\%username%\AppData\Local\Programs\Ollama，并不会让用户自定义选择安装路径。

5）模型存储位置配置

3.安装位置

4.安装完成后，会在电脑右下角出现Ollama图标！

1.2安装大模型

打开Ollama聊天对话框，选在自己想下载的模型

• 注意：模型越大，电脑要求越高，运行7B至少需要8GB显存，运行13B至少需要16G显存，如果没有GPU默认加载CPU；如果有默认加载GPU

• 如果默认的模型中不符合你的需求，可以在find model输入框中输入 <模型名称>，首次执行会从模型库中下载模型，所需时间取决于你的网速和模型大小。>

  在这里我建议可以先在find model中输入：qwen2.5:1.5b。用这个小模型下载后体验其功能，尽管没有GPU运行也会比较流畅

1.3验证聊天

命令行方式：

二   dify中配置大模型

2.1 启动dify

启动流程：参考博客：https://blog.csdn.net/u011066470/article/details/153929866

如下：

访问dify：

2.2 配置大模型

2.2.1 配置大模型运营商

1.找到设置

2.打开 Dify → 模型供应商 → 选 Ollama

目的：实现Windows 本地 Ollama + Docker Dify 互通

Dify 里的 Ollama 供应商 = 只是一个调用接口模板，本身不带模型、不带 Ollama 服务，只是用来远程连接你 Windows 本机已经跑起来的 Ollama 服务。

3.开始配置ollama

4.配置页面说明：

模型名称要和本地ollama安装已有的模型，保持一致，这里安装的是qwen2.5:1.5b；

访问地址：http://host.docker.internal:11434

如果保存提交不了，需要验证连通性：在docker-desktop的命令行的docker安装目录下，执行如下命令：

#1.进入容器

docker exec -it docker-api-1 /bin/bash

#2.在容器中访问外面windows下的ollama服务，返回模型信息，则联通性ok。

curl http://host.docker.internal:11434/v1/models

如图：

5.配置访问路径：

检查dify的环境变量配置：

如果你使用docker部署dify，需确保.env文件中正确配置了Ollama的地址，例如：

如图：

修改后需要重启dify容器以使配置生效。如图：

6.dify页面刷新，进行验证

A）进行配置后可以保存，接口连通性ok

B）创建一个聊天助手，进行会话，如图

2.2.2 dify中安装ollama（如果本地没有安装ollama情况）

你Windows 本地已经装了 Ollama，Dify 容器直接连宿主机本地 Ollama 就行。如果没有可以在市场进行安装。

2.搜索ollama

3.找到软件包进行安装

2.3 dify中运营商中ollama与本地windows安装ollama关系

Dify 的 Ollama 是 “遥控器”，Windows 本地 Ollama 是 “主机 + 模型”，遥控器只负责发指令，真正干活全靠本地 Ollama。