ollama离线安装

1、根据Linux版本下载对应版本的ollama

• 查看Linux CPU版本号，使用下面的命令

  # 查看cpu版本号
  cat /proc/version
  # 查看cpu架构
  lscpu
  

• x86_64 CPU选择下载ollama-linux-amd64；aarch64|arm64 CPU选择下载ollama-linux-arm64

• 下载文件地址https://github.com/ollama/ollama/releases/

• 

2、安装和运行

• 在有网络的环境下下载好tgz安装包，并上传到Linux服务器

• 安装，使用下列命令

  sudo tar -C /usr -xzf ollama-linux-amd64.tgz
  

• 启动ollama，使用下列的命令

  ollama serve
  

• 另外启动一个终端验证是否运行成功，使用下列命令

  # 查看下载的模型
  ollama list
  

3、将ollama设置为系统启动时运行（建议）

• 创建系统用户和用户组

  sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
  sudo usermod -a -G ollama $(whoami)
  

• 创建服务文件

  # 创建一个 systemd 服务文件来管理 Ollama 作为后台服务运行。该文件通常位于 /etc/systemd/system/ollama.service
  # 文件内容如下
  
  [Unit]
  Description=Ollama Service
  After=network-online.target
  
  [Service]
  ExecStart=/usr/bin/ollama serve
  User=ollama
  Group=ollama
  Restart=always
  RestartSec=3
  #设置下载大模型存放的位置，默认是~/.ollama/下
  #Environment="OLLAMA_MODELS=你要存放的路径"
  Environment="OLLAMA_HOST=0.0.0.0:11434"
  
  [Install]
  WantedBy=default.target
  

• 重新加载systemd并重新启动 Olama

  #重新加载配置文件
  sudo systemctl daemon-reload
  #重启服务
  sudo systemctl restart ollama
  #设置ollama开机自启
  sudo systemctl enable ollama