Skip to content

Linux 安装指南

本指南将帮助您在 Linux 系统上安装和配置 Ollama。

快速安装

自动安装脚本

最简单的安装方式是使用官方安装脚本:

bash
curl -fsSL https://ollama.com/install.sh | sh

这个脚本会自动检测您的系统架构并下载相应的版本。

手动安装

下载并解压

如果您更喜欢手动安装,可以按照以下步骤操作:

bash
# 下载并解压 Ollama
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tgz \
    | sudo tar zx -C /usr

启动 Ollama

bash
# 启动 Ollama 服务
ollama serve

在另一个终端中验证 Ollama 是否正在运行:

bash
ollama -v

特定架构安装

AMD GPU 支持

如果您有 AMD GPU,还需要下载并解压额外的 ROCm 包:

bash
curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tgz \
    | sudo tar zx -C /usr

ARM64 架构

对于 ARM64 系统,使用以下命令:

bash
curl -fsSL https://ollama.com/download/ollama-linux-arm64.tgz \
    | sudo tar zx -C /usr

配置为系统服务(推荐)

创建用户和组

为 Ollama 创建专用的用户和组:

bash
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建 systemd 服务文件

创建服务文件 /etc/systemd/system/ollama.service

ini
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=multi-user.target

启用并启动服务

bash
# 重新加载 systemd 配置
sudo systemctl daemon-reload
# 启用 Ollama 服务(开机自启)
sudo systemctl enable ollama
# 启动 Ollama 服务
sudo systemctl start ollama
# 检查服务状态
sudo systemctl status ollama

GPU 驱动安装

NVIDIA CUDA 驱动(可选)

如果您有 NVIDIA GPU,安装 CUDA 驱动以获得 GPU 加速:

  1. 下载并安装 CUDA 访问 NVIDIA CUDA 下载页面 下载适合您系统的 CUDA 版本。
  2. 验证驱动安装 运行以下命令验证驱动是否正确安装:
    bash
    nvidia-smi
    这应该显示您的 GPU 详细信息。

AMD ROCm 驱动(可选)

如果您有 AMD GPU,安装 ROCm 驱动:

  1. 下载并安装 ROCm v6 访问 AMD ROCm 安装指南 获取详细安装说明。
  2. 验证安装
    bash
    rocminfo

自定义配置

编辑服务配置

要自定义 Ollama 的安装配置,可以编辑 systemd 服务文件:

bash
sudo systemctl edit ollama

或者手动创建覆盖文件 /etc/systemd/system/ollama.service.d/override.conf

ini
[Service]
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_HOST=0.0.0.0:11434"

常用环境变量

变量名说明默认值
OLLAMA_HOST服务器绑定地址127.0.0.1:11434
OLLAMA_MODELS模型存储路径~/.ollama/models
OLLAMA_DEBUG启用调试日志false
OLLAMA_TMPDIR临时文件目录/tmp

更新 Ollama

使用安装脚本更新

重新运行安装脚本即可更新到最新版本:

bash
curl -fsSL https://ollama.com/install.sh | sh

手动更新

或者重新下载 Ollama:

bash
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tgz \
    | sudo tar zx -C /usr

安装特定版本

使用 OLLAMA_VERSION 环境变量安装特定版本,包括预发布版本:

bash
# 安装特定版本
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

您可以在 发布页面 找到版本号。

查看日志

systemd 服务日志

如果 Ollama 作为 systemd 服务运行,查看日志:

bash
# 查看最新日志
journalctl -e -u ollama
# 实时跟踪日志
journalctl -f -u ollama
# 查看详细日志
journalctl -u ollama --no-pager --follow --pager-end

手动运行日志

如果手动运行 ollama serve,日志将直接显示在终端中。

卸载 Ollama

停止并删除服务

bash
# 停止服务
sudo systemctl stop ollama
# 禁用服务
sudo systemctl disable ollama
# 删除服务文件
sudo rm /etc/systemd/system/ollama.service

删除文件

bash
# 删除库文件
sudo rm -r $(which ollama | tr 'bin' 'lib')
# 删除二进制文件
sudo rm $(which ollama)
# 删除用户和组
sudo userdel ollama
sudo groupdel ollama
# 删除模型和配置
sudo rm -r /usr/share/ollama

故障排除

常见问题

问题: 权限被拒绝

Permission denied

解决方案: 确保使用 sudo 运行安装命令,或者检查文件权限。 问题: 服务启动失败

Failed to start ollama.service

解决方案: 检查服务日志:

bash
journalctl -u ollama --no-pager

问题: GPU 未被识别 解决方案:

  • 确保安装了正确的 GPU 驱动
  • 检查 GPU 兼容性
  • 查看 GPU 支持文档 获取更多信息

获取帮助

如果遇到问题,可以:

  1. 查看 故障排除文档
  2. 检查 常见问题
  3. Discord 寻求帮助
  4. GitHub 提交问题

下一步

安装完成后,您可以:

  1. 阅读 快速开始指南 学习基本用法
  2. 浏览 模型库 下载感兴趣的模型
  3. 查看 API 文档 了解编程接口
  4. 探索 CLI 参考 掌握命令行工具

现在您已经在 Linux 系统上成功安装了 Ollama!开始探索本地大语言模型的强大功能吧。

让大语言模型触手可及 - Get up and running with large language models