Linux 系统上安装 Ollama，部署一个 embedding 模型，并配置其监听内网 IP，以便局域网内其他设备可以访问

安装ollama

安装ollama命令

curl -fsSL https://ollama.com/install.sh | sh

注意：此脚本会自动下载二进制文件、创建 systemd 服务，并启动 Ollama。

验证安装

systemctl status ollama  # 查看服务状态
curl http://localhost:11434/api/tags  # 应返回空模型列表

部署Embedding模型

ollama pull 名称

验证模型已下载
ollama  list

信息

默认情况下，Ollama只监听 127.0.0.1，无法从外部访问。需要修改其监听地址为 0.0.0.0

配置 Ollama 允许内网 IP 访问

1.创建或编辑systemd服务文件

sudo nano /etc/systemd/system/ollama.service.d/override.conf

• 总结
  • 为 ollama.service 提供额外或覆盖的配置项
  • systemd 会在运行时自动将它与主服务文件合并
  • 这是 systemd 推荐的最佳实践

信息

💡.d 目录用于存放覆盖配置，避免修改原始服务文件。

/etc/systemd/system/ : 是 Linux 操作系统中的一个关键系统目录，主要用于存放 systemd 系统和服务管理器的单元（unit）配置文件(系统管理员和用户自定义的服务或配置)

2. 写入配置文件

sudo tee /etc/systemd/system/ollama.service.d/override.conf <<'EOF'

[Service]
# 不改 ExecStart，只加环境变量
Environment="OLLAMA_HOST=0.0.0.0:11434"
EOF

-<<'EOF' ... EOF: 这是 Bash 的“Here Document”语法。<<'EOF' 表示开始输入多行文本，直到遇到单独一行的 EOF 时结束。'EOF' 两边的单引号非常重要，它能防止 Shell 对文本内容（如 $ 符号）进行解释，确保内容被原样写入。

3.重新加载进程

重新执行 systemd 的主进程
sudo systemctl daemon-reexec


重新加载 systemd 的配置文件
sudo systemctl daemon-reload


重启名为 ollama 的服务
sudo systemctl restart ollama

4.删除对应的模型

ollama rm  modelName

5. 列出运行模型

ollama ps

版权所有

版权归属：念宇

许可证：署名-非商业性-禁止演绎 4.0 国际 (CC-BY-NC-ND-4.0)