Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）

官方下载网站（https://ollama.ai/）

Windows系统安装方法

建议命令行安装（默认安装会直接安装到C盘）

OllamaSetup.exe/DIR=D:\software\ollama

大模型下载地址 -- 按需求下载 libraryBrowse Ollama's library of models.https://ollama.com/library/命令行导入大模型：

# 导入大模型
ollama create deepseek8b -f Modelfile # 查看
ollama list# 运行
ollama run deepseek8b

Modelfile 文件包含目标大模型路径

 FROM H:\2025-deepseek\llm_model\Deepseek8B\DeepSeek-R1-Distill-Llama-8B-Q4_K_M.gguf

效果展示：

启用远程访问

默认仅限本地访问，如需远程调用：

# 开放防火墙端口
New-NetFirewallRule -DisplayName "Ollama API" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434# 启动 Ollama 时绑定到所有网络
ollama serve --host 0.0.0.0

API接口 Python调用

import requestsresponse = requests.post("http://localhost:11434/api/generate",json={"model": "deepseek8b","prompt": "你运行的大模型是那个版本，简洁回答","stream": True,}
)
print(response.json()['response'])

嗯，我现在需要分析一下这个用户的问题。他们说：“你运行的大模型是那个版本，简洁回答是最好的。”看起来用户是在询问我当前使用的模型版本，并且希望得到一个简明扼要的回答。
.......
</think>

我是由深度求索公司独立运行的DeepSeek-R1-Lite-Preview模型。

Linux系统安装方法

直接下载二进制

# 下载最新版 Ollama
curl -L https://ollama.ai/download/ollama-linux-amd64 -o ollamatar -xf ollama-linux-amd64.tgz# 移动到系统路径
sudo mv bin/ollama /usr/local/bin/# 赋予执行权限
chmod +x /usr/local/bin/ollama

启动 Ollama 服务

# 启动服务（前台运行）
ollama serve# 或作为后台服务（需 systemd）
cat <<EOF | sudo tee /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Restart=always
RestartSec=3[Install]
WantedBy=default.target
EOF# 启动并设置开机自启
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

测试可用性

下载预训练模型（例如 phi）

ollama pull phi

验证模型运行

# 交互式测试
ollama run phi "How to check disk space in Red Hat?"

启用本地 API 接口

Ollama 默认提供 REST API（端口 11434）：

# 测试 API
curl http://localhost:11434/api/generate -d '{"model": "phi","prompt": "Hello"
}'

API 接口示例

对话模式：

curl http://localhost:11434/api/chat -d '{"model": "phi","messages": [{ "role": "user", "content": "Who are you?" }]
}'

使用 Python 调用 API

import requestsresponse = requests.post("http://localhost:11434/api/generate",json={"model": "phi", "prompt": "Explain RPM packages"}
)
print(response.json()["response"])