概述
Ollama 是目前最流行的本地大模型运行工具,支持 DeepSeek、Llama、Qwen 等主流开源模型。不需要 GPU,普通 VPS 也能跑。
安装步骤
# 一键安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
# 拉取 DeepSeek 模型(量化版,1G内存可跑)
ollama pull deepseek-r1:7b-q4_k_m
# 启动并验证
ollama run deepseek-r1:7b-q4_k_m
配置 API 接口
Ollama 默认只监听本地,需要改为可远程访问:
# 编辑服务配置
sudo systemctl edit ollama
# 添加 Environment="OLLAMA_HOST=0.0.0.0"
sudo systemctl restart ollama
推荐模型
| 模型 | 内存需求 | 适用场景 |
|---|---|---|
| deepseek-r1:7b-q4 | 4G | 通用对话、代码 |
| qwen2.5:7b | 4G | 中文优化 |
| llama3.2:3b | 2G | 最低配置推荐 |
| phi3:3.8b-mini | 2G | 轻量首选 |
验证
curl http://localhost:11434/api/generate -d '{"model":"deepseek-r1:7b","prompt":"你好"}'