
轻量服务器部署Ollama:无GPU跑7B模型全流程
想不买 GPU 也能自建私有问答模型?这篇轻量服务器部署Ollama全流程笔记,把机型边界、安装命令、API 放行与性能预期一次讲清,无 GPU 跑 7B 级量化模型到底行不行,看完有数。
一、先划边界:无 GPU 的轻量机能跑什么
截至 2026-11-17,社区流传的"3 分钟部署"教程指向同一个事实:轻量应用服务器没有独立 GPU,跑不动满血大模型,但量化后的小模型完全可用。模型规模与机型的对应关系如下(经验值口径,下单前按自己业务试跑核对):
| 模型规模(量化版) | 建议机型 | 体验预期(经验值) |
|---|---|---|
| 1.5B~3B 级 | 2核2G / 2核4G | 响应轻快,日常问答、笔记总结够用 |
| 7B 级 | 2核4G 起步,4核8G 更稳 | 能跑但等待明显,单人使用可接受 |
| 13B 级及以上 | 不建议轻量承载 | 内存与 CPU 算力均不足 |
先给结论:7B 级量化模型就是无 GPU 轻量机的实际边界。想要更快的响应和更大参数,直接跳到第四节看升级路线。
二、Ollama 安装全流程(6 步)
- 选机型:2核4G 起步,预算够直接 4核8G。新手从轻量特惠页入手(直达入口见文末行动区);38/68/99 元秒杀档(99 元为 2核2G 同价续费限 1 次)属于超低折扣机型,按官方优惠门槛(轻量 1.2 折以上)可能不参与宣传优惠,下单前留意档位。
- 系统选 Ubuntu/Debian 等主流 Linux 镜像,SSH 登录服务器。
- 安装 Ollama(通用命令,版本随官方更新,不写死):
curl -fsSL https://ollama.com/install.sh | sh
- 拉取模型并试跑(模型名与量化标签以 Ollama 官方库当期列表为准):
ollama run <模型名>:<量化标签>
- 开放 API:默认只监听本机,局域网/公网调用需要改监听地址。
sudo systemctl edit ollama.service
# 在 override 文件中写入以下内容后保存
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl restart ollama
- 放行端口:到轻量控制台的防火墙放行 11434 端口。安全组怎么配、公网 API 为什么要限来源 IP,见腾讯云安全组配置教程——这一步别跳过,不限源的公网模型接口等于把算力白送人。
【图:轻量控制台防火墙放行 11434 端口示意——上架时替换为本站图床链接】
【图:Ollama 安装完成与模型试跑示意——上架时替换为本站图床链接】
三、性能预期管理:慢但可用
CPU 推理速度是经验值口径:慢,但可用。7B 量化模型的响应等待在秒级到十秒级(估算,取决于提示词长度与并发数),不适合多人并发,更不要拿去当生产环境的客服机器人。它真实的定位是个人 API 网关:自己的笔记总结、代码片段问答、自动化脚本的后端模型,随开随问,月付几十元档的轻量机完全够用。
四、什么时候升级 HAI/GPU
下面三个信号出现任意一个,就该升级路线了:
- 并发变多,家人同事都在用;
- 想跑更大参数模型,或对首字响应速度有要求;
- 业务要对外提供服务,稳定性有要求。
升级方向两条:图省事选 HAI 高性能应用服务(在 官方优惠产品清单,GPU 环境开箱即用,完整实测见腾讯云 HAI 部署 DeepSeek 实测);要长期稳定对外服务再上 GPU,选型与成本逻辑见腾讯云部署 DeepSeek 三方案选型。
五、常见问题
1. 轻量服务器 2核4G 能跑 Ollama 的 7B 模型吗?
能跑但勉强(经验值)。7B 级量化模型建议 4核8G 起步更稳;2核4G 更适合 3B 级以下量化模型。跑之前先在控制台盯一下内存占用,爆内存直接卡死。
2. 部署后外网访问 Ollama API 不通,怎么排查?
按顺序查三处:服务监听地址是否已改为 0.0.0.0、轻量防火墙/安全组是否放行 11434、客户端填的是否为服务器公网 IP。安全组细节见安全组配置教程一文。
3. 轻量跑 Ollama 和 HAI 一键部署,怎么选?
单人低频、预算敏感选轻量(秒杀档首年更低);要体验、要速度、要大参数选 HAI(按量开机即用,在优惠白名单);长期高并发再考虑 GPU 服务器。三条路线的完整对比见 DeepSeek 部署选型文,逻辑通用。