轻量服务器部署Ollama:无GPU跑7B模型全流程

轻量服务器部署Ollama:无GPU跑7B模型全流程

2026-11-12 · 全文 2,011 字 · 阅读约 7 分钟

想不买 GPU 也能自建私有问答模型?这篇轻量服务器部署Ollama全流程笔记,把机型边界、安装命令、API 放行与性能预期一次讲清,无 GPU 跑 7B 级量化模型到底行不行,看完有数。

💡 文首提示:本文含腾讯云官方页直达入口(跳转腾讯云官方页)。AI 场景主推 HAI 高性能应用服务(在 官方优惠产品清单),直达入口见文末行动区;38/68/99 元轻量秒杀档为超低折扣机型,按官方优惠门槛(轻量 1.2 折以上)可能不参与宣传优惠。

一、先划边界:无 GPU 的轻量机能跑什么

截至 2026-11-17,社区流传的"3 分钟部署"教程指向同一个事实:轻量应用服务器没有独立 GPU,跑不动满血大模型,但量化后的小模型完全可用。模型规模与机型的对应关系如下(经验值口径,下单前按自己业务试跑核对):

模型规模(量化版)建议机型体验预期(经验值)
1.5B~3B 级2核2G / 2核4G响应轻快,日常问答、笔记总结够用
7B 级2核4G 起步,4核8G 更稳能跑但等待明显,单人使用可接受
13B 级及以上不建议轻量承载内存与 CPU 算力均不足

先给结论:7B 级量化模型就是无 GPU 轻量机的实际边界。想要更快的响应和更大参数,直接跳到第四节看升级路线。

二、Ollama 安装全流程(6 步)

  1. 选机型:2核4G 起步,预算够直接 4核8G。新手从轻量特惠页入手(直达入口见文末行动区);38/68/99 元秒杀档(99 元为 2核2G 同价续费限 1 次)属于超低折扣机型,按官方优惠门槛(轻量 1.2 折以上)可能不参与宣传优惠,下单前留意档位。
  2. 系统选 Ubuntu/Debian 等主流 Linux 镜像,SSH 登录服务器。
  3. 安装 Ollama(通用命令,版本随官方更新,不写死):
curl -fsSL https://ollama.com/install.sh | sh
  1. 拉取模型并试跑(模型名与量化标签以 Ollama 官方库当期列表为准):
ollama run <模型名>:<量化标签>
  1. 开放 API:默认只监听本机,局域网/公网调用需要改监听地址。
sudo systemctl edit ollama.service
# 在 override 文件中写入以下内容后保存
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl restart ollama
  1. 放行端口:到轻量控制台的防火墙放行 11434 端口。安全组怎么配、公网 API 为什么要限来源 IP,见腾讯云安全组配置教程——这一步别跳过,不限源的公网模型接口等于把算力白送人。

【图:轻量控制台防火墙放行 11434 端口示意——上架时替换为本站图床链接】

【图:Ollama 安装完成与模型试跑示意——上架时替换为本站图床链接】

三、性能预期管理:慢但可用

CPU 推理速度是经验值口径:慢,但可用。7B 量化模型的响应等待在秒级到十秒级(估算,取决于提示词长度与并发数),不适合多人并发,更不要拿去当生产环境的客服机器人。它真实的定位是个人 API 网关:自己的笔记总结、代码片段问答、自动化脚本的后端模型,随开随问,月付几十元档的轻量机完全够用。

四、什么时候升级 HAI/GPU

下面三个信号出现任意一个,就该升级路线了:

  1. 并发变多,家人同事都在用;
  2. 想跑更大参数模型,或对首字响应速度有要求;
  3. 业务要对外提供服务,稳定性有要求。

升级方向两条:图省事选 HAI 高性能应用服务(在 官方优惠产品清单,GPU 环境开箱即用,完整实测见腾讯云 HAI 部署 DeepSeek 实测);要长期稳定对外服务再上 GPU,选型与成本逻辑见腾讯云部署 DeepSeek 三方案选型。

五、常见问题

1. 轻量服务器 2核4G 能跑 Ollama 的 7B 模型吗?

能跑但勉强(经验值)。7B 级量化模型建议 4核8G 起步更稳;2核4G 更适合 3B 级以下量化模型。跑之前先在控制台盯一下内存占用,爆内存直接卡死。

2. 部署后外网访问 Ollama API 不通,怎么排查?

按顺序查三处:服务监听地址是否已改为 0.0.0.0、轻量防火墙/安全组是否放行 11434、客户端填的是否为服务器公网 IP。安全组细节见安全组配置教程一文。

3. 轻量跑 Ollama 和 HAI 一键部署,怎么选?

单人低频、预算敏感选轻量(秒杀档首年更低);要体验、要速度、要大参数选 HAI(按量开机即用,在优惠白名单);长期高并发再考虑 GPU 服务器。三条路线的完整对比见 DeepSeek 部署选型文,逻辑通用。


HAI 产品页
轻量服务器特惠页
注:以上链接均跳转腾讯云官方页;建议先从本站链接注册再下单,30 天内下单均可享当期活动价。。
💡 打算上手的话
官方活动页轻量服务器特惠页
优惠活动入口:https://curl.qcloud.com/Gcvjn19B(复制到浏览器打开亦可)
价格与库存随时可能变动,下单前以官方页面实时展示为准。
价格与活动随时可能调整,以腾讯云官方页面实时展示为准。