128GB 内存的电脑本地跑通 Qwen3.8 27B,全流程就一条命令
https://teaikeji.com/data/attachment/forum/rehost/img00-8.png前几天终于把一台 Linux 机器折腾利索了:Ubuntu 24.04、AMD Ryzen AI MAX+ 395、Radeon 8060S 核显、128GB 统一内存。这套配置天然就是为本地大模型准备的。
之前跑了一段时间 Qwen3.7 27B 的未审查版,体验了一把"无删减"的快乐。这次 Qwen3.8 27B 一发布,我就把整个部署流程从头到尾重新跑了一遍,完整记录下来。
01 为什么要把模型部署到本地
理由都很实际:
- 隐私:私人资料留在自己电脑里,不用先传到云端
- 离线:模型下载完成后,断网也能继续用
- 不限次:没有网页会员的次数限制,想怎么测就怎么测
- 可集成:本地 API 能接进脚本、知识库和其他 AI 工具
- 知边界:亲手跑一遍,才知道自己电脑的能力上限
https://teaikeji.com/data/attachment/forum/rehost/img01-4.png
最终效果:一条命令,Windows 或 Linux 电脑就能跑起 Qwen3.8 27B。模型下载约 13GB,断网也能聊。
02 先搞懂几个名词
第一次接触本地大模型,最容易被一串名字劝退。先翻译成人话——
核心命令的含义就是:让 Ollama 去下载 Julioa 发布的 Qwen3.8 27B 压缩模型,然后在这台电脑上启动它。
https://teaikeji.com/data/attachment/forum/rehost/img02-3.png
03 动手前花 2 分钟检查电脑
模型下到 90% 才发现磁盘不够,最浪费时间。先看三个硬指标:
https://teaikeji.com/data/attachment/forum/rehost/img03-3.png
Windows 用户,开 PowerShell 跑三条命令查系统/显卡/C 盘:
https://teaikeji.com/data/attachment/forum/rehost/img04-3.png
Get-CimInstance Win32_OperatingSystem | Select-Object Caption, OSArchitecture, @{Name='RAM_GB';Expression={::Round($_.TotalVisibleMemorySize/1MB)}}
Get-CimInstance Win32_VideoController | Select-Object Name
Get-PSDrive C | Select-Object Name, @{Name='Free_GB';Expression={::Round($_.Free/1GB,1)}}
Linux 用户:
https://teaikeji.com/data/attachment/forum/rehost/img05-2.png
uname -m
cat /etc/os-release | sed -n '1,6p'
free -h
df -h "$HOME"
lspci | grep -Ei 'VGA|Display|3D'
ls -l /dev/kfd /dev/dri/renderD* 2>/dev/null
id -nG
x86_64 是 64 位架构;/dev/kfd 和 renderD* 是 GPU 入口;最后一行要有 render 或 video 权限组。没有就执行下面这条,然后注销重新登录(权限组要重新登录才生效)。
04 安装 Ollama(模型启动器)
https://teaikeji.com/data/attachment/forum/rehost/img06-2.png
05 一条命令跑通第一次对话
ollama run Julioa/Qwen3.8-27B-UD-Q3_K_XL
https://teaikeji.com/data/attachment/forum/rehost/img07-3.png
06 确认 GPU 真的在干活
https://teaikeji.com/data/attachment/forum/rehost/img08-1.png
https://teaikeji.com/data/attachment/forum/rehost/img09-1.png
https://teaikeji.com/data/attachment/forum/rehost/img10-1.png
07 让网页和其他软件调用它(API)
https://teaikeji.com/data/attachment/forum/rehost/img11-1.png
08 六个最常见的问题
https://teaikeji.com/data/attachment/forum/rehost/img12-1.png
09 最终验收清单
https://teaikeji.com/data/attachment/forum/rehost/img13-1.png
系统检查:Windows 用 `curl.exe -s http://127.0.0.1:11434/api/version` 返回版本;Linux 用 `systemctl status ollama` 显示 active (running)。
然后六项通用验收:
- 版本:`ollama --version` 有输出
- 模型:`ollama list` 出现完整模型名
- 参数:`ollama show` 显示 27.3B
- GPU:模型运行时 `ollama ps` 显示 100% GPU
- 对话:`ollama run` 后能正常回答中文
- API:调用 /api/chat 返回 done: true
页:
[1]