M5 Pro 换模型实测：MoE 新秀 Ornith 1.5-35B 生成速度是 Qwen 27B 的 4 倍，代码基准反超
同一台 M5 Pro，我换了个模型跑。结果有点意外：Ornith 1.5-35B（4-bit）的生成速度是 Qwen3.8-27B 的 3.4 到 4.4 倍，首 token 延迟只有对方约四分之一。但智能测试七项平均下来 Qwen 87.7%、Ornith 82%，差了 5.7 分；编程基准 LiveCodeBench 上 Ornith 拿 69%，Qwen 只有 43%。一句话：要速度、要写代码选 Ornith，要均衡的通才就留着 Qwen。（本地大模型折腾笔记第七篇。前六篇把 Qwen3.8-27B 从安装、加速、智能到 Thinking 开关测了个遍。这篇换个模型，看能不能找到更适合日常干活的搭档。）
Qwen3.8-27B 测了几天，真干起来速度总上不去。本地模型圈不止这一条路，不如试试 MoE——每次调用激活的参数少于 10B，速度能大幅拉高。有人推荐了 Ornith 1.5-35B，说是 MoE 架构的新秀、快得离谱。我手痒，测了。
先说清楚：同一台 M5 Pro，同一个 oMLX（v0.6.3rc2），同样 4-bit。Qwen 是 27B 密集（dense）模型，Ornith 是总参数 35B、每次激活约 2.6B 的 MoE。两者架构不同构，所以这不是"谁更优秀"，而是"谁更适合你的活"。
一、速度：Ornith 明显更快
单请求、代码上下文，硬数据：
- TTFT（首 token）：Qwen 2123ms / Ornith 538ms，约 3.9 倍更低
- Prompt TPS：482.4 / 1905.2 tok/s，约 4.0 倍
- Generation TPS：28.2 / 94.8 tok/s，约 3.4 倍
- 端到端时间：6.674s / 1.896s，约 3.5 倍更快
- 峰值内存：19.06GB / 19.39GB，基本相当
换成文字处理上下文，Ornith 生成 88.9 tok/s、Qwen 20.2 tok/s，差距拉到 4.4 倍；首 token 531ms vs 2126ms，约四倍差距。
为什么同样内存、同样 4-bit，Ornith 能快这么多？关键在于 MoE：它不是把 35B 参数全激活，而是通过路由机制每次只激活约 2.6B 参数的"专家"子网络，实际计算量远低于 35B dense 模型，所以快。代价是模型文件更大（19GB vs 15.7GB），因为所有专家权重都要存在盘上，只是运行时不全量加载。
另外 Qwen 开了 MTP4 后从 17.0 提到 28.2 tok/s 已经够香，但 Ornith 不开 MTP 就有 94.8 tok/s，加了 Qwen 的 MTP draft 也只升到 95.5，几乎不变——说明 Ornith 本身已够快，MTP 这类外挂对它边际收益很小。
长上下文和并发也测了：4K 输入下生成速度几乎不掉（87.3 tok/s），内存只多 0.84GB；两路连续批处理总吞吐 158.4 tok/s，是单路的 1.78 倍。也就是说它不仅能自己用，还能同时喂几个 agent。
二、智能：Qwen 仍是均衡通才
速度被拉开后，Qwen 在智能上能不能扳回？七项共同基准，同样 100 题抽样、同样开 Thinking：
- MMLU（综合知识）：89% / 85%
- HellaSwag（常识推理）：92% / 78%
- TruthfulQA（事实可靠）：89% / 90%
- MMLU-Pro（高难综合）：77% / 66%
- CMMLU（中文知识）：84% / 80%
- ARC-C（科学推理）：93% / 92%
- MathQA（数学应用）：90% / 83%
- 七项等权平均：87.7% / 82.0%，差 5.7 分
Qwen 六项占优、一项打平。但差距要拆开看：Ornith 在 ARC-C 和 TruthfulQA 上几乎追平，说明科学推理和事实可靠性不差；真正拉开的是 HellaSwag（-14）和 MMLU-Pro（-11），即日常情境常识和高难专业知识偏弱。
还有个时间维度：七项测试 Qwen 合计约 12 小时，Ornith 约 2.2 小时。不是质量差，是它生成快、思考链短，一套题测完的时间自然少。
提示：每项只有 100 题，3-4 分以内的差距宜视为接近，7 分以上才更值得关注。所以 MMLU-Pro 的 -11 和 HellaSwag 的 -14 是真实差距，MMLU、CMMLU 的 -4 在误差边缘。
三、编程：Ornith 反超
智能上 Qwen 占优，但编程这块剧情反转：
- HumanEval：96% / 92%（接近；但模式不同——Qwen 非 Thinking，Ornith Thinking，不能直接判强弱）
- LiveCodeBench：43% / 69%，Ornith +26 分，且完成快约 7.6 倍（100 题 Ornith 2.5 小时、Qwen 19.1 小时）
- MBPP：Qwen 未测 / Ornith 92%
- GSM8K（数学文字题）：Ornith 97%（8.8 分钟）；Qwen 现有是 Non-thinking 的 91%
LiveCodeBench 最接近真实编程场景，且两者都是同模式（都 Thinking）下的严格比较，这里 Ornith 的优势最鲜明。
四、怎么选：一个务实的建议
结论不是"谁更好"，而是"谁更适合你的活"。
倾向选 Qwen3.8-27B，如果你：
- 重视中文知识问答（CMMLU 84% vs 80%）
- 需要复杂知识推理、高难专业题（MMLU-Pro 77% vs 66%）
- 看重日常情境常识（HellaSwag 92% vs 78%）
- 数学应用题是刚需（MathQA 90% vs 83%）
- 想要一个均衡通才、不想折腾多个模型
倾向选 Ornith 1.5-35B，如果你：
- 写代码是主要场景（LiveCodeBench 69% vs 43%，快 7.6 倍）
- 受不了等待，想要即问即答（94.8 tok/s，首 token 约半秒）
- 有并发需求，一个模型喂多个 agent
- 长上下文任务多（4K 输入速度几乎不掉）
- 愿意用约 5.7% 的通用智能差距换 3-4 倍的速度
提醒两点：Ornith 模型文件 19GB，比 Qwen 的 15.7GB 大，盘空间紧张注意；MoE 在 oMLX 上的表现可能随版本变化，本文测的是 v0.6.3rc2。
五、边界得守住
- 不是同构比较：Qwen 27B dense，Ornith 35B MoE（2.6B 激活），速度差部分来自架构差异，不是"同一模型换个优化就快 4 倍"。
- 100 题抽样，不是完整评测，仅作方向性参考，别当排行榜用。
- HumanEval 模式不同，不能判强弱；LiveCodeBench 才是同模式严格 A/B。
- 最佳下一步：用同一个真实工作流跑 A/B，比跑分更能说明问题。
收尾
前六篇把 Qwen3.8-27B 测了个底朝天，这篇换个模型后发现 Ornith 在速度和编程上确实能打。本地模型不是单选题：Qwen 是均衡通才，Ornith 是速度型选手。我现在两个都装着——日常写代码用 Ornith，复杂知识问答切回 Qwen。
本轮经验：
1. MoE 本地模型的速度优势真实存在，94.8 tok/s 不是跑分魔术，而是激活参数少带来的实际计算量下降。
2. 速度和质量不是零和。Ornith 在 ARC-C、TruthfulQA 上接近 Qwen，快不等于笨，只是能力分布不同。
3. HellaSwag -14 和 MMLU-Pro -11 是它的真实短板，选模型前先想清楚自己干的是什么活。
4. LiveCodeBench 是这轮最鲜明的结果：+26 分且快 7.6 倍，对代码 agent 场景的实际价值可能超过通用平均分。
---
（本文由特爱科技整理自公众号"散步银河广场"《Qwen3.8-27B 遇到对手了：Ornith 1.5-35B 本地实测》，2026-08-27，为系列第七篇；数据以原文为准。）
页:
[1]