你的电脑能跑多大的模型

最后一行的 Qwen3.8-Max 无论你怎么选都是红的，这不是列表出错。它就是本章第三节提到的那个宣布要开权重、但还没放出来的模型，2.4 万亿参数按上面的公式算下来要 1560 GB，把设备换成列表里最贵的那台也不够。把它留在列表里，是因为「权重开放」和「你跑得动」是两件事，看到这个数字比读一句「模型很大」有用。

上面的结论不是查表查出来的，就一个乘法：

需要解释的是这个系数。单纯装载权重的话，INT4 每个参数占 0.5 字节，8B 模型只要 4 GB。但模型跑起来还要额外一块地方，用来存放对话过程中积累的中间状态，也就是Harness 核心篇讲过的 KV Cache。系数里已经含了这部分开销，所以不要在外面再乘一次余量，否则会算出没有机器跑得动的结论。

量化就是用更少的位数去存每个参数。位数越少体积越小，代价是精度损失。

你可以在上面的计算器里把精度从 FP16 切到 INT4，看能跑的型号变化。量化是把本地部署门槛拉低最有效的一招，一张 8 GB 的显卡跑不动 FP16 的 8B 模型，换成 INT4 就轻松了。

「位数少了会有损失」这句话谁都会说，但损失究竟发生在哪一步？量化做的事情其实只有一件：把原本连续的权重，四舍五入到有限个档位上。位数决定了有多少个档位可用——4 位就是 16 档，8 位是 256 档。档位越少，每个权重被挪动的距离越远。

INT4 那一档有两处值得停一下。一是绝对值最小的几个权重被四舍五入之后正好落在 0 上，这些参数在量化后的文件里不再起任何作用；模型里这样的小权重数量庞大，单个都不重要，合起来却承担着不少细节。二是刻度尺上的点变少了——那不是点丢了，是几个原本不同的权重被挤到了同一个档位上。16 个档位装不下那么多种取值，只能让它们共用一个数，原来的区别就没有了。

权重挪一点点，为什么会影响回答质量？因为模型每写一个词，都是在一堆候选里挑分数最高的那个。大多数时候第一名遥遥领先，挪一点无所谓；但总有些时候前两名咬得很紧，这时一点点扰动就足以让它们换位。

简单说：NVIDIA 拼速度，Apple 拼容量。如果你想跑 30B 以上的模型，一台大内存的 Mac 往往比消费级显卡更现实；如果追求响应速度，独显更合适。

结果列表里带 A 字样的是 MoE 模型，比如 Qwen3-30B-A3B，意思是总参数 30B、每次实际激活 3B。这类模型有个容易踩的坑：

这意味着 MoE 特别适合显存充裕但希望响应快的场景，比如大内存的 Mac。反过来，如果显存紧张，同样占用下选一个稠密的小模型更划算。

上面所有数字都是估算，实际占用还会受这几个因素影响：

所以计算器给的是可行性判断，不是精确预算。结论是「勉强」的时候，就当作跑不动来准备。

知道能跑什么之后，下一节把它真正装起来。两个工具，命令行的 Ollama 和图形界面的 LM Studio，十分钟能跑通。