开放权重、蒸馏与本地运行

一条可以继续验证的思路

大模型如何变小

这里有 4 篇文章,从一个词走向真实工作里的选择;先读懂,再决定要不要使用。

阅读线程开放
4篇札记
阅读方式先找到你卡住的地方,再顺着证据和取舍走

每篇可以独立阅读,也可以沿着这条线程继续。

开放权重、蒸馏与本地运行无需登录

本页解决的问题

先给结论

什么是「大模型如何变小」,它会影响哪些 AI 决策?

跨过某个规模阈值后能力阶跃式跳升;以及这个现象在学术上尚存的争议 本页把相关概念、常见误区和实践文章放在同一条阅读线程里。

判断标准

先判断你卡在定义、选择还是验证,再从下方 4 篇文章中选择最接近的一篇。

下一步

从「涌现:能力为什么会突然出现」开始,读完后用自己的任务复述结论。

常见误区

不要把同一主题下的所有方法当成可互换方案;输入、风险和验收标准变化时,答案也会变化。

这条问题线程

把一个词放回它真正影响的选择里。

4 篇札记
概念

涌现:能力为什么会突然出现

跨过某个规模阈值后能力阶跃式跳升;以及这个现象在学术上尚存的争议

开放权重、蒸馏与本地运行 3 min →
方法论

为什么要把模型做小

成本、速度、私有化三个现实动机,和小模型做不到的那些事

开放权重、蒸馏与本地运行 3 min →
案例

蒸馏是怎么做的:从老师到学生

五步流程、软标签与温度系数;用 DeepSeek-R1 同批开源的六个蒸馏模型做样本

开放权重、蒸馏与本地运行 3 min →
深入

蒸馏的代价:模型正在变得越来越像

口癖、格式怪癖与身份混淆的整批继承;为什么多模型交叉验证可能是假的

开放权重、蒸馏与本地运行 3 min →