Collection
收藏夹
存档一些值得一读的好内容,标注原作者与来源。很多原文在墙外,这里让打不开的朋友也能直接读到全文;另有几篇是我自己写的读书笔记,卡片上会注明,原文不转载。转载部分仅供阅读,版权归原作者所有,如有侵权请联系删除。
把大模型跑起来要算几笔账:《How to Scale Your Model》精读笔记
一个式子撑起半本书:权重矩阵乘的算术强度约等于这一批的 token 数——模型多大都约掉了。而芯片需要两三百才不空转。理解了这一条,roofline、GQA、continuous batching、投机解码、prefill/decode 分离,全都是同一个约束下的不同解法。非译文,是我自己的理解与取舍,每节附原书对应章节直达链接。
原书 · jax-ml.github.io · Austin et al., Google DeepMind, 2025(免费公开)
Harness 持续学习:把持续学习的对象从模型参数挪到 harness
模型一个字节都没动,改一次 prompt / 记忆 / 技能 / 路由,就能让三周前已经稳定的行为失效——作者把它命名为「harness 级遗忘」,并用「提案 → 评估 → 提交」三道闸把它管起来。最反直觉的一张表:完全不设限的自我更新,最终表现反而最差。
来源 · arxiv.org · Harness Continual Learning: Continual Adaptation Beyond Model Parameters
规模化 Managed Agents:把「大脑」和「双手」解耦
harness 里编码的全是「模型自己做不到什么」的假设,而模型每升级一次就过期一批。Anthropic 把 agent 拆成 session / harness / sandbox 三个接口,让容器和 harness 都从「宠物」变成「牲畜」——附带把 p50 首字延迟砍掉约 60%。含原文全部架构图。
来源 · anthropic.com · Scaling Managed Agents: Decoupling the brain from the hands
真实中国:中国小县城沉浮录
近三千个县、五亿人:从「公务员经济」、土地财政杠杆,到教育塌陷与「县城婆罗门」,拆解中国县域经济走向「漫长黄昏」的深层逻辑——以及没有背景的年轻人,到底该不该回县城。
来源 · x.com · X 长文原文