云端 API 的账单快把我逼疯了。这个月光是调用 GPT-4 和 Claude 的接口就烧掉一台 Mac mini 的钱，关键是每次请求发出去，等回复的那几秒，我脑子里都在自动换算成人民币——这根本不是创作，这是按字付费的慢性放血。
我决定把能搬的都搬回本地。Apple Silicon 的芯片宣传里那些“神经网络引擎”的字眼，以前觉得是营销话术，现在成了救命稻草。第一步就是搞量化模型。直接从 Hugging Face 下原始参数？那是土豪行为，动辄几十个 G，我的 512G 硬盘第一个不答应。得用 llama.cpp 那套工具，把 FP16 的模型压成 Q4_K_M。这个“K”和“M”的区别我研究了整整一个下午，本质上就是在精度和速度之间找那个临界点，Q4_K_M 比 Q4_0 多了那么一丁点分组量化，在 M2 Max 上实测，每秒生成的 token 数能多出 15%，而感知上的质量衰减几乎可以忽略。这就是在螺丝壳里做道场，每一分算力都要榨出汁来。
光有量化模型不够，推理时的参数设置才是真正的玄学。Temperature 调到 0.7 以上，输出是活泼了，但生成速度肉眼可见地变慢，因为采样不确定性增加，缓存命中率下降。我写了个脚本批量测试，–top-p 设成 0.95，–repeat_penalty 调到 1.1，再把上下文长度 –ctx-size 从默认的 2048 硬拉到 4096。拉高 ctx-size 的那一下，内存压力瞬间上来，风扇开始转，但值得。很多长文档的分析任务，上下文短了根本玩不转，模型读到后面就忘了前面在说什么，输出全是碎片。
最深的坑在 prompt 设计上。本地 7B、13B 参数的模型，智力跟 GPT-4 没法比，你不能把给云端大模型的复杂指令直接丢给它。得拆解，得像教小学生一样一步一步来。我现在的标准流程是：第一段指令定角色，第二段指令定输出格式（必须用 JSON！必须包含字段 A、B、C！），第三段才给真正的任务文本。而且要在 prompt 里明确写上“逐步思考”，触发它的链式推理能力。同样的任务，一个设计良好的 prompt 能让 13B 模型产出接近 GPT-3.5 的效果，而一个糟糕的 prompt 只会得到一堆语无伦次的废话。这逼着我去理解模型内部的注意力机制是怎么分配的，它到底“看”到了我指令里的哪些关键词。
我甚至开始折腾 n8n 的本地化部署，把那些调用 OpenAI API 的节点全替换成调用本地 llama.cpp 服务器的 HTTP 请求。这里又涉及到端口、守护进程和错误重试。一个自动化工作流里如果连续触发 10 次本地推理，Mac 的风扇声就能组成一段交响乐，我得盯着活动监视器，看内存压力是不是变黄了。但那种感觉不一样，这不是在租用算力，这是在驾驶它，所有的延迟和发热都是物理可感的反馈。
端侧 AI 的未来，在我看来越来越不是选择题，而是必答题。隐私是一方面，你永远不知道你的业务数据在云端流转时被标记成了什么训练样本。成本是另一方面，当你的使用频率高到一定程度，边际成本为零的本地算力就是碾压性的优势。苹果把统一内存架构做得这么激进，CPU、GPU、神经引擎共享一个内存池，数据不用来回搬运，这就是在为端侧 AI 铺路。我现在这台电脑，不只是一个工具，它正在变成一个私有的、24小时待命的“智力核心”。虽然现在为了让它多跑几个 token 还得抠各种参数，但想想 2016 年我为了一点点 SEO 流量去研究百度蜘蛛爬虫规则的时候，不也是这种在底层细节里死磕的状态吗？技术变了，焦虑没变，只是这次，算力池的阀门握在了我自己手里。
