既然 Token 越来越贵，我就在本地部署 Llama-2-70B 试试。这念头冒出来的时候，我正盯着 AWS 的账单，上个月光 API 调用就烧掉了我小团队过去一个季度的利润。不是付不起，是觉得荒谬。我他妈一个写爬虫起家的，当年为了省点服务器钱能把 DOM 树解析优化到毫秒级，现在居然在给 OpenAI 的算力打工，像个按时计费的矿工。
凌晨两点，客厅就亮着我这一盏屏幕。老婆孩子早睡了。我关了所有灯，就留显示器光，这种黑暗里的操作感让我想起十年前在出租屋里通宵写脚本的日子。那时候焦虑，是怕技术迭代太快自己被甩下车；现在也焦虑，是怕自己成了那个被“云服务”和“订阅制”温水煮熟的青蛙。Llama-2 开源了，70B 参数，理论上能跑。理论。这词儿在 2022 年听起来既充满希望又像个陷阱。
我开始清空那台老服务器，双路 E5，128G 内存，四张 3090 是我去年头脑一热屯的，本来想搞点小模型的 fine-tuning 接私活，结果一直吃灰。命令行里滚动的日志像瀑布，rm -rf 掉那些陈旧的 Docker 容器和测试项目时，有种奇异的快感。删掉的是过去两年为了“接项目”、“养团队”而堆砌的垃圾，是那些为了满足客户“要有 AI 功能”而硬塞进去的、根本没人用的对话接口。清理它们，就像给生锈的系统做截肢。疼，但之后才能轻装上阵。
逻辑比人更可靠。这是我今晚盯着进度条时最深的感触。带团队那两年，我耗尽心力去管人、协调、安抚情绪，结果呢？核心代码还是得自己半夜写，出了岔子第一个背锅的也是我。人会有情绪，会算计，会摸鱼，会为了一点权限勾心斗角。但代码不会。你喂给 Llama-2 的 prompt 如果结构清晰、指令明确，它吐出来的东西就是稳定的。你写好一个 n8n 的自动化工作流，它就能 24 小时不眠不休地去抓取、分析、生成内容、发布。这种确定性，在经历了管理毒打和疫情交付的混乱之后，成了我唯一能抓住的救命稻草。
下载模型文件是个漫长的过程。130 多个 G，网速跑不满，估计得天亮。我泡了杯茶，不是咖啡，去年体检血脂已经报警了。37 岁，身体是第一生产力，这话我现在信到骨子里。你代码写得再牛逼，服务器架构再漂亮，一次心梗就全归零。所以我不再熬夜拼时长，我拼系统效率。我要的是一个我睡觉时还能自动运转的机器：用本地化的大模型处理核心创意和长文本，用爬虫矩阵抓取最新的行业动态和关键词，用自动化工具封装成一个个轻量级、高客单价的解决方案。我不需要再向任何人证明我公司有多少人、办公室有多大。我只需要向我的银行流水证明，这套逻辑是通的，是能自动生钱的。
部署过程果然踩坑。内存不够，得用上量化版；CUDA 版本不匹配，又倒腾了半小时环境。但每解决一个报错，那种掌控感就回来一分。这不是在调用某个黑箱 API，等着被计费和限速。这是在驾驭。哪怕它慢，哪怕它回答不如 ChatGPT-4 流畅，但它的每一秒推理都在我的机器上，我的电费里，我的控制下。这种“所有权”的感觉，对于我这种经历过从服务器托管到云服务再到如今 SaaS 泛滥的老狗来说，太重要了。它意味着成本下限可控，意味着没有中间商赚差价，意味着我的业务逻辑不会被某个突然变动的 API 政策拦腰斩断。
天快亮的时候，第一个测试 prompt 终于返回了结果。速度很慢，二十多秒。但答案是对的，结构清晰，甚至比我预想的还要详细。我靠在椅子上，看着屏幕上那行行生成的文字，和窗外渐渐泛起的鱼肚白。我知道这条路不容易，本地部署的模型有它的局限，维护和迭代也是成本。但这不再是为了炫技，也不是为了接项目而做的技术储备。这是我为自己打造的、下一个十年的“基础设施”。Token 会越来越贵，云服务会越来越细分，但我的机器和我的代码，会一直在这里。用最低的、可预测的成本，运行着我那套“自动收割流量、自动转化”的小系统。这就够了。一个 37 岁、不想再证明给谁看、只想稳稳赚钱的手艺人，这就够了。
