既然要降本增效，我就把任务全搬到了低功耗硬件上。这话说出来，自己都觉得有点魔幻。就在去年，我还觉得搞AI项目，没个4090或者至少一张A100的云服务器，根本玩不转。但现在，我的主力“服务器”是一台树莓派4B，外加一台咸鱼上淘来的老旧NUC，总功耗加起来不超过30瓦。这转变不是情怀，是赤裸裸的成本倒逼。
2019年那会儿搞团队，最大的幻觉就是“规模效应”。觉得人多力量大，服务器也得配好的，AWS的账单每个月看得我心惊肉跳，还自我安慰这是必要投入。结果呢，人难管，项目交付拖成无底洞，赚的那点流水全喂给云服务和人力成本了。疫情那阵子断尾求生，砍掉团队回归一个人，第一件事就是对着账单开刀。云服务是第一个挨刀的。什么？一个用来跑定时爬虫和数据处理脚本的虚拟机，一个月要小两百美金？我直接把它迁到了家里的旧电脑上，电费一个月多了不到十块钱。那一刻我才清醒过来，对于独立开发者来说，所谓的“技术壁垒”很多时候是“成本壁垒”堆出来的幻觉，别人用钱砸效率，你得用脑子抠细节。
真正的硬仗是今年。ChatGPT API一出来，我那些引以为傲的文本处理、摘要生成脚本一夜之间成了玩具。但直接用API，贵，而且有频率限制，不稳定。我想把一些轻量级的、对实时性要求不高的任务本地化，比如把用户上传的文档先做一遍预处理和关键信息提取，再扔给GPT润色。一开始尝试在MacBook上跑Llama 2的7B模型，风扇直接起飞，干不了别的了。这不行，我的核心生产力工具不能变成暖风机。
我把目光投向了低功耗硬件。树莓派4B，4GB内存，ARM架构。直接跑大模型是痴人说梦，但跑经过量化、裁剪后的模型呢？我花了一周时间死磕ONNX Runtime和llama.cpp。把模型量化到4-bit，甚至尝试了2-bit，精度损失在可接受范围内。然后就是无尽的性能调优：内存交换分区调到最大，使用更高效的BLAS库，把一切不必要的后台进程全杀掉。最终，一个精简到3B参数的模型，在树莓派上完成一次简单的分类任务，需要8-10秒。听起来很慢对吧？但把它放进异步任务队列，让它慢慢处理凌晨收集的数据，完全没问题。电费？几乎可以忽略不计。
更绝的是那台老NUC，i5-5250U的CPU，羸弱无比，但有个相对不错的单核性能。我把它变成了我的自动化中枢。用n8n搭了一套工作流，所有需要调用外部API、处理文件、触发提醒的任务全扔给它。它7×24小时开着，功耗也就15瓦左右。以前这些任务跑在云函数上，每次调用都有冷启动延迟，而且复杂的逻辑编排起来非常麻烦。现在本地化之后，延迟极低，而且n8n的图形化界面调试起来太方便了，拖拖拽拽就能把爬虫、AI处理、邮件通知串成一个完整流水线。
成本核算下来有点吓人。树莓派+SD卡+散热壳，不到500块。老NUC，咸鱼300块。加起来800块的硬件投入，替代了之前每月超过100美金的云服务支出。而且，数据全在本地，隐私焦虑瞬间清零。当然，这不是没有代价的。你得花大量时间在性能调优、兼容性调试上，ARM架构下的各种依赖库安装就是一场噩梦。你需要对Linux系统、进程管理有更深的理解，因为资源就这么多，你必须像榨汁机一样把它榨干。
但这恰恰成了我的护城河。大厂和那些不缺钱的初创，可以随手甩出几千美金租用GPU实例，他们不会也不屑去研究怎么在树莓派上跑通一个量化模型。而这种对成本的极端敏感，对底层细节的掌控，正是独立开发者或者说“超级个体”生存的关键。你的优势不是钱，是时间，和把一分钱掰成两半花的偏执。当别人在抱怨API又贵又慢的时候，你已经搭建好了一个静默、廉价、完全受控的本地化处理流水线。这种安全感，是任何云服务都给不了的。
下一步，我盯上了那些更边缘的设备，比如用旧手机改造成传感器网关。极限降本这条路，一旦开始，就停不下来了。
