追求极简成本，我就用闲置的树莓派集群搞定了所有的分布式采集任务。摸着这块微微发烫的边缘网关外壳，热量从指尖传过来，这感觉比看监控面板上的数字真实多了。成本？四台吃灰的树莓派4B，一个二手千兆交换机，电费几乎可以忽略不计。效率？它们现在每天稳定爬取超过三百万个商品SKU的价格数据，API调用零封禁。
三年前我绝对想不到会走回硬件路线。那时候团队还在，租着云服务器，每月账单看得我心惊肉跳。为了应对反爬，动不动就上代理IP池，那费用简直是黑洞。后来团队散了，我回归个人，第一件事就是砍成本。云服务器？太贵。VPS？不稳定。直到我在仓库角落翻出这几块当年买来想做智能家居后来不了了之的树莓派。
真正的转折点是今年初研究大模型Agent时接触到的n8n。我发现它的工作流可以容器化部署，而且对资源要求极低。一个念头就炸开了：为什么不能把采集任务也拆成一个个微服务，扔到树莓派集群里跑？每台派就是一个独立的采集节点，自带本地IP，执行最原始的HTTP请求。调度中心放在家里那台老NAS上，用Redis做消息队列，哪个派空闲就把任务扔过去。
技术细节其实不复杂，但全是坑。第一个坑是网络稳定性。家庭宽带上传速度慢，而且IP是动态的。我用了ZeroTier组了个虚拟内网，让所有树莓派和NAS处在同一个网段，调度指令走内网，爬取数据走各节点自己的公网出口。这样既保证了控制通道稳定，又实现了IP的天然分散。
第二个坑是任务分发与状态同步。我写了个最简单的Python调度器，核心就三件事：从Redis队列取任务、根据节点负载分配、监听节点心跳。每个树莓派上跑一个常驻的Agent容器，它只负责两件事：从调度器拉取任务JSON，执行；执行完毕，把结果POST回NAS上的接收接口。状态异常超过五分钟，调度器就标记该节点下线，任务重新入队。
最让我得意的是对抗频率限制的策略。我不再依赖昂贵的代理IP，而是利用树莓派的分散性。针对同一个目标网站，A派从上海宽带访问，B派从杭州宽带访问（我父母家），C派甚至接了个4G网卡。每个节点都有自己的请求间隔配置，模拟真人操作。因为每个节点的流量都很小，反而比集中式爬虫更隐蔽，半年了没触发过一次封禁。
成本账算下来我自己都笑了。硬件是沉没成本，忽略不计。电费：四台树莓派满载功耗不超过20瓦，加上NAS和交换机，一个月电费不到三十块钱。网络：都是现成的宽带，边际成本为零。维护时间：每周花十分钟看一眼日志，检查一下硬盘剩余空间。对比之前每月大几千的云服务和代理费用，现在这种近乎零成本的运行方式，给我一种诡异的、赛博朋克式的快感——用最不起眼的边缘设备，啃下了曾经需要重金投入的硬骨头。
当然这不是银弹。它只适合对延迟不敏感、任务可拆解、数据量巨大的采集场景。如果是需要低延迟高并发的API服务，还得上云。但对我来说，这就够了。这种极简方案背后，是我这几年心态的彻底转变：不再追求技术上的“高大全”，而是死磕“性价比”。把一堆闲置硬件变成生产工具，这种废物利用带来的成就感，比当年融资烧钱爽多了。
外壳的温度渐渐在手心变得恒定。我知道，集群正在安静地工作，每一个HTTP请求都像一次精准的呼吸。低成本，高效率，高可控性。这就是一个35岁、被AI重塑过一遍的产品经理，能找到的最踏实的赛博美学。
