所谓“超级个体”，就是一个人活成一支军队，这话今天凌晨三点又被我翻出来咀嚼了一遍，不是因为它多励志，而是因为手边这堆嗡嗡作响的树莓派集群刚刚帮我啃完了一个日采百万级数据的硬骨头。团队散了，交付压力没散，甲方爸爸要的数据量还是那么大，但预算砍得只剩零头。怎么办？只能自己上，用物理手段堆算力。
去年这时候我还在为管那七八个人头疼，开会、扯皮、追进度，心力交瘁。现在倒好，清净了，也穷了。面对这个新需求，第一反应是上云服务器，但稍微一算账就肉疼，持续采集的带宽和实例费用，甲方给的那点钱根本兜不住。逼急了，想起角落里吃灰的那几块树莓派3B+，还有之前折腾智能家居剩下的零碎。一个念头冒出来：能不能用这堆“废铜烂铁”，搭个分布式爬虫集群？
说干就干。核心问题就三个：任务调度、数据去重、状态同步。我用了最土的办法，主控机用一台老笔记本，跑个Flask写了个简单的API作为调度中心。每块树莓派就是一个Worker，开机自启动一个Python脚本，定期向主控机“要活”。任务分片是关键，我按目标网站的ID范围进行哈希分片，确保每块板子固定抓取某一段，避免重复和冲突。数据去重直接在内存里用布隆过滤器做第一道筛，虽然有点吃内存，但对这种小规模集群够用了，最后写入的时候再用数据库唯一键约束兜底。
最难搞的是网络和稳定性。家里路由器扛不住这么多长连接，动不动就死机。最后我把它们分到两个不同的子网，用无线中继桥接了一个，才算稳住。每块派我都配了个小小的UPS电源，防止意外断电导致任务丢失。状态监控我懒得写界面了，直接SSH连上去看htop和日志，哪个进程卡死了就一键重启脚本。那种感觉很奇怪，你像是在管理一支由沉默士兵组成的军队，它们不抱怨、不摸鱼，只会因为过热而降频，或者因为SD卡读写寿命而缓慢死亡。
最爽的一刻，是看着这六块板子（后来我又从闲鱼收了两块二手的）的负载曲线平稳地跑满，网络流量图形成了一条均匀的带子。总成本？板子加配件不到两千，电费每月多几十块。它替代的是每月可能上万块的云服务支出。效率未必比得上高配服务器，但这种用极低成本撬动可观产能的感觉，是纯粹的、属于工程师的快乐。你清楚地知道每一个瓶颈在哪，能从电路板、散热片、网线接口这个层面去思考和解决问题，而不是在云控制台里麻木地点击“升级配置”。
这大概就是“超级个体”的残酷真相：不是你真的有多超级，而是环境逼着你把一切技能压榨到极致，从写代码到组网，从硬件调优到成本核算，你被迫打通了所有环节。没有退路，没有支援，你就是整个系统的架构师、运维、财务，也是那个在深夜盯着日志，随时准备救火的一线工人。这支军队的将军和士兵，都是你自己。
