搜狗被腾讯私有化，我第一反应是去查我那几个搜狗搜索关键词的排名还在不在。这很可笑，但这就是2019-2020年的我，一个被流量和交付逼到墙角的产品经理。团队十来个人张着嘴等饭吃，每个月的服务器、工资、社保像抽水机一样抽干现金流。看到这种新闻，我脑子里蹦出来的不是行业分析，而是“妈的，又一条免费流量渠道可能要变天”。
那时候我们接了个大单，给一个连锁品牌做全国门店的舆情监控。需求听起来简单：每天把大众点评、微博、本地论坛上关于他们店的新内容扒下来，分类，出报告。甲方预算卡得死，要求却高得离谱，要准，要快，要覆盖几百个城市。用市面上的云服务？光数据采集的API调用费用就能让我们这单白干。怎么办？只能自己搭采集集群，用物理成本换云服务成本。
我的“数据中心”在郊区一个朋友的仓库隔间里。核心是五台捡来的二手戴尔PowerEdge服务器，机箱都锈了，风扇吵得像直升机起飞。内存是淘宝上按斤称的ECC条子，硬盘是矿难后流出来的二手SSD和大容量机械盘混搭。网络更绝，从隔壁网吧拉了一条企业宽带，稳定性全靠玄学。整套东西加起来，成本可能还不如阿里云上一台高配虚拟机三个月的租金。
但就是这套废铜烂铁，让我找回了久违的、属于独狼黑客时代的极客快感。那是一种完全掌控的、在限制条件下寻求最优解的快乐。难点不在于写爬虫本身，而在于资源管理和对抗反爬。搜狗、百度这类搜索引擎的反爬策略在当时已经非常严密，IP频率、请求头校验、甚至鼠标轨迹模拟都得考虑到。我不得不用Nginx在集群前端做负载均衡和IP轮询，把采集任务拆解成无数细小的请求，分散到不同的机器和时间段去执行。每台服务器上跑着Docker化的Scrapy集群，配合Redis做任务队列和去重，再用Celery调度定时任务和失败重试。
最兴奋的时刻是凌晨盯着监控面板。看着Zabbix上各节点的CPU、内存、网络流量曲线平稳波动，看着日志里一条条数据被成功解析入库，那种感觉，比后来团队签下大单还爽。这是一种纯粹的、系统构建者的成就感。你清楚地知道每一个环节是如何咬合的，知道哪台机器的哪个硬盘可能快挂了，知道网络抖动时调度算法会如何自动迁移任务。它不优雅，甚至很丑陋，但它高效、廉价、完全受控。在那个被团队管理、客户扯皮、现金流焦虑搞得身心俱疲的阶段，蹲在仓库里调试服务器，成了我唯一能喘口气的精神避难所。
现在回想，那种对硬件的极致压榨和对流量的病态渴求，是特定时期的生存策略。我们像秃鹫一样，在互联网的角落搜寻每一丝可能的、廉价的流量和数据价值。搜狗的落幕，标志着一个依靠通用搜索引擎就能轻易获取流量的草莽时代正在结束。平台壁垒越来越高，数据越来越封闭，我们这些手工作坊式的采集者，生存空间会被一步步挤压。但那种在废墟上搭建起一个能自动运转的系统的快感，那种对技术细节的掌控感，成了后来支撑我度过更艰难时期的技术底气。团队管理的泥潭让人迷失，但机器不会骗你，代码不会背叛你，这是那个混乱时期里，为数不多确定的东西。
