滴滴被下架这事儿，我盯着新闻看了半小时，手里的冰美式都忘了喝。不是幸灾乐祸，是后背发凉。我那个分布式爬虫系统，现在还在某个云服务器上吭哧吭哧跑着呢，抓的是公开的招聘网站数据，给几个HR客户做人才流动分析。以前觉得只要robots.txt没明确禁止、频率控制好、别碰个人隐私就万事大吉，现在看，天真了。
大厂在合规铁拳面前跟纸糊的没区别。你以为的“公开数据”，边界在哪？今天能抓，明天是不是就“危害国家安全”了？这根本不是技术问题，是生存问题。我去年还跟团队吹牛，说咱们这套基于Scrapy-Redis的分布式架构多牛逼，用代理IP池轮换，User-Agent随机生成，模拟人类点击间隔，甚至破解了那个反爬的JS加密参数。当时觉得，技术碾压就是一切。现在想想，蠢。技术越牛逼，死得可能越惨。滴滴的技术不强吗？照样一夜之间蒸发几百亿市值。问题出在“意图”和“规模”上。你一个人偶尔查查数据没事，但你系统化、规模化、持续性地抓，还做成商业服务卖钱，性质就变了。这就好比你在街上拍一张照片没事，但你架个摄像机24小时对着人家门口拍，那就是另一回事了。
我得重新划边界。第一道边界：数据源绝对白名单。只抓明确声明“允许用于非商业研究”的公开API，或者直接跟数据方谈合作，哪怕付费。以前不屑于干这个，觉得技术能解决一切，现在服了，花钱买平安是最便宜的。第二道边界：本地化与匿名化。数据落地第一时间脱敏，所有能关联到具体个人的字段（哪怕只是模糊的工作经历）全部哈希处理，原始数据定期销毁。我的服务器现在架在海外，但数据清洗和存储模块必须物理隔离，在国内弄台NAS做最终存储，只存加工后的聚合结果。第三道边界：人为介入断点。不能全自动化。每周手动触发一次采集任务，采集量设死上限，日志里必须留下我的手动操作记录。把系统从“7×24小时无人值守的机器”，变成“一个需要我每周按一下按钮的工具”。这样，从法律定性上，会模糊很多。
最深的感触是，37岁了，不能再靠“野”和“快”吃饭了。20多岁可以赌，赌技术更新比监管来得快。现在赌不起。沉默不是不做事，是把所有发力点都藏在水面下。以前做个项目，恨不得全朋友圈都知道，现在连GitHub都设为私有。真正的能力不是你能爬多少数据，而是你能在多大的风险边界内，安全、持续地拿到你需要的价值。这需要设计，需要克制，更需要把那种“技术征服一切”的虚荣心给摁死。
这几天在重写爬虫的调度核心。加了个“合规性检查”模块，每次启动前，会去爬取目标网站最新的服务条款和robots.txt，用文本相似度对比，看看和上次比有没有关键条款变动。如果有，就自动暂停，发邮件给我。还在研究用NLP简单判断抓取内容的“敏感词”密度。这些都是笨功夫，看起来拖慢了效率，但可能是在给自己买时间。时代变了，以前拼的是谁的技术刀更锋利，现在拼的是谁的刀鞘更结实，更能把锋芒藏住。
