2020 最后一版自动化框架上线,代码提交完,我瘫在书房椅子上,用成都话对着屏幕骂了一句:“龟儿子,终于搞完了。” 这种痛快,比在会议室里跟那帮人磨两个小时需求要真实一万倍。以前总觉得技术是壁垒,现在才他妈明白,沟通才是最大的成本黑洞,它悄无声息地就把研发那点预算和时间啃得干干净净。
会议室里是什么光景?一个简单的数据抓取需求,产品经理先跟你扯半小时业务愿景,技术负责人再质疑半小时方案可行性,最后运营插进来问能不能再加三个字段,但 deadline 不变。一圈下来,两个小时没了,核心问题——反爬策略和 API 频率限制——根本没深入。所有人都在表演“我在思考”,其实都在回避真正的技术攻坚。我那时候还傻乎乎地画架构图,用 Axure 拉交互,试图“对齐认知”,现在回头看,纯属浪费时间。认知根本对齐不了,每个人屁股坐的位置不一样,他们只关心自己那摊子事会不会出纰漏,会不会增加自己的工作量。所谓的“沟通”,不过是风险转移和扯皮的遮羞布。
所以今年我铁了心要搞这个自动化框架。核心就一个:把那些需要反复沟通、重复劳动的破事,用代码焊死。比如每周都要跑的竞品数据报表,以前要专门找人写脚本,环境一变就报错,又得开会。现在框架里封装好了,配置化,运营自己填个 URL 和要抓的 CSS 选择器,定时任务自己跑,结果自动丢到企业微信群里。再也不用为“DOM 结构又变了”这种屁事拉群吵架。框架底层用了多线程池和动态 IP 代理池,专门对付那些反爬严的站点,日志和报警也集成了,出问题先看日志,别他妈动不动就来找我。
这背后是血泪教训。2019年扩张那会儿,招了几个人,想着人多力量大。结果呢?管理成本呈指数级上升。你不仅要管项目进度,还要管他们的情绪、职业发展,甚至办公室政治。一个小需求,因为A和B之前有矛盾,就能卡好几天。交付是能赚钱,但心太累了,感觉自己的能量全耗在这些破事上,技术手感都生锈了。今年疫情一来,算是给了我一个体面的理由,把团队缩编,重新回到能自己掌控的交付节奏上。这个框架,就是我“回归个体”的技术宣言:用工具代替沟通,用自动化压缩管理。
搞框架的这几个月,我几乎都泡在书房。夜深人静的时候,对着电脑自言自语,用成都话把白天遇到的坑、想出来的骚操作都捋一遍。“诶,这个地方用个装饰器模式是不是更稳当?”“爬虫中间件这里得加个重试机制,不然一被封全完蛋。” 这种自己跟自己对话的效率,高得吓人。没有打断,没有妥协,没有为了照顾谁的面子而采用次优方案。思维是连续的,就像黑客在单兵渗透,所有的资源和注意力都聚焦在一个点上。
2021年就要来了,我不知道明年又会有什么新的狗屁倒灶的事情。但手里有这个框架,我心里踏实点。它不仅仅是一堆代码,它是我对过去两年“组织病”的一种反抗。以后再有那种需要反复沟通、低技术含量的需求,我就指指这个框架:“去,按这个来,能自动化就别哔哔。” 把省下来的时间和心力,用在真正值得死磕的事情上。也许,这就是一个手艺人,在经历过团队泥潭后,能为自己筑起的最实在的堡垒。














