六月初，我把所有的“野路子”文档都锁进了加密文件夹。不是矫情，是怕自己手贱又回去翻。那些东西现在看，跟废纸没区别。什么“绕过微信风控的十八种姿势”、“SEO快排的灰帽脚本”、“用Python多线程暴力爬取竞品数据”，文档里全是这种玩意儿。当时觉得是屠龙技，现在看，全是屠虫技，而且虫子还进化了。锁起来，就当给那个焦虑到病态的独狼黑客时代，办个葬礼。
2021年了，我31岁。从团队泥潭里爬出来，回归一个人干。交付压力一点没小，但至少心不累了。不用再听谁抱怨，也不用再解释为什么这个需求做不了。代价就是，所有技术栈的债，都得自己还。以前那些野路子，东一榔头西一棒子，环境依赖乱成一锅粥。在本地Mac上跑得好好的爬虫，扔到客户的CentOS服务器上就各种库版本冲突，光是解决一个`libssl`的兼容性问题就能耗掉一下午。这他妈不是搞技术，这是搞玄学。
所以，必须上容器。Docker不是新东西，但以前总觉得“杀鸡用牛刀”，我那点小脚本，配个`requirements.txt`不就完了？现在被现实毒打明白了：环境一致性，就是生产力，就是命。我花了整整两周，死磕Dockerfile的编写和最佳实践。目标很明确：给我任意一台装了Docker的VPS，不管是Ubuntu、Debian还是Alpine，我一条`docker build`和`docker run`命令下去，我的整个数据采集+清洗+入库的流水线，必须丝滑地跑起来。
这个过程极度枯燥，但每一步都踩在痛点上。首先是镜像层优化。一开始的Dockerfile，`RUN apt-get update && apt-get install -y python3 python3-pip` 后面跟了一长串系统包，然后`COPY . /app`，再`RUN pip install -r requirements.txt`。这样每次代码有一丁点改动，整个依赖安装层都要重新构建，缓存完全没用。后来拆开，把系统依赖和Python依赖分开，把变动最频繁的代码拷贝放到最后。光是这个调整，构建时间从五分钟降到一分钟以内。
然后是持久化数据卷。爬虫数据要存下来，不能存在容器里，容器一删就没了。用`-v`参数把宿主机的目录挂载到容器内固定路径，比如`/app/data`。这样，无论容器启停多少次，数据都在。日志文件也一样，单独挂载出来，方便用`tail -f`实时监控爬虫状态。
最核心的，是横向扩展的逻辑。我设计了一个简单的“主从”模式。一个主控容器，里面跑一个轻量的Flask API，只负责两件事：接收新的采集任务（目标URL、解析规则），以及查看各个工作节点的状态。每个工作节点，就是一个独立的爬虫容器。主控器通过Docker的API（没错，Docker本身提供了HTTP API）或者更简单的，用`docker run`命令，动态地在同一台或者其他VPS上启动新的工作容器。
这里有个关键：所有工作容器，都从同一个镜像启动。它们启动时，会通过环境变量或者连接到同一个Redis容器，从主控器那里领取任务。任务队列用Redis实现，简单可靠。一台VPS资源吃满了（比如CPU或内存监控脚本触发阈值），我就在另一台备用的VPS上，SSH连过去，执行同样的`docker run`命令启动新容器。新容器自动连接到同一个Redis，开始领取任务干活。
整个架构的配置文件、环境变量、Docker Compose文件，我全部用Ansible管理。写一个inventory文件，列好所有VPS的IP，一个playbook下去，自动完成Docker安装、镜像拉取、目录创建、服务启动。这才叫“一套环境，多台扩展”。以前那种手动SCP文件、手动SSH执行命令的方式，跟原始人没区别。
搞完那天晚上，我对着终端里滚动着的、来自三台不同地域VPS的容器日志，发了会儿呆。没有兴奋，只有一种迟来的“本该如此”的平静。那些锁起来的野路子文档，代表的是对流量的饥渴和技术的投机。而现在这一套基于Docker的、可重复、可扩展的部署体系，才是产品经理该有的工程化思维。虽然我交付的还是数据采集服务，但内核变了。从手工作坊，变成了有流水线的微型工厂。
身体还是累，但焦虑少了一点。至少，我知道问题出在哪里，并且能用确定性的方法去解决它。这大概就是31岁，比28岁那会儿，唯一的长进。
