凌晨两点半，盯着屏幕上爬虫日志里最后一行“429 Too Many Requests”，我端起手边那杯彻底凉透的速溶黑咖啡，灌了一大口。苦，但能让我清醒地意识到，我过去十年赖以生存的“信息差套利”逻辑，正在被更底层的规则碾碎。不是爬虫技术过时了，而是游戏规则变了。Product Hunt 和 GitHub Trending 的页面结构简单到令人发指，但反爬策略已经从 DOM 树伪装升级到了行为指纹和请求频率的毫秒级监控。我写的这个 Python 脚本，核心不是 BeautifulSoup，而是 time.sleep() 里那些随机浮点数，以及用 requests.Session() 模拟的完整用户会话链条——包括模拟鼠标移动轨迹的垃圾数据埋点。这他妈哪是爬虫，这是谍战。
但真正让我后背发凉的，不是技术对抗。是我爬下来的数据本身。Product Hunt 上今天排前三的产品：一个给 Notion 加了个日历小组件的浏览器插件，一个把 ChatGPT 对话一键转成思维导图的单页应用，一个自动给截图里邮箱打码的 Mac 菜单栏工具。GitHub Trending 上，清一色的“xxx-toolkit”、“xxx-boilerplate”，star 数疯涨的项目，代码量可能不超过 500 行。没有宏大的叙事，没有颠覆性的架构，甚至没有完整的“产品”形态。它们就是一把把锋利的手术刀，精准地切开用户某个特定工作流里，一个持续了可能好几年的、细微的“摩擦点”。这种“轻”，对我这种从 Axure 画原型、写 PRD、搞用户调研、组建团队开发完整 SaaS 产品路径里爬出来的人，是一种认知上的羞辱。
我 2018 年带队做的那个“一站式新媒体运营平台”，死了。死因不是技术，是“重”。我们想解决“所有”问题，从多账号管理、内容日历、到数据分析、竞品监控，甚至内置了一个简易的 H5 编辑器。团队 8 个人，干了半年，上线后获取一个付费用户的成本，是那个用户终身付费额的三倍。我们被自己的“逻辑”困死了——产品经理的思维惯性就是做加法，用功能堆砌价值，用复杂证明专业。但用户，尤其是现在的用户，他们的耐心阈值被互联网磨成了纳米级。他们不想听你讲“愿景”，他们只想立刻、马上、不费脑子地，把眼前这个卡了他 5 秒钟的屁事给解决掉。然后关掉页面，忘掉你的产品，直到下一个同样的“屁事”出现。
所以我的爬虫脚本，监控逻辑也变了。我不再关心“总榜”，我写了个规则引擎，专门过滤那些描述里带有“one-click”、“instant”、“for xxx” （比如 “for designers”, “for developers”）标签的产品。我分析它们的点赞用户画像，不是看数量，是看密度——在短时间内被某一类极垂直的职业人群集中引爆。这才是独立开发者，或者说，40 岁还想靠手艺吃饭的“超级个体”的唯一生路。你的战场必须足够窄，窄到巨头看不见，或者看见了觉得肉太少不屑于吃；你的武器必须足够锐，锐到打开即用，用完即走，用户甚至感觉不到“使用了一个软件”，只觉得“某个阻碍自然消失了”。
这种逻辑是孤独的。它意味着你无法在饭局上慷慨激昂地描述你的“商业模式”和“生态闭环”，你只能说你做了个“小工具”。它意味着你的成就感，从“管理一个团队完成一个项目”，坍缩回“深夜独自调试通一个 API 接口时，命令行跳出的那行 ‘200 OK’”。就像手里这杯冷咖啡，没有任何香气可言，只有纯粹的、提神的苦涩因。但正是这种苦涩，让我清醒地认识到，属于大而全的、堆人头的、讲宏大逻辑的产品时代，对我这种人来说，已经彻底结束了。能活下去的，是那些像钉子一样，把自己敲进某个具体缝隙里的，安静的、锋利的、逻辑自洽的“小东西”。我的爬虫还在跑，它不再是为了“猎取信息”，而是为了让我反复确认并咀嚼这种“孤独的正确性”。窗外的天色，似乎开始有点泛灰了。
