百度今天发布了文心大模型 3.5，通稿里那些“超越 GPT-3.5”的表述看得我直摇头。不是看不起国产，是这十年被技术迭代打脸打怕了。2016年我还在用正则表达式和 XPath 死磕 DOM 树，以为爬虫就是信息差的核心壁垒，结果反爬机制和 IP 池维护差点把我拖死。现在大模型直接能理解网页语义了，我当年那些熬夜写的多线程调度和请求头伪装，在降维打击面前像个笑话。
但今天想聊的不是这个。文心大模型再牛，对大多数中小团队来说，落地成本还是太高。我们真正能立刻上手、产生现金流的，还是那些“脏活累活”的自动化。比如我去年接的那个体育培训机构的单子，他们有个要人命的流程：每天从五个不同的本地论坛、两个公众号后台、还有自己小程序里，手动收集家长咨询信息，然后复制粘贴到 Excel，再根据关键词（比如“篮球”、“暑假班”、“三年级”）手动打标签，最后分给不同的课程顾问。一个全职助理，每天就干这个，枯燥到人跑了好几个。
我当时的解法，彻底抛弃了“人眼审核”这个环节。用 Puppeteer 搞了个无头浏览器集群，专门对付那些动态加载的论坛页面。但问题马上来了：并发上到 20 个实例，内存就爆了，8G 的服务器根本扛不住，采集效率还不如单线程。
这里面的优化心得，全是血泪。第一，别一上来就开浏览器。先走一遍 HTTP 请求，看看页面结构是不是真的需要 JS 渲染。论坛列表页，八成是服务端渲染，直接 requests 加个 User-Agent 就能拿下，解析出详情页链接池。第二，对必须用无头浏览器的详情页，资源拦截是命门。图片、字体、CSS、媒体文件，全部 block 掉，只保留 HTML 和必要的 JS。一个页面加载的请求数能从 120+ 降到 15 个以内。第三，浏览器实例复用，但要有心跳和自杀机制。一个实例处理 50 个页面后强制重启，防止内存泄漏累积。第四，也是最关键的，逻辑前置。不要等浏览器把整个页面 DOM 树都拉回来再解析。我用 page.on(‘response’) 事件监听，一旦捕获到那个包含核心数据的 XHR 接口响应（通过 URL 关键词匹配），直接拦截响应内容，用 JSON.parse 提取数据，然后立刻 page.close() 掉这个标签页。页面甚至都没完全渲染出来，数据已经到手了。
这套组合拳打下来，把原本需要 8 个实例才能撑住的并发，压到了 3 个实例稳定跑，数据采集速度翻了四倍。采集到的原始文本流，接入一个简单的本地 NLP 模型（那时候用的 jieba 分词加自己整理的规则库），根据“年龄”、“项目”、“时间”这几个维度打上粗标签，自动扔进不同的飞书群待办列表里。那个全职助理的岗位，直接转化成了半个客服，人力成本降了 60%，老板差点想给我送锦旗。
现在回头看，这套东西在 ChatGPT 面前又显得笨重了。如果当时有现在的大模型 API，我可能直接用 prompt 告诉 AI：“从下面这段用户咨询里，提取孩子年龄、感兴趣的体育项目、期望的上课时间，用 JSON 格式输出。” 准确率可能比我那套规则高，开发时间从两周缩短到两天。技术迭代就是这么残酷，你苦心搭建的“工程优势”，随时可能被更底层的技术变革一夜抹平。文心大模型是不是真反攻我不确定，但我确定的是，依赖“信息处理效率差”赚钱的手艺，寿命是越来越短了。得时刻准备着，自己拆掉自己昨天的堡垒。
