数据的“干净度”这玩意儿，以前我根本不在乎，爬下来能存进 MySQL 就算胜利。但今天，我被自己三年前写的爬虫代码狠狠抽了一耳光。
客户要一批垂直行业的潜在客户名单，我顺手就把那个尘封的、号称“永不失效”的爬虫脚本翻出来了。跑起来，数据哗哗地进库，十几万条，看起来很美。但当我用刚学的语义相似度模型去做初步分类时，灾难来了。模型给出的结果乱七八糟，同一个公司的不同表述（比如“北京字节跳动”和“字节跳动（中国）有限公司”）被识别成完全不同的实体，更别提那些夹杂着广告语、乱码和无效占位符的脏数据了。我突然意识到，过去几年我引以为傲的“数据洪流”，本质上是一堆无法被 AI 有效理解的数字垃圾。清洗？以前顶多用正则表达式过滤一下手机号邮箱，现在面对“语义”，正则就是个笑话。
这直接逼我重新审视整个数据流水线的源头。为了拿到所谓“高价值”的 B 端线索，源头网站的反爬早就不是简单的 User-Agent 和 IP 轮换了。它们上了 HTTP/2，甚至开始用 TLS 指纹识别。你以为你换了个 IP，用了代理池，但在服务器看来，你客户端的 TLS 握手特征（比如支持的加密套件顺序、扩展列表）就像指纹一样独特。一堆请求过去，因为指纹一致，直接被判定为同一个爬虫客户端，秒封。
我必须挖穿这堵墙。那种感觉又回来了，就是 2018 年死磕微信小程序逆向时的那种混合着焦虑和兴奋的“黑客快感”。环境是 2022 年，工具也得升级。我放弃了 requests，转向 httpx，因为它原生支持 HTTP/2。但光支持没用，得伪装。我开始深入研究 TLS 指纹的生成机制。httpx 的底层是 httpcore，再底层是 OpenSSL 或者 rustls。我需要修改客户端 hello 包里的细节。
比如，默认的加密套件列表（Cipher Suites）顺序是固定的，这太显眼了。我得把它打乱，模仿成常见浏览器（Chrome 110）的顺序。还有扩展列表（Extensions），像 “application_layer_protocol_negotiation (ALPN)”、“supported_versions”、“key_share”这些，它们的出现顺序和内容都得对齐。我甚至去抓了真实浏览器的 TLS 握手包，用 Wireshark 一个字节一个字节地对比。然后在代码里，通过自定义 httpx 的 SSL 上下文，或者更底层地，去动 httpcore 的 transport 配置，把那些指纹参数一个个改过去。
这个过程极其枯燥，调试起来更是噩梦。一个参数不对，服务器可能不拒绝，但会把你标记为“可疑”，给你返回一堆垃圾数据或者验证码。我必须像法医一样，对比成功和失败的握手包差异。但当你终于配置出一套能稳定绕过指纹检测的参数组合，看着爬虫重新开始流畅地吐出数据时，那种成就感是巨大的。它暂时压倒了管理团队时的那种心力交瘁，也让我忘了今年夏天北京反常的闷热。窗外的温度？机房服务器的风扇声比它更真实。
但这只是第一步。拿到数据后，更艰巨的“语义清洗”才开始。我意识到，未来的数据价值不在于“多”，而在于“干净”和“可理解”。一条经过标准化公司名、去除无关噪音、并能用向量准确表征其业务语义的数据，其价值远超一百条杂乱无章的原始记录。向量数据库的概念开始频繁出现在我眼前，它不是为了存储，而是为了给 AI 模型提供“干净弹药”的最终容器。我爬虫技术的最后一次“野蛮生长”，目的竟然是为了让数据安静、规整地躺进另一个数据库，等待被 AI 调用。这感觉有点讽刺，但方向无比清晰。技术焦虑从未消失，它只是换了个更高级的形态在追着我跑。
