高德发布“室内地图”，这消息让我在办公室盯着屏幕愣了好几秒。不是因为它多震撼，而是它精准地戳中了我最近半年的焦虑核心：数据的精细化采集到底还有多少坑没填上？我们团队接的那个连锁餐饮客户，上周还在为“方圆三公里内竞品门店数量”这种基础数据吵得不可开交，人工数，误差大到没法看。
我决定自己动手测一下。目标很明确：抓取某个全国性茶饮品牌的公开门店数据，结合高德/百度的POI，自动化生成一份带热力图的选址分析报告。听起来像那么回事对吧？第一步就卡在数据源上。品牌官网的“门店查询”页面，看着就是个简单的城市下拉列表加门店列表，我让团队里的小伙子用Python的requests+BeautifulSoup去爬，他信誓旦旦说两天搞定。结果呢？页面是Ajax动态加载的，门店数据根本不是直接嵌在HTML里，得去抓XHR请求。抓到了请求地址，里面带了一串看不懂的加密参数，像是`sign`和`timestamp`，估计是防爬的。小伙子吭哧吭哧去逆向JS找加密逻辑，搞了三天，跟我说可能得用Selenium模拟浏览器了。
模拟浏览器就是性能灾难的开始。全国三百多个城市，一个城市一个城市点开，等页面加载，再解析DOM树提取数据，这得跑到猴年马月？我让他上多线程，控制一下请求频率，别把人家服务器搞挂了。结果线程开多了，IP直接被封。换代理IP池，免费的稳定性差，收费的又是一笔成本。这还只是获取最基础的门店名称和地址列表。
有了地址列表，得用高德的地理编码API把地址转成经纬度坐标。这里有个巨坑：地址不标准。“XX市XX区XX路XX号”这种还算好的，很多是“XX购物中心一楼拐角”、“XX地铁站A出口旁”，这种模糊描述地理编码API返回的坐标能偏出去一条街。更别提有些门店地址根本就是错的，或者已经关门了但信息没下架。清洗和校验这些脏数据，写规则写得我头皮发麻，正则表达式都快写出幻觉了。
经纬度有了，调用高德的POI周边搜索API，去抓取每个门店周边三公里内的竞品、商圈、地铁站、写字楼、住宅小区。API有频率限制，每天免费额度就那么点，要想快速跑完全国数据，要么慢慢等，要么氪金。氪金也不是万能药，API返回的数据字段有限，很多关键的商业属性（比如商铺租金水平、人流量预估）根本没有。所谓的“热力图”，最后只能基于门店密度和基础设施密度来生成，苍白得很。
团队里的小孩问我：“老大，我们费这么大劲，做出来的报告真的比人家资深地推人员凭经验画的圈更准吗？”我一下子被问住了。我们折腾了快一个月，投入了两个人力，中间还因为频繁请求被高德警告过一次。得到的是一堆漂亮但可能失真的图表，和一个运行缓慢、动不动就报错的自动化脚本。而客户真正关心的——“这个点位未来半年的人流变化趋势”、“旁边新建小区的入住率”、“主要客群消费力”——这些深层次、非公开的数据，我们根本摸不到边。
高德搞室内地图，说明平台方在数据的“最后一公里”精度上开始下硬功夫了。但这背后是海量的实地采集、校准、更新成本。我们这种外部团队，想靠公开API和爬虫玩出商业洞察，门槛正在以肉眼可见的速度变高。数据获取的坑还没填平，数据解读的鸿沟又摆在了面前。今天下班前，我把那个半死不活的自动化项目叫停了。先不想什么商业报告了，我让团队先把抓到的几万条原始数据，人工抽样核对一下准确率。如果基础坐标都错百分之三十，后面所有 fancy 的分析都是扯淡。
管理团队做项目，和当年自己单干写脚本完全不是一种累法。单干时，技术难点攻破了就是胜利。现在呢？技术难点只是成本的一部分，你要权衡投入产出比，要安抚团队情绪，要对客户模糊的需求进行具象化，最后还可能做出一坨没人用的东西。自由是没了，换来的是一堆流水账单和更深的焦虑。有时候深夜复盘，我甚至有点怀念2017年那个为了一个反爬策略能兴奋地熬通宵的自己。现在通宵也不少，但多半是因为第二天要给客户一个交代，而进度条还卡在某个莫名其妙的数据校验bug上。
