窗外是上海凌晨三点的寂静，只有键盘声在响。三十二岁，还在用这种最原始的方式去“看”对手，想想有点可笑。但没办法，那个做了十年的老站，像块石头一样压在搜索结果第一页，我得知道它到底凭什么。
手动点？点开几十个分类，一个个看URL参数，记下目录层级？别开玩笑了，那得看到天亮，而且一定会看漏。信息差就是时间差，我等不起。打开PyCharm，新建一个文件。思路很直接：找到它的sitemap.xml，没有的话，就从首页开始，像个耐心的掘墓人，一层层往下挖，把每一块砖的位置和连接方式都记录下来。
先从requests开始，伪装一下header，加上点随机的延迟，毕竟不想太早被踢出来。目标站点的robots.txt里果然有sitemap地址，省了不少事。解析xml，拿到第一批种子URL。但我知道，很多老站的sitemap更新不及时，深层页面不会放进去。所以核心是写一个可控深度的爬虫。定义一个`max_depth`，从首页算作depth=0，每发现一个站内链接并跟进，深度加一。用`collections.deque`来做广度优先的队列，把(url, current_depth)这个元组放进去。这里有个纠结的地方：是碰到外链就丢弃，还是也抓取分析？对于纯粹的架构分析，外链意义不大，反而会污染数据池，增加无谓的请求和解析时间。果断过滤，只处理同域名下的链接。
真正的麻烦在于去重和解析。用`set`存已访问的URL，但光这样不够。有些URL带着不同的查询参数，指向的却是同一个页面，比如`?page=1`和`?page=2`，这在架构分析里需要区分吗？思考了一下，需要。参数往往代表了分页或筛选逻辑，这也是对方内容组织方式的一部分。所以去重时，不能简单看归一化后的URL，得保留参数信息。但又要防止陷入无限循环，比如那种用sessionid参数的动态页面。加个规则：同一个路径下，只保留前三个不同参数的URL样本，再多就可能是陷阱，跳过。
数据一点点爬回来，存成结构化的字典。接下来是可视化。不想用太重的工具，就用`networkx`画个拓扑图吧。把每个URL节点按目录层级归类，边就是链接关系。运行脚本，看着控制台里滚动的日志，那种感觉上来了。就像在漆黑的夜里，突然有了一台X光机，对准了那个庞然大物。它的骨架、它的关节、它的血管连接方式，正在我面前一点点显影。
我发现它的分类层级做得非常深，有四级甚至五级目录。这在SEO上其实是把双刃剑，权重传递路径太长，但好处是内容归类极其精细，用户粘性可能会高。它的产品详情页URL里嵌入了分类ID和产品ID，这是一种很老派但稳定的结构，说明后端数据库的设计可能多年没大动过。静态化做得不错，但大量的图片还是直接放在根目录的images文件夹下，没有按日期或分类再做子目录，这会导致单个文件夹文件数过多，访问效率或许有潜在问题。
最让我有点惊讶的是，它在几个核心分类页之间，做了大量的交叉链接，形成了一个小型的内部权重闭环。这很聪明，把流量牢牢锁死在自己的几个优势领域里。这不是随便做做就能成的，需要很强的内容规划和站内运营意识。
商业竞争，有时候就是这么赤裸。你花几年时间积累的内容和架构，别人用一个晚上写的脚本，就能把你的底牌看个七七八八。技术手段抹平不了所有的差距，但它能极大地压缩你获取信息、做出判断的时间。以前可能要蹲守观察几个月才能摸清的规律，现在几个小时就摊在眼前。
脚本跑完了，生成了一个密密麻麻的节点图。我看着那张图，有点出神。我看到了对手的策略，也看到了某种固执，或者说，路径依赖。它庞大，但也因此笨重。这给了我一点微弱的信心。也许，我的机会不在复制它的架构，而在它转身缓慢的地方。
关掉编辑器。天还没亮，但心里那点焦灼，好像被这冰冷的分析压下去了一些。知道敌人在哪里，总比在黑暗里瞎摸要好。接下来，就是怎么用好这张“底牌”了。
