既然买不到 M3 Max，我就在国产芯片上测试算法适配。听着朋友那台 M3 Max 风扇发出的轻微啸叫，我这边国产 ARM 架构的机器安静得像块砖头，但跑起我的算法来，也慢得像块砖头。这感觉太他妈真实了，算力不够，代码来凑，这话现在听起来不是励志，是赤裸裸的生存法则。
去年还在焦虑怎么用 ChatGPT 写 prompt，今年就得面对大模型推理本地化的硬骨头。我手上这块国产芯片，纸面参数看着还行，一跑起来，内存带宽和缓存机制跟 x86 和苹果 Silicon 完全是两个世界。我那个基于 Transformer 的轻量化分类模型，在 M1 上能跑 30 帧，挪过来直接掉到个位数。问题不在模型大小，而在算子。国产芯片的 NPU 对某些矩阵乘法的优化路径不一样，甚至有些基础算子库的接口都没对齐 ONNX 标准。我一开始试图用通用的 PyTorch 转 ONNX 再部署，结果发现中间层输出对不上，误差累积到最后直接崩了。只能一层层拆，用芯片厂商提供的 SDK 重写核心计算单元，相当于给模型做了一次器官移植手术。
这过程让我想起 2017 年给微信小程序做性能优化，那时候跟 DOM 树渲染较劲，现在是在跟指令集和内存对齐较劲。技术栈换了一茬又一茬，底层那些脏活累活从来没变过。所谓的“技术普惠”，落到产品经理手里，就是这种极其枯燥的适配、测试、调参，把一行行代码磨到能在特定硬件上不出错地跑起来。没有窗外凌晨三点的灵感迸发，只有对着终端里不断刷新的 loss 曲线和时延数据，一遍遍改 kernel 大小和循环展开。
算力鸿沟是客观存在，但产品逻辑可以弥合一部分。我现在的思路是，不在国产芯片上追求极致的精度或速度，而是重新设计任务流。比如，把需要高算力的推理环节拆解，一部分预处理放在边缘端（就用这块国产芯片），只提取最关键的特征向量，然后把向量而非原始数据上传到云端大模型做最终决策。这样，本地负担减轻了，对网络传输的要求也变成了传输几个浮点数数组而非图片或视频流。这本质上是一种架构上的妥协，用流程设计去规避硬件短板。当年做爬虫对抗平台反爬，也是这个思路，单机 IP 被封就用代理池，同步请求慢就改异步队列，永远在找规则链条上最薄弱的那个环节下手。
测试到凌晨，终于把核心循环的耗时降了 40%。靠的不是什么高深算法，就是最土的办法：把数据在内存里的排布方式按照这块芯片的缓存行大小重新排列，减少 cache miss。看着稳定下来的吞吐量数据，我一点都高兴不起来。我知道，只要苹果出一款新的神经网络引擎，或者英伟达更新一次 CUDA 版本，我眼下这点优化成果可能瞬间归零。这种追赶令人疲惫，但也是这个阶段必须吞咽的沙子。当个人无法拥有顶级算力时，你就必须比拥有它的人更懂如何“挤牙膏”。这不是情怀，是成本控制，是让更多预算有限的团队也能跑起来 AI 的必经之路。风扇依旧安静，我脑子里却嗡嗡作响，想着明天还得继续跟量化精度损失较劲。
