既然隐私才是溢价点，我就用 Metal 把端侧效率拉满。今天清理键盘缝隙里的灰尘时，那些卡在键帽下的絮状物让我想起模型推理里那些冗余的计算路径，不清理干净，再强的芯片也跑不快。Flovico Rembg Pro 的核心算法，那个基于 U²-Net 魔改的模型，在云端跑一次 0.3 秒，但用户上传下载的等待时间加上隐私顾虑，让这个“快”变得毫无意义。真正的快，是让模型在用户自己的 Mac 上，用 Metal Performance Shaders 把计算塞进 GPU 里，让 latency 从秒级降到毫秒级，而且图片数据不出设备。
这活儿干了三个月。一开始以为就是把 PyTorch 模型转成 Core ML，结果发现苹果的转换工具对自定义算子支持就是个玄学。我那个为了处理毛发边缘特意加的注意力模块，一转换就报错，错误信息含糊得让人想砸电脑。没办法，只能回到最底层，用 Metal Shading Language 手写 kernel 函数。那感觉就像 2017 年我死磕微信小程序原生组件通信一样，文档稀碎，调试全靠 printf，但你必须钻进去，因为这是唯一的路。一个简单的矩阵乘加，在 Python 里就是一行 `np.dot`，在 Metal 里你得考虑线程组大小、纹理读取方式、设备内存带宽，还有那该死的 SIMD 宽度对齐。调了整整两周，才让第一个卷积层在 GPU 上的速度超过了 CPU 版本。
但这才刚开始。模型推理不是一层，是几十层。你得设计一个 pipeline，让每一层的输出纹理能无缝作为下一层的输入，中间尽量减少内存拷贝。苹果的 MPSGraph 是个好东西，但它的高级封装有时候会带来不可控的开销。我最后用的是混合方案：标准的卷积、归一化用 MPS 提供的高性能实现，我自己魔改的那些奇形怪状的层，就用手写的 Metal kernel 硬刚。为了把模型权重从 FP32 量化到 FP16 甚至 INT8，又掉进另一个坑。量化本身不难，难的是量化后的精度损失控制，特别是图像边缘那些渐变区域，差一点，抠出来的图边缘就有锯齿感或者颜色污染。我建了个测试集，全是之前客户投诉过的难例：透明婚纱、宠物毛发、玻璃器皿反光。一遍遍跑，对比输出，调整量化策略，有时候为了 0.5% 的精度提升，要重写整个后处理逻辑。
现在跑通了。在同一台 M2 MacBook Air 上，处理一张 1080p 的人像，云端方案（算上网络）平均 2.1 秒，本地 Metal 加速版平均 87 毫秒。这不是简单的数字游戏，是体验的质变。用户点一下“去除背景”，结果几乎是瞬间弹出，那种流畅感会直接转化成产品信任。更重要的是，我可以直接在官网和销售话术里加粗标红：“100% 端侧处理，零数据上传”。这在 2024 年，就是最硬的货币。那些做跨境电商的、处理证件照的、搞设计外包的小团队，他们宁愿多付 20% 的年费，也要确保客户图片不会在某台不知名的服务器上留下痕迹。隐私不是功能，是底线，但现在它成了我最好的溢价武器。
搞 AI 应用，如果还只盯着准确率那几个百分点，已经没出路了。ChatGPT 已经把认知门槛踏平了，谁都能调 API 做个壳。真正的壁垒在哪？在工程化，在把技术变成用户手指尖能感受到的“快”和“安心”。这三个月掉的头皮屑比过去半年都多，但值。键盘缝清干净了，敲代码都利索不少。下一步是把这套 Metal 管道封装成通用组件，任何需要端侧 CV 模型的应用，我都能给它插上翅膀。效率，和隐私一样，都是抢来的。
