既然买不到英伟达，我就在华为昇腾芯片上做代码瘦身。今天把 Rembg Pro 的核心抠图逻辑又扒了一层皮，内存峰值从 4.2G 压到了 2.8G，在昇腾 910B 上跑一轮测试的时间缩短了 17%。这 17% 不是优化来的，是拿命换的，把 PyTorch 里那些默认的、舒服的、但吃显存的操作全手动重写了。
昇腾的生态和 CUDA 比起来，就像拿着螺丝刀造航母。文档里充满了“敬请期待”和“参考 NVIDIA 实现”，但实际跑起来，内存管理策略完全不同。CUDA 上你开个 4G 模型，显存占用可能就 4.5G，有缓存和复用。昇腾不行，它实打实给你按峰值分配，模型 4G，中间激活一爆，直接给你干到 6G 去，OOM 得你毫无脾气。所以瘦身不是选修课，是保命符。我第一步就把模型里所有不必要的 .clone() 和 .detach() 给剃了，这些操作在训练时是安全垫，在推理时就是内存刺客，尤其在昇腾上，每个 clone 都意味着一次独立的内存分配。
最要命的是注意力机制那块。原版 Rembg 用的是标准的 Multi-Head Attention，计算复杂度 O(n²)，内存是 O(n²)，在 1024×1024 的图上，中间那个 attention map 大得吓人。我把它改成了滑动窗口注意力，把全局计算拆成一系列局部窗口的并行计算。这不仅仅是改几行代码，你得重新设计张量的内存布局，确保在窗口滑动时，数据能高效地在片上内存（NPU 的“显存”）里复用，减少和 DDR（主机内存）的反复搬运。昇腾的 AscendCL 接口，对这类精细控制的支持度，比 CUDA 的 kernel 编程抽象层要低，你得用更底层的接口去拼。
算力不够，脑子来凑。这句话今年体会太深了。以前在 3090 上，模型胖点就胖点，大不了加钱换 4090。现在被卡脖子，逼着你回到算法的本质：用更少的计算，换尽可能接近的结果。我甚至把模型里一些 Sigmoid 激活换成了 Hard-Sigmoid，就为了省掉那几个指数运算。在 CUDA 上这可能微不足道，但在 NPU 上，没有针对指数函数的专门优化电路，这一个替换就能省出可观的时间。
适配国产芯片，最大的成本不是代码重写，是心智的重写。你得放弃对 CUDA 生态那种“应有尽有”的依赖感，接受一种“螺丝壳里做道场”的开发者体验。每一个环节，从模型加载、算子转换、到内存对齐，都可能藏着坑。比如，昇腾对某些 Python 数据结构的转换开销极大，你必须提前把数据转换成 NumPy 数组，并且确保内存是 64 字节对齐的，否则性能直接腰斩。这种细节，官方 troubleshooting 里根本不会写，全是靠一次次 OOM 和超时报警试出来的。
搞到凌晨，终于让整套流程在昇腾 910B 和摩尔线程 MTT S80 上都跑通了。性能当然还是比不上同价位的 NVIDIA 卡，但至少能用了，而且成本可控。这感觉就像 2016 年死磕微信小程序和 SEO 算法那会儿，资源极度有限，逼着你把每一个字节、每一次请求的价值榨干。只不过当年拼的是流量生存，现在拼的是算力生存。技术栈在变，外部环境在变，但那种“在限制条件下找到出路”的核心焦虑，从来没变过。可能这就是干我们这行的宿命，永远在稀缺里找最优解。
