Llama 3 震撼发布，我盯着 GitHub 的 release 页面，手有点抖。不是激动，是后怕。这玩意儿 8B 参数，指令跟随能力据说能打 GPT-3.5，关键是它真开源了，Apache 2.0 协议。这意味着什么？意味着我去年还在死磕的、那些靠信息差和部署复杂度吃饭的“私有化部署”项目，一夜之间成了笑话。客户自己拉个镜像就能跑个七七八八，我还要收人家十几万服务费？脸呢。
后怕之后是狂喜。一种独狼嗅到血腥味的狂喜。开源社区的核弹爆了，炸掉的是旧世界的围墙，炸出来的是新世界的荒地。谁先在这片荒地上把房子盖起来，谁就有肉吃。盖房子需要什么？标准化、可复制、能快速铺开的基建。我脑子里就三个字：容器化。不能再像以前那样，给每个客户部署都他妈是手动 apt-get，改配置文件改到凌晨三点，环境依赖冲突解决起来像在拆弹。必须做到，一台干净的 VPS，几条命令，半小时内，一个能扛住并发、带完整 RAG 流水线的 Llama 3 服务就得立起来。
我摊开草稿纸，开始画部署拓扑。核心就一个 Docker Compose 文件，把它当成乐高说明书。第一块积木是模型服务本身，用 Text Generation Inference 还是 vLLM？得实测，看谁在 16G 内存的 VPS 上吞吐更稳。第二块积木是向量数据库，Qdrant 的 Docker 镜像小而美，比 Milvus 那套依赖省心。第三块积木是 API 网关，Nginx 反向代理后面挂几个模型实例做负载均衡。最关键的是第四块：一个自定义的“协调者”容器。它干两件事：一是监听一个 Redis 频道，接收“扩容”或“缩容”指令；二是根据指令，通过 Docker API 去远程的宿主服务器上启停容器实例。
对，远程。这就是“分布式超级个体”的邪路子逻辑。我不需要 Kubernetes 那种重型航母，我只要 Docker Daemon 的 2375 端口（当然得用 SSH 隧道加固）。我在阿里云有一台 4C8G 的机器做控制中心，上面跑着那个“协调者”。我在腾讯云、AWS Lightsail 甚至朋友闲置的物理服务器上，提前装好 Docker，配置好隧道。当控制中心接收到高并发请求，监控指标触达阈值时，“协调者”就会通过隧道，在远程的某台 VPS 上执行 `docker run -d my-llama3-api:latest`。一个新的推理节点就在几分钟内加入了集群。流量降了，再 `docker stop` 掉。账单按小时计费，成本是弹性的。
听起来很美，坑多如牛毛。第一个大坑：模型文件 15 个 G，每台新节点都拉一遍？带宽和时间都耗不起。解决方案是在控制中心搭建一个私有的 Docker Registry，并且启用分层缓存。基础镜像包含 CUDA 驱动和基础环境，业务镜像只包含代码和配置文件，模型文件通过 volume 挂载，或者用 MinIO 做一个共享存储。这样新节点拉取镜像快得多。第二个大坑：状态同步。用户 session、对话历史这些有状态的数据，绝对不能放在本地容器。全部赶出去，塞到 Redis 和中心化的 PostgreSQL 里。保证任何一个容器崩了，新拉起来的容器能无缝接替。第三个大坑：网络延迟和安全性。国内云到海外云的延迟可能上百毫秒，做负载均衡时得用加权轮询，甚至根据用户 IP 地域做智能路由。2375 端口暴露？那是找死。必须用 autossh 建立稳定的反向隧道，把远程 Docker API 映射到本地的一个端口，通信全部走这条加密链路。
搞到凌晨四点，第一个能跑通的原型出来了。我写了段脚本，模拟一百个并发请求打过来。看着控制台的日志，一台杭州的 VPS 负载冲到 80%，紧接着，协调者发出指令，一台新加坡的节点自动启动。三十秒后，负载开始被分摊。那一刻，我感觉自己像个巫师，在用自己的咒语调度分布在全球的算力幽灵。这不是技术，这是魔法。是穷人的、独狼的、不想被团队和资本绑架的魔法。
Llama 3 是核弹，炸出了一个公平的起跑线。但光有核弹没用，你得有投送能力。我的投送能力，就是这一套用 Docker Compose 和一堆 shell 脚本粘合起来的、简陋但致命的分布式系统。它不优雅，但极其务实。它让我一个人，能像一个团队那样作战。不，是像一个特种小队，精准、廉价、随时能出现在任何需要算力的前线。超级个体的终极形态，或许不是自己变成超人，而是让自己成为那个唯一的大脑，指挥无数个无意识的、可抛弃的钢铁肢体。
