既然不想招客服，我就用 GPT-4o 封装了“全自动化售后”。这念头不是凭空来的，是上个月被一个傻逼客户连续三天半夜打电话问同一个弱智问题给逼出来的。招人？开什么玩笑，2019年那会儿组团队搞交付，光社保公积金和扯皮的管理成本就够我喝一壶了，现在让我再背个人头成本？门都没有。
成本是第一个坎。OpenAI的API用起来是爽，但按token计费，客户要是聊high了，我这点利润还不够付电费的。必须本地部署。瞄上了Meta开源的LLaMA，7B参数版本理论上能在我的老伙计——那块闲置的RTX 3080上跑起来。但“理论上”这三个字在深度学习里等于“你准备好通宵调试吧”。显存是硬门槛，原生模型加载进来直接爆显存，游戏卡和专业卡的鸿沟就在这儿。
得量化。4-bit量化，把模型权重从FP16砍到INT4，相当于给模型做了个极端减肥手术，保命（能跑）要紧，精度损失后面再说。用的方法是GPTQ，一行行对着GitHub上的开源代码啃。过程就是不断的OOM（内存溢出），然后看日志，调参数，–wbits 4 –groupsize 128，尝试不同的组合，像在拆一个不知道结构的炸弹。中间一度想把服务器砸了，心想我他妈一个产品经理，怎么又滚回来干这种脏活累活了。但没办法，2023年了，不懂点模型部署，连自己做的产品都伺候不起。
跑通了只是万里长征第一步。接下来是封装。用FastAPI写了个简单的接口，把加载好的模型包进去。真正的难点在业务逻辑：怎么让这个“AI客服”别胡说八道？我搞了个硬核方案——知识库检索增强。把所有的产品手册、常见问题文档切成片段，转换成向量，用FAISS建索引。用户问题一来，先用sentence-transformers模型转成向量，去知识库里搜最相关的3条片段，把问题和这些片段一起喂给LLaMA，指令里写明“严格根据以下参考资料回答”。这就把天马行空的生成框死在了我的产品范围内。
延迟是个噩梦。在3080上，生成一段100字的回复要差不多7秒。用户等7秒？早关页面了。优化之路开始了：开批处理，用vLLM这种推理加速框架，把重复的问题和回答缓存起来。一点一点把响应时间压到了3秒内，勉强能接受。这过程里，我深刻理解了什么叫“计算资源是新时代的石油”，每一毫秒的提升都是真金白银和头发换来的。
最后用n8n做了个自动化流。用户从网站客服窗口提问，请求发到我的本地API，拿到回答后，n8n还会根据回答内容判断情绪：如果模型输出了“抱歉，我无法回答”或者用户问题里有关键词“投诉”、“经理”，就自动生成一张工单丢到我的Telegram频道里，让我人工介入。否则，直接返回。一个闭环。
搞完那天凌晨，我盯着服务器监控面板上平稳的GPU利用率曲线，没有兴奋，只有一种深深的疲惫和清醒。开源模型和社区方案是我的救命稻草，让我这种小个体户能用得起大模型。但这也意味着，我过去赖以生存的那些“技术壁垒”，比如写个爬虫、搞个微信机器人，正在飞速贬值。现在要拼的是：谁能更快地把这些开源玩意组装起来，解决一个具体的、赚钱的问题。组装能力，成了新的核心竞争力。而我的身体，在又一顿凌晨四点的外卖中，发出了抗议的信号。
