大模型开始免费，意味着我过去三个月精心设计的成本控制脚本直接报废了。屏幕上那个原本应该缓慢跳动的API调用费用数字，现在像死了一样停在零的位置，反而让我更焦虑了——免费的东西，往往意味着更残酷的竞争和更隐蔽的陷阱。
以前用GPT-3.5-Turbo的时候，每个token都像在滴血。写个验证逻辑，脑子里先过一遍代码优化：怎么用最少的prompt拿到最确定的结果，怎么设计fallback机制避免重复调用浪费钱。那是一种带着镣铐的舞蹈，虽然憋屈，但安全边界清晰。现在好了，DeepSeek、通义千问、智谱这些全放开了免费额度，甚至无限流，瞬间从“精打细算”切换到“火力覆盖”模式。第一反应不是高兴，是毛骨悚然。免费等于没有承诺，随时可能断流、降质、改规则，你的应用如果还建立在“稳定调用”的幻觉上，死都不知道怎么死的。
所以验证逻辑必须彻底重构。核心思想从“精准单次验证”切换到“高频次多重验证”。以前是“一枪命中”，现在是“饱和攻击”。具体来说，我拆成了三层。第一层，本地规则引擎快速过滤。用正则和关键词先筛掉明显垃圾，这个不变。关键是第二层和第三层。第二层，我同时向三个不同的大模型API发送同一个验证请求。不是串行，是并行。用asyncio把请求扔出去，设置一个超短的超时，比如1.5秒。谁先回来且结果可信度分数超过阈值，就用谁的。另外两个请求直接取消。这招是为了应对免费服务的不稳定性，某个服务突然抽风延迟，不影响整体响应速度。
最狠的是第三层，异步审计线程。第二层返回结果给用户后，流程并没结束。我会把用户query和拿到的结果，再悄悄发给另一个大模型（通常是不同于第二层那三个的），让它做“事后诸葛亮”式的复核。这个复核不阻塞主流程，纯后台运行。它的任务不是改变已经给用户的结果，而是记录：第二次判断和第一次是否一致？如果不一致，差异点是什么？所有不一致的案例都会落盘到日志库，附带时间戳和模型版本。这就形成了一个不断自我演化的验证案例库。免费模型的输出其实在暗中漂移，今天它认为合规的，明天可能就变了。我这个异步审计线程，就是在实时绘制这种“漂移地图”。
技术细节上全是坑。免费API的频率限制和QPS（每秒查询率）往往更苛刻，只是不收费而已。你需要模拟真实用户的行为间隔，加上随机抖动，避免被当成爬虫封掉。响应格式也千奇百怪，有的返回纯文本，有的返回带奇怪前缀的JSON，解析层要做足够的兼容和清洗。状态监控变得无比重要，我给每个模型服务都挂了健康检查，连续失败几次就自动从可用池里隔离冷却一段时间。
这本质上是一种用复杂性换取确定性的策略。当底层基础设施（免费大模型）变得不可靠且不可控时，你只能在应用层叠床架屋，构建一个分布式的、抗脆弱的验证网络。成本从显性的金钱，转移到了隐性的架构复杂度和服务器开销上。感觉又回到了早年做爬虫和SEO的时候，跟平台方斗智斗勇，只不过对手从搜索引擎的反爬规则，换成了大模型服务商不透明的服务条款和稳定性。
盯着归零的费用余额，我一点也轻松不起来。免费是最贵的，这句话在互联网时代被说烂了，但只有当你真的需要依赖这些免费服务来构建严肃应用时，才能体会到那种如履薄冰的重量。你省下的每一分钱，都变成了你脑子里多绕的一个弯、代码里多写的一行异常处理、和深夜被报警短信吵醒的几率。
