A/B测试

A/B 测试是什么？

想知道改一个东西到底有没有用，最直接的办法是「同时试两个版本」。A/B 测试就是把用户随机分成 A、B 两组：A 组看到旧版，B 组看到新版，然后对比两组的实际表现，看哪边更受欢迎、转化更高。

它为什么在 AI 里特别重要？

改提示词不能靠感觉
换了个说法，用户满意度到底是升是降，光靠「我觉得更好了」不靠谱，得让数据说话。
模型更新风险高
新模型可能某些题更聪明，某些题反而更差。A/B 测试能兜住风险：先小流量试，稳了再全量。

怎么跑一次像样的 A/B？

只改一个变量
一次只对比一个改动，否则分不清是谁的功劳。
随机分流
两组用户要随机分配，避免「选了偏」导致结果失真。
跑够久、看关键指标
别只看一两天的数据，也别只盯一个指标。满意率、留存、成本，都得看。

它解决什么问题？

在没有 A/B 测试时，很多「优化」其实是拍脑袋，改完才发现是倒退。有了它，每个改动都有数据背书：是更好、更差还是没差别，一眼就清楚。

一句话记住：A/B 测试就是「让数据替你投票」——两个版本同时上，谁的指标好就用谁。