遇到辛普森悖论式反转,先别改结论,先查每个分组的分母是否来自同一批可比的访问。若分组分母覆盖的会话范围、去重规则或时间窗不同,反转往往只是分母拼接造成的假象;只有当各分组分母同源、同口径且能还原到总体时,反转才值得当作真实结构去解释。
分组结论与总体相反,最常见的来源不是数据造假,而是分母被换了。总体转化率的分母可能是全部会话,而分组转化率的分母可能只统计了已识别用户的会话,或者只统计了落地页有事件上报的会话。两组分母覆盖的访问集合不同,比较就失去意义。
要查的第一件事是:每个分组的访问量相加,是否等于总体访问量。如果不等于,差额去了哪里。常见去向有三类:未归类流量、被过滤的机器人流量、以及因权限缺失而没取到的部分。缺少完整数据或权限时,仍可执行的最小动作是:向数据持有方索要总体分母与各分组分母的对账表,至少确认两者是否来自同一张事件表。这个动作的结果决定下一步——若对不上,先修口径;若对得上,才进入结构解释。
分母同源之后,还要看分子是否也同源。一个可执行的检查是:把总体转化率按分组访问量做加权平均,看能否还原出总体值。假设总体有A、B两组,A组访问量占九成、转化率百分之一,B组占一成、转化率百分之五,加权后总体约百分之一点四,高于A组。此时若有人只看A组就断言整体转化差,就是漏掉了B组的权重。这个例子只说明比较方法,不代表任何真实站点数据。
如果加权还原失败,说明分子或分母至少有一方在分组时被重新定义了。此时不能推出“某渠道更差”或“某页面无效”,只能推出“当前分组口径无法支持总体结论”。反过来,若加权能还原,反转就是真实的构成效应,值得进一步查是哪一组的结构变化拉动了总体。
有一种情况会让上述检查全部失效:分组本身是按结果事后划分的。比如先看哪些会话转化了,再按转化与否去反推来源分组,这时分母已经被结果污染,任何加权还原都只是循环论证。判断信号是:分组字段在访问发生时并不存在,或分组规则里引用了转化事件之后才产生的属性。遇到这种反例,正确动作是回到访问发生时刻的原始分组字段,重新取数,而不是继续在现有分组上做数学修补。
确认分母同源、分组非事后划分之后,下一步是固定一个时间窗和一套去重规则,重算总体与分组,并记录每次口径变更。若仍缺少权限拿到原始事件表,最小动作是只报告“当前可见数据下分组与总体不一致”,并注明可见范围,不给出因果判断。
不能从这次检查推出的结论包括:某渠道一定更优、某页面一定有问题、搜索算法或平台推荐规则发生了变化。访问统计只能描述可见集合内的比例关系,不能单独还原搜索或推荐机制。把分母查清,是为了让下一步的优化动作有可信的比较基础,而不是为了给反转找一个听起来合理的解释。