Skip to content
pipelines: ok
§AI与机器学习

AI提及率报表两边算不一样?先查分母和重复记录

为AI回答监测定义记录主键、有效样本和去重规则,用教学数字核对提及率,区分采集失败与没有提及。

同一批AI回答,运营表算出提及率40%,数据报表却显示30%,先检查两边是否使用了相同分母。一个按有效回答计,另一个按全部计划提问计,算式都可能没有错,指标含义却已经不同。继续调整图表样式不会解决这个问题。

先写一行指标定义,再写计算公式

例如,团队可以约定:“在指定平台、语言、问题集和采集时段中,明确出现指定品牌名称的有效回答条数,占有效回答总条数的比例。”这是一种团队自定义口径,不是所有平台共同提供的官方指标。

品牌名称、产品名和简称是否都算提及,也要先决定。页面被链接但正文没有品牌名,与正文提到品牌却没有链接,是不同观察结果,适合分别记录。不要让一个名叫“命中”的字段同时表示这两件事。

一个可以手算的例子

以下全部是假设数据:本轮计划采集20条记录,其中5条请求失败,剩下15条获得可用回答。可用回答中6条提到指定品牌。

  • 按有效回答统计的提及率:6 ÷ 15 = 40%。
  • 按全部计划采集统计的提及比例:6 ÷ 20 = 30%。
  • 采集成功比例:15 ÷ 20 = 75%。

这三个数分别回答不同问题。失败记录没有告诉你AI是否会提及品牌,因此不能在未说明规则的情况下把失败填成“未提及”。反过来,只报40%而不交代5条失败,也会隐藏样本缺口。

光算的品牌提及率与引用率计算说明用分子、分母和原始条数解释这类差异。实际报表也建议保留“6/15”这样的记录,让复核者能回到样本,而不只是看到一个百分比。

重复请求不一定是重复样本

采集重试可能产生两条内容相同的记录,也可能是原先失败后补回的成功结果。先定义一个采样单元,例如“问题ID+平台+语言+本轮计划次数”,再给每次技术尝试单独编号。这样可以区分计划中的重复观察与网络失败后的重试。

如果项目本来要观察同一问题多次回答的波动,那些计划内样本就不能简单删除。反之,同一个成功响应被导入两遍,也不应被当作两次独立观察。去重依据应来自采样设计和记录标识,不能只按回答文本是否相同。

给报表增加几项低成本检查

  1. 检查主键是否唯一,重试记录能否关联到原计划。
  2. 检查状态字段:成功、失败、无可用回答、待复核不要混成空值。
  3. 确认分子不会超过分母;每个被计入的样本能否打开原始记录。
  4. 确认问题集、平台和语言范围没有在两轮之间悄悄变化。
  5. 抽查名称匹配规则,排除简称同名、只出现在提问文本等误判。

当本轮新增平台或问题时,可把共同样本与新增样本分别展示。即使两轮都有20条记录,问题内容不同也未必可直接比较。报表最终应说明观察范围和缺失情况,而不是把小样本的一次波动写成品牌影响力已经提升。

§Nächster Schritt

Schick dein Dataset zur Diagnose.

30 Minuten. Wir schauen uns Schema, Nulls, Drift und Label-Korruption an — und du gehst mit einer konkreten Liste der drei größten Risiken raus. Kein Pitch, kein Folgedruck.