ChamsPilot · 方法论
我们为创作者验证只公布一个实测数字:在对 640 个模拟创作者账号的盲测中,95% 的“高风险”判定是正确的。本页说明这项测试如何进行、它能说明什么、不能说明什么,以及我们的审核在哪些情况下读取官方数据、在哪些情况下进行估算。
ChamsPilot 是 Google、TikTok、Meta 和 X 的官方 API 合作伙伴。当创作者的真实数据可通过这些官方接口获取时,我们直接读取,而不是推断。
这种情况比多数人以为的更常见。列入平台创作者市场、使用 TikTok One,或曾进行标记为付费合作的创作者,其数据已由平台确认。对这些账号而言,受众数字是平台的记录,而非我们的估算。
平台数据告诉你受众是什么,却不能告诉你互动是否真实。因此每次审核还会运行我们自己的分析:评论真实性、粉丝构成、互动模式与时间分布,由多个算法交叉验证,而不是单一评分。
公布的数字衡量的正是这套分析:仪表盘内的创作者验证和 AI 深度审核所用的判定引擎。它不代表假粉检测工具页上的免费基础检测,后者使用的是更轻量的启发式规则。
我们构建了 640 个模拟创作者账号,TikTok、Instagram、YouTube 和 X 各 160 个。其中一半自然增长,并包含最容易让假粉检测工具误判的情况:抽奖活动、粉丝圈、跨界合作、评论关键词引导、低互动以及非英语受众。另一半则通过多种方式刷高数据:购买粉丝、点赞、播放量或评论,互赞群组,以及互关互粉。
判定引擎在测试前已冻结,封存的测试集只运行了一次。下方结果均来自这唯一一次运行。
在这次盲测中,引擎把 640 个模拟账号中的 166 个判定为“高风险”,其中 157 个确实刷了数据:95% 的“高风险”判定是正确的。320 个自然增长账号中有 9 个被误判为“高风险”,误报率为 2.8%。
引擎的设计原则是不冤枉真实创作者,因此判定比能做到的更保守。在 320 个刷数据账号中,157 个(49%)被判定为“高风险”,另有 47 个被标为“需要复核”以便进一步检查,116 个未被识别。在对同样 640 个模拟账号的盲测中加入两项可选查询(近期粉丝抽样和每日粉丝数历史)后,66% 被判定为“高风险”,且 95% 的判定仍然正确。
这项测试不能说明的是:这些账号是模拟的,不是真实创作者,而且它们所依据的自然账号模型与引擎所用的基准来自同一套假设,因此在真实账号上的结果可能更低。我们正在准备一项基于真实账号的基准测试,账号会在 ChamsPilot 分析之前独立标注,结果将在本页公布。
其余账号没有官方数据可用。我们仍然会审核它们,评论与互动分析方式相同。但有些属性只能推断而无法读取,最明显的就是受众地域。
当平台不提供粉丝和观众的国家分布时,我们进行估算:将评论时间与各时区活跃度相关联,并结合我们自建并持续优化的其他信号。这是估算,我们也如实标注。
没有任何第三方能比平台本身更了解其用户数据。声称能做到的服务都是在猜测。平台给出真实数字时我们如实展示;没有时,我们展示最佳估算并加以说明。
创作者用它了解并改善自己的数据。看清受众中哪一部分是真正活跃的,是让这部分增长的第一步。
品牌、代理商、企业高管和专业人士用它在付款前判断一位创作者的真实价值:真实触达、可见数据,以及一个站得住脚的定价理由。