跳到主要内容

指标与实验:别让数字替你思考

开始按钮点击率提高,可能意味着入口更清楚,也可能是误触更多。数字能描述行为的一部分,但不会自动告诉你原因,更不会替你判断体验是否值得追求。

从体验目标到信号、事件、口径、保护指标和行动查看原尺寸 ↗

先目标,再信号,最后才是指标​

目标是“新玩家理解规则并完成第一次消除”。信号可能是独立完成、无效选择、求助与退出。埋点只能记录其中可检测的行为,“是否理解”还需要观察。

Google 的 HEART 研究提供了以用户为中心组织测量,以及把目标映射为指标的思路。本章将其用于小游戏教学,不要求每个项目机械收集全部维度。

把一个指标写完整​

名称:首个有效匹配完成率。
对象:首次进入本作且棋盘达到可交互状态的会话。
分子:在本次会话指定窗口内完成首次有效匹配的去重会话数。
分母:符合上述条件的去重会话数。
排除:开发测试账号、重复上报,以及明确无效数据。
版本:记录客户端版本、引导方案与关键规则版本。
限制:完成匹配不等于一定理解目标,不等于喜欢这款游戏。

时间窗、会话边界与新玩家识别必须先定义。否则你把旧玩家也算进去,或者方案 A 从加载前计时、方案 B 从可操作时计时,比较就会失真。

事件字段要服务于问题​

事件作用可考虑的非身份字段
board_ready确认可以开始交互会话、关卡、版本
match_attempt定位规则误解或误触是否有效、无效原因类别
first_match观察首次操作完成与就绪的间隔、方案版本
round_result观察结束与下一步成功或失败、进度差距
restore_result检查恢复可靠性热或冷、结果、失败类别

按目的收集必要字段,避免把完整聊天、个人资料或不相关输入写入日志。事件名和字段也需要版本与去重策略。

漏斗只是线索​

假设有一组虚构教学数据:100 个符合条件的会话到达可交互棋盘,80 个尝试操作,64 个完成首次匹配。总体完成率是 64/100;尝试后的完成率是 64/80。两个数字回答不同问题。

掉在“棋盘就绪到尝试”之间,可能是目标不清、入口遮挡或玩家被打断;掉在“尝试到有效匹配”之间,可能是规则误解、触控错误或数据上报缺失。要结合观察与日志定位,不能直接断言需要加奖励。

回访与 A/B 实验要更谨慎​

“次日回访”需要明确日期时区、入组条件、去重方式,以及指自然日还是 24 小时窗口。不同口径不能直接比较。

要判断方案造成了变化,需要处理随机分组、分组稳定、样本量、观测周期、多指标和外部干扰。流量很少时,先做可解释的质性观察、排查明显故障,通常比对几个玩家计算百分比更有行动价值。

主指标之外,也检查误触、退出、崩溃、资源异常和玩家抱怨。一个更容易被误点的广告入口,可能提高点击,却损伤信任。

给 AI 的要求与练习​

请为“新玩家能独立完成第一次消除”设计最小测量方案。
每项写目标、信号、事件、分子分母、时间窗、去重和局限。
不要把相关性写成因果;没有样本设计时不要宣称统计显著。
至少提供一个会推翻当前解释的替代原因。

动手:为你正在关心的一个指标写完整口径,再写出它无法回答的两个问题。把这些问题带回试玩测试。