设计有价值的评测指标和体系，需要产品构建者对自己所设计的产品在什么时候算成功，什么时候算失败有深刻的认知。

一、具体任务指标（说明产品能不能用）

应用或系统能否成功完成定义给它们的具体任务，完成情况如何，是一切的基础。在设计这一层的指标时，首先需要定义任务性质。

可以问自己一个问题：你构建的产品输出的结果是否存在正确答案？根据回答的：是/否，我们可以将任务分为两大类，并匹配不同的任务指标。

存在正确答案

这类任务的特点是存在相对客观、可验证的“正确答案”。对于这类任务，可以直接借用传统机器学习的经典指标：

不存在唯一正确答案

这类任务的特点是没有唯一的“标准答案”，输出的好坏是多维度、且常带有主观性的。例如写小说、市场营销文案、进行开放式对话等。

对于这类任务，无法直接使用精确率/召回率这类指标，必须采用一套多维度、定性与定量结合的指标：

二、用户/业务指标（决定产品有没有价值）

直接衡量应用带来的最终效果，这些指标是向管理层和业务部门证明 AI 应用价值的关键。

根据自己的产品定位选择合适的业务指标，一些典型的指标如下：

1）用户满意度

如何衡量：

• 宏观：净推荐值(NPS)、客户满意度评分(CSAT)。
• 微观：每次回答后的点击“顶/踩”。

2）答案采纳率含义：这是衡量模型输出是否真正有用的黄金指标。

比如：

• AI代码助手：开发者接受代码建议的比例。
• AI营销文案：运营人员将生成文案直接复制或下载的比例。
• AI客服：用户在得到答案后，没有继续追问或转人工的比例。

3）效率提升

如何衡量：

• 任务平均完成时长：例如，使用AI应用前后，解决一个客户问题工单的平均时长。
• 任务吞吐量：例如，使用AI应用前后，业务人员一天能审核的材料数量。

4）成本降低

如何衡量：

• 人工成本，因AI而减少的人力成本。
• 采购成本，因AI应用而减少的系统采购支出。

三、北极星指标

根据产品所处的不同阶段，不断定位当前的北极星指标。

北极星指标不是一成不变的，产品的不同生命周期，确实需要不同的指标来牵引，它的作用是让整个团队在特定阶段聚焦于最重要的事情。

阶段一：探索期 / MVP

目标：验证核心功能是否可行，用户是否愿意用。

可能的北极星指标：答案采纳率或任务成功率。

解读：在这个阶段，最关心的是“这个东西到底有没有用？”。只要用户愿意采纳 AI 的建议，就证明了核心价值。

阶段二：成长期 / 优化期

目标：提升用户体验，扩大用户规模，形成用户粘性。

可能的北极星指标：用户满意度或日活/周活跃用户数。

解读：核心功能已验证，现在需要提升用户体验，让用户愿意持续使用并推荐给他人。

阶段三：成熟期

目标：最大化产品价值，提升运营效率。

可能的北极星指标：业务效率提升的具体数值 (如：人均任务处理量)或付费用户转化率。

解读：产品已经成熟，重点转向它如何为公司实实在在地“降本增效”或“创造收入”。

本文由 @Mrs.Data 原创发布于人人都是产品经理。未经作者许可，禁止转载

题图来自Unsplash，基于CC0协议

该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务