1:确定评测方案。
–1.1:和技术产品讨论评测方案,当无法沟通一致时产品确认方案
–1.2:评测人员提前2天发送评测方案
–1.3:指定相应的开发或者产品确认评测方案
从这写句子中可以看出评测方案在评测过程中主要起了指向与确认的功能,但是仅从这里我们还是不大清楚评测方案该包含哪些内容以及如何撰写,这里就和大家分享下淘宝主搜评测方案的撰写方法。
[一般评测方案包含哪些内容]
目前淘宝主搜的评测方案中主要包含了以下这些内容:
1、 评测目的
2、 评测指标&数据统计
3、 评测数据取样
4、 评测工具
5、 评测打分维度
6、 评测规范
7、 评测时间
[如何得出评测方案内容]
在每一次新的评测任务前,需要做试水工作。
随机提取一批试水数据(这批数据必须与该项目正式评测数据算法相同,涵盖面尽量广泛)进行试标注。数据量可以不用太多,标注2-3个小时即可。数据标注过程中进行时间的计算,如标注一个小时可以标注多少条,用于计算评测时间。试水标注完成后对试水数据进行分析,整理评测维度、打分规范等,由此产出评测方案的内容。
[评测方案内容详解]
l 评测目的
评测目的简单来说就是我们为什么要做这一次的评测项目。
在每一次评测前,评测人员都需要和产品经理、算法技术两方进行沟通,了解产品经理设计这个产品的思路,技术实现这个产品时的算法逻辑,以及我们需要通过这一次评测想到达到怎么样的效果,是发现问题还是得出算法的准确率,最后确定是否需要进行这一次评测。若确定需要评测则进行到下一步,若觉得评测的结果无明显指导意义则马上终止。
如在主图颜色识别这个项目上,产品经理设计的时候是希望能够给用户增加直观颜色筛选的功能,技术通过对主体识别、颜色识别来提取出主色,两方希望得到的结果存在差异,因此既要查看算法颜色识别的准确性,杂图识别的准确性,又要判断用户通过颜色筛选达到的感官体验满意度。
l 评测指标&数据统计
在明确了评测目的后,我们需要与产品经理确定评测指标,需要统计的有哪些方面以及如何统计,同时在这里也可以明确上线的指标,给后续的评测报告做准备。
评测指标&数据统计根据具体项目会存在差异,具体可参考博客中关于评测指标与数据统计的文章,在此就不做详解了。