您现在的位置是:主页 > 运营 > 数据分析 >

你的“土著思维”,正在抹杀评估的科学性

2020-09-17 17:43数据分析 人已围观

简介企业在数据驱动分析过程中,不要做土著,警惕看似正确的事情,坚持科学思维,随时准备被现实打脸,勇于承认我错了。 在二战期间,美军在南太平洋的一个小岛上造了一座空军基地...

  企业在数据驱动分析过程中,不要做土著,警惕看似正确的事情,坚持科学思维,随时准备被现实打脸,勇于承认“我错了”。

  在二战期间,美军在南太平洋的一个小岛上造了一座空军基地,当地土著从没见过这种高科技,只知道有很多只“大鸟”飞过天空,并空投玉米等粮食。战争结束后,飞机随着军队的离开被遗弃了。因为土著们再也没有见到空投的货物,为吸引“大鸟”回来,他们就按照族群里的先知所理解的,用木头、树叶搭了一个假机场,甚至做了高塔、木头对讲机等,即使机场拟真度很高,但大鸟并没有回来……

  数据驱动大行其道,在数据驱动的践行道路上,许多公司也像土著群体一样,跟着牛X公司学习。为此构建了复杂的数据系统、五花八门的指标、成百上千的自动报表。千方百计地朝着看似十分“正确”的事,却始终无法“吸引大鸟”——实现数据驱动。

  在践行数据驱动的过程中,应进行反思,如“定义指标有指导意义吗?”、“报表有人看吗?他们是如何使数据的?”等等。在实现数据驱动的过程中,一切数据分析莫忘目标是“吸引‘大鸟’,要粮食”。企业在追求“粮食”的过程中,“评估”是重要工作,是数据驱动的聚焦点。

  什么是评估?简言之,做了什么,结果如何?详细地说,即针对业务的每个假设和决策,给予高效、客观、全面的数据反馈,从而实现数据驱动。科学评估分为选定指标、方案实施、归因分析三个步骤,数据分析师要了解每个步骤的产出物是什么。

  土著思维在企业数据分析比比皆是。下面重点对比下土著思维与科学思维在选定指标、归因分析中的差异。

  这是一个典型的土著思维下的指标选定:我们简化了注册流程,因此增加了注册转化率;我们增加列表页入口,因此提升了列表详情页的访问量……随着产品的不断优化与迭代,如此不停地进行评估。

  然而,每次产品迭代选择的指标都是不一致的,换句话,我们一直在讨论树枝搭建地多么像一座“机场”,然而并没有讨论‘粮食’这一核心问题?因此,这并不科学。

  只有保证指标的一致性,才能知道“粮食在哪”。如何选择一致性的指标?按照客户的选购流程的漏斗,不妨将指标直接设定为漏斗的最底端,每次评估都拿这个指标来衡量。

  如图所见,我们后来将一致性指标定为了“周支付人数”,同时将优化行为对增长效果进行分级,未增长是0级,若实现2位数的增长即“二级”,若实现3位数的增长即“三级”……如此,一个季度下来,企业就能够科学评估增长的程度。

  2017年2月,杏树林进行了一场糖尿病患者招募,患者可以免费用药。在这个活动中,杏树林重要用户群——医生可以推荐患者,即填写推荐表格,杏树林核实患者入组后,将医生奖励金打到医生病历夹账户。

  土著思维式是这样的:单纯认为医生录入患者信息是很麻烦的事儿,所以要尽力减少医生的工作量。为了方便医生录入,运营人员对此做了改进。经过改进后,招募人数果然变多。因此产品同学认为,之前的假设与优化都是正确的。

  科学思维下的归因分析则有显著不同:通过对医生转化全流程(列表页→详情页→录入患者)的精细化分析,我们发现:

  那么,为什么录入率并未改变,招募患者的数量变多了呢?经过深入了解,原来是前端的同学对列表页UI进行了优化,我们可以判定,之前分析逻辑并不成立——医生录入麻烦并不会影响招募患者人数(经过一系列优化后,医生录入率未发生改变,且由于医生录入患者信息会有一定的折扣,这对医生也有一定吸引力),而极可能是因为医生身边没有合适的患者。因此,我们下一步引导医生在线转发给患者。

  进行科学评估,要有“预期”和“结果”、“局部指标”和“整体指标”、“离散”和“连续”的对比,这是产品进行评估的三原则,而不是笼统的说“我们本季度要完成30份分析报告,要分析各种维度,要对业务有价值。”下面通过举例来解释这三项原则。

  土著思维下是这样的:团队没有任何预期,单纯认为“不同科室不同医生所记录的内容有一定差异”。产品优化后,的确留存率会变高。

  科学思维是这样的:上线前,新模板以提升医生体验为目标,预计留存率会3%-5%的涨幅。上线后,留存率的确涨了,通过进一步观察发现,只是老用户变了,而新用户未变。因此,下一步重点进行新用户引导。

  总之,一定要事先有预期。在杏树林内部,为了促进大家对每次优化与改进都有所预期,举办了“数据猜猜猜”的活动——每次产品在线之前,公司内部都会进行大规模的竞猜,产品和运营等团队都参与进来,现在各团队对产品上线的最终效果都充满期待。

  土著思维将聚焦点放在产品功能点的改进所带来增长上;科学的数据评估,不应局限于单一的结果指标,避免一叶障目,紧盯关键目标,以此为核心衡量你的工作是否有效。

  许多企业有大量的评估报告,目标零散的评估报告是数据分析的大忌,每一份分析报告都应该指向企业发展当前阶段最关键指标,具有一定连续性、统一性的数据分析报告,才能具有可比性,才能为企业提供指导作用。

  埋点方案设计要与产品设计同步。避免上线后再谈需求、重新埋点造成效率低下;要防止过度设计,也要防止遗漏。回归测试保障历史埋点——有些企业没有回归测试能力,杏树林通过定期监控神策分析的“埋点管理”解决了这一问题。

  每一家企业根据业务不同、发展阶段不同,构建的指标工具箱应该有所差异,这点非常重要。关于指标的选择,有两点说明:

  杏树林将市面上所有的数据分析产品经过了比较与测试,神策数据被证明是实时性最强的,杏树林在产品上线前,就根据数据指标提前设好看板(数据概览),上线秒即可获得全面的反馈,时时提醒你“飞机来了吗,粮食来了吗?”评估效率非常高。

  Facebook广告系统做的非常赞,与国内的许多平台的不同之处在于,他要先了解企业的“目的是什么”——“你的飞机是什么”,Facebook会根据不同目标设定不同指标与不同方案。Facebook广告系统具有实时、全面评估的效果,甚至在投放广告三四个小时内,企业能够进行20次~30次优化,将投资回报率达到最高。

  Facebook对内的增长平台能够方便、快捷的科学实验,同时在线个版本进行测试,大约每个月一万次实验,正如Facebook创始人兼首席执行官马克·扎克伯格(Mark Elliot Zuckerberg)说:“把运营公司当作一场科学实验。”

  综上所述,企业在数据驱动分析过程中,不要做土著,警惕看似正确的事情,坚持科学思维,随时准备被现实打脸,勇于承认“我错了”。

  本文根据杏树林医疗负责人孙文亮的“数据分析如何应用于产品和业务流程的优化”在北京沙龙主题演讲整理。

  人人都是产品经理(是以产品经理、运营为核心的学习、交流、分享平台,集媒体、培训、社群为一体,全方位服务产品人和运营人,成立9年举办在线+期,线+场,产品经理大会、运营大会20+场,覆盖北上广深杭成都等15个城市,在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监,他们在这里与你一起成长。


你的“土著思维”,正在抹杀评估的科学性

Tags: 运营 

标签云

站点信息

  • 文章统计13332篇文章
  • 标签管理标签云
  • 微信公众号:扫描二维码,关注我们