支付宝高级分析大师的深度好文-数据分析从入门到大师

浏览: 10695

2015.8.16 宿痕

大家好,很荣幸今天有机会能和大家介绍下数据分析这块的知识,我本人作为数据这块的从业者已经做了很多年,可以和大家分享分享数据分析到底是什么,数据分析到底做什么,以及为什么企业需要数据分析,数据分析人才到底是什么样。作为数据分析新人,我们需要学习哪些东西。


我当年和在进入数据分析这块行业的时候也是和很多刚进入这块的同学一样,一样的迷茫,一样的不知道该学习什么,一样的不知道为什么需要有什么样的职业规划。刚开始选择了在国内的一家一线品牌的电商公司,具体工作是做网站分析师。

所谓的网站分析师,就是要对电商网站的各种常规指标进行监控,需要对异常的数据能够解释清楚现象和原因,到底是因为什么导致流量的波动、还是因为网站埋点出现了问题。以及像网站推广的不同渠道的优劣情况,访问、点击、ROI等进行分析,而像如果公司需要做一些大型的活动时,还需要能够对不同专题活动的效果进行分析,能够知道哪些内容是用户感兴趣点击的。


当时也没有人听说什么是大数据,而像数据分析,数据挖掘还都停留在亚马逊神奇的推荐算法和60万招一个算法工程师的故事上。而当时我们数据这块行业,大部分人戏称的BI,好听点叫商业智能,都是在做关于数据仓库的底层搭建和OLAP、OLTP这样的报表上。

也正是因为从最底层的数据开始做起,才让我明白了整个数据的全貌或者说数据整个生态链都有哪些。可能有同学会说,我是学统计的,对太技术类的不感兴趣。其实不然,就像我们去读历史一样,作为数据分析师本身就需要有那种追本溯源的精神,当你了解到数据都是怎么产生和存储的之后,你就会知道为什么我的数据量会这么少,为什么数据处理环节出现了异常,为什么公司没有把所有的数据都存储起来。

好了,我们就聊聊今天的话题:

数据分析师该怎么入门,从一个初级的数据分析师变身为数据分析专家、数据分析大师?

我们先来看一下某著名互联网公司,对不同级别的数据分析师的要求是什么样。


      图(一)数据分析师的不同级别要求

这图一可以看出,在成长为数据分析专家之前,更多的是需要能够在问题识别、分析规划、数据获取、展现演示、价值应用、执行和管理能力、以及影响力上有不同层次的要求。

作为一个刚入门的数据分析师,需要能够把在数据分析的基础技能上夯实:

  1. 掌握基本的数据分析知识(比如统计,概率,数据挖掘基础理论,运筹学等)

  2. 掌握基本的数据分析软件(比如,VBA,Matlab,Spss,Sql等等)

  3. 掌握基本的商业经济常识(比如宏微观经济学,营销理论,投资基础知识,战略与风险管理等等)

这些基础知识,在学校里尽量的学习,而且我来到了一些商学院,这样我可以在商业分析、经济分析上面领悟到一些东西,增强我的数据分析能力。

在这里,我给大家推荐几本书,《统计学》《图表之道》《谁说菜鸟不会数据分析》。另外课后我会把之前整理过的知识点发给大家。

而对于已经在数据分析岗摸爬滚打1年多后,怎么该去晋级,在数据分析这块领域做的更加深入,我们称之为合格的数据分析师。

这时候就不只是掌握基本的统计知识或工具应用,需要能够独立完成一项完整的数据分析工作,能够通过数据准确定位业务上的问题,能够独立完成一份完整的数据分析报告,能够尝试将自己的分析结果讲给被人听,被别人接受和采纳。

而怎么才能做到这几点呢?

1.学习怎么写报告

首先,要有一个好的框架,跟盖房子一样,好的分析肯定是有基础有层次,有基础坚实,并且层次明了才能让阅读者一目了然,架构清晰、主次分明才能让别人容易读懂,这样才让人有读下去的欲望;

第二,每个分析都有结论,而且结论一定要明确,如果没有明确的结论那分析就不叫分析了,也失去了他本身的意义,因为你本来就是要去寻找或者印证一个结论才会去做分析的,所以千万不要忘本舍果;

第三,分析结论不要太多要精,如果可以的话一个分析一个最重要的结论就好了,很多时候分析就是发现问题,如果一个一个分析能发现一个重大问题,就达到目的了,不要事事求多,宁要仙桃一口,不要烂杏一筐,精简的结论也容易让阅者接受,减少重要阅者(通常是事务繁多的领导,没有太多时间看那么多)的阅读心理门 槛,如果别人看到问题太多,结论太繁,不读下去,一百个结论也等于0;

第四、分析结论一定要基于紧密严禁的数据分析推导过程,不要有猜测性的结论,太主观的东西会没有说服力,如果一个结论连你自己都没有肯定的把握就不要拿出来误导别人了;

第五,好的分析要有很强的可读性,这里是指易读度,每个人都有自己的阅读习惯和思维方式,写东西你总会按照自己的思维逻辑来写,你自己觉得很明白,那是因为整个分析过程是你做的,别人不一定如此了解,要知道阅者往往只会花10分钟以内的时间来阅读,所以要考虑你的分析阅读者是谁?他们最关心什么?你必须站在读者的角度去写分析邮件;

第六,数据分析报告尽量图表化,这其实是第四点的补充,用图表代替大量堆砌的数字会有助于人们更形象更直观地看清楚问题和结论,当然,图表也不要太多,过多的图表一样会让人无所适从;

第七、好的分析报告一定要有逻辑性,通常要遵照:1、发现问题--2、总结问题原因--3、解决问题,这样一个流程,逻辑性强的分析报告也容易让人接受;

第八、好的分析一定是出自于了解产品的基础上的,做数据分析的产品经理本身一定要非常了解你所分析的产品的,如果你连分析的对象基本特性都不了解,分析出来的结论肯定是空中楼阁了,无根之木如何叫人信服?!

第九、好的分析一定要基于可靠的数据源,其实很多时候收集数据会占据更多的时间,包括规划定义数据、协调数据上报、让开发人员 提取正确的数据或者建立良好的数据体系平台,最后才在收集的正确数据基础上做分析,既然一切都是为了找到正确的结论,那么就要保证收集到的数据的正确性,否则一切都将变成为了误导别人的努力;

第十、好的分析报告一定要有解决方案和建议方案,你既然很努力地去了解了产品并在了解的基础上做了深入的分析,那么这个过程就决定了你可能比别人都更清楚第发现了问题及问题产生的原因,那么在这个基础之上基于你的知识和了解,做出的建议和结论想必也会更有意义,而且你的老板也肯定不希望你只是个会发现问题 的人,请你的那份工资更多的是为了让你解决问题的;

十一、不要害怕或回避“不良结论”,分析就是为了发现问题,并为解决问题提供决策依据的,发现产品问题也是你的价值所在,相信你的老板请你来,不是光让你来唱赞歌的,他要的也不是一个粉饰太平的工具,发现产品问题,在产品缺陷和问题造成重大失误前解决它就是你的分析的价值所在了;

十二、不要创造太多难懂的名词,如果你的老板在看你的分析花10分钟要叫你三次过去来解释名词,那么你写出来的价值又在哪里呢,还不如你直接过去说算了,当然如果无可避免地要写一些名词,最好要有让人易懂的“名词解释”;

十三、最后,要感谢那些为你的这份分析报告付出努力做出贡献的人,包括那些为你上报或提取数据的人,那些为产品作出支 持和帮助的人(如果分析的是你自己负责的产品),肯定和尊重伙伴们的工作才会赢得更多的支持和帮助,而且我想你也不是只做一锤子买卖,懂得感谢和分享成果的人才能成为一个有素养和受人尊敬的产品经理。

2.学习怎么以业务的眼光看待问题

第一层:知其然

我们可以通过建立数据监控体系,掌握发生了什么、程度如何,做到“知其然”。

具体来说,切入数据的角度主要有这几个方面。首先是“观天”,观察行业整体趋势、政策环境影响;再是“知地”,了解竞争对手的表现;最后是“自省”,自身做得怎么样了,自己的数据表现怎么样。从看数据的周期上来讲,“观天”可以是季度性或者更长的周期;“知地”按周或者月,特殊时间点、特殊事件情况下除外;“自省”类的数据拿到的是最全面的,需要天天看,专门有人看,有人研究。

在这一层上,分享两个看数据的观点:

1.数据是散的,看数据需要有框架。

怎么看数据很有讲究。零碎的数据很难发挥出真正的价值,把数据放到一个有效的框架里,才能发挥整体价值。所谓有效的框架至少包含两重作用:

(1)数据很多,不同人对数据需求不一样,如CEO、中层管理者、底层员工关注的数据通常是不一样的,有效的框架能够让不同的人各取所需。

(2)有效的框架能够快速地定位问题所在。举个例子,交易量指标大家都关心,如果某一天交易量指标掉了20%,那么,业务很大可能下是出了问题,但问题到底出在哪儿呢?如果只有几个高度抽象的指标,如转化率、成交人数、客单价等,是定位不到问题的。好的框架能够支持我们往下钻,从品类、流量渠道等找到问题所在,板子也就能打到具体的负责人身上了。这也是我们通常所说的,看数据要落地。

2.数据,有比较才有真相。

我有120斤,你说是重还是轻呢?一个孤零零的数据是很难说明问题的。判断某个指标增长快慢,需要选择正确的比较对象、参考系,也就是基准线。这个基准线可以是一个预先设定的目标,可以是同行业平均水平,也可以是历史的同期数据。

第二层:知其所以然

通过数据看到了问题,走到这一步还不够。数据只是表象,是用来发现、描述问题的,实操中解决问题更重要。数据结合业务,找到数据表象背后的真正原因,解决之。解决问题的过程就会涉及数据、数据加工,还可能会涉及数据模型之类的方法或者是工具,这里面技术含量比较高,另作篇幅介绍,这里不展开了。

在第二层里也有两点分享:

1.数据是客观的,但对数据的解读则可能带有很强的主观意识。

数据本身是客观的,但消费数据的是有主观能动性的人。大家往往在解读数据的时候带入主观因素:同样一个数据在A看来结论可能是好的,从B看来可能却得出截然相反的结果。不是说出现这样的情况不好,真理越辩越明。但假如不是通过数据找问题,而是先对问题定性,然后有选择地利用数据证明自己的观点,这种做法就不可取了。可事实上,我们的身边经常发生这样的事情。

2.懂业务才能真正懂数据。

车品觉老师的博文《不懂商业就别谈数据》对这个观点作了深刻阐述,这里不展开讲了。只是由于本观点的重要性,笔者特意拿出来做一下强调。

第三层:发现机会

利用数据可以帮助业务发现机会。举个例子:淘宝上有中老年服装细分市场,有大码女装市场,这些市场可以通过对周边环境的感知,了解到我们身边有一些中老年人或者胖MM在淘宝上面没有得到需求的满足。那么还有没有其他的渠道找到更多的细分市场呢?

数据可以!

通过用户搜索的关键词与实际成交的数据比较,发现有很多需求并没有被很好地满足,反映出需求旺盛,但供给不足。假如发现了这样的细分市场,公布出来给行业小二,公布出来给卖家,是不是可以帮助大家更好地去服务消费者呢?这个例子就是现在我们在做的“潜力细分市场发现”项目。

讲这个案例,不是想吹牛数据有多厉害,而是想告诉大家:数据就在那里,有些人熟视无睹,但有些人却可以从中挖出“宝贝”来。差异是什么呢?商业感觉。刚刚提到的搜索数据、成交数据很多人都能够看到,但以前没有人把这两份数据联系在一起看,这背后体现出的就是商业感觉。

第四层:建立数据化运营体系

我理解的数据化运营,包含了两重意思:数据作为间接生产力和直接生产力。

1.数据作为间接生产力。

所谓间接生产力,是指数据工作者将数据价值通过运营传递给消费者,即通常所说的决策支持,数据工作者产出报表、分析报告等供各级业务决策者参考。我称之为决策支持1.0模式。然而随着业务开拓和业务人员对数据重要性理解的增强,对数据的需求会如雨后春笋般冒出来,显然单单依赖人数不多的分析师是满足不了的。授人以鱼不如授人以渔,让运营、产品的同学都能够进行数据分析,是我脑子中的决策支持2.0模式。

决策支持2.0模式有三个关键词:产品、能力、意愿。

让运营和PD掌握SQL这类取数语言,掌握SAS、SPSS这类分析工作,显得不大现实和必要。提供低门槛、用户体验良好的数据产品是实现决策支持2.0模式的基础。这里讲的产品,不仅仅是操作功能集,还需要承载分析思路和实际案例。

但是,数据分析的门槛始终是存在的。这就对运营和PD提出了新的基本能力要求,即基础的数学能力、逻辑思考能力和学习能力。

最后一个意愿,也许是最关键的,只有内心有强烈的驱动,想做好这件事情的时候,才有可能做好。

2.数据作为直接生产力。

所谓直接生产力,是指数据工作者将数据价值直接通过前台产品作用于消费者。时髦点讲,叫数据变现。随着大数据时代的到来,公司管理层越来越重视这一点。大数据时代带来了大的机会,但也可能是大灾难。如果不能利用数据产生价值,那么,它就是一个灾难——产生的数据越多,存储的空间、浪费的资源就越多。

现在比较好理解的一个应用就是关联推荐, 你买了一个商品之后,给你推荐一个最有可能再买的商品。个性化是数据作为直接生产力的新浪潮,这个浪潮已经越来越近。数据工作者们,做好迎接的准备吧。

3.怎么在数据分析技能上加强

基本技术怎么强调都不过分。这里的术更多是(计算机、统计知识),多年做数据分析、数据挖掘的经历来看、以及业界朋友的交流来看,这点大家深有感触的。
数据库查询—SQL
数据分析师在计算机的层面的技能要求较低,主要是会SQL,因为这里解决一个数据提取的问题。有机会可以去逛逛一些专业的数据论坛,学习一些SQL技巧、新的函数,对你工作效率的提高是很有帮助的。
统计知识与数据挖掘
你要掌握基础的、成熟的数据建模方法、数据挖掘方法。例如:多元统计:回归分析、因子分析、离散等,数据挖掘中的:决策树、聚类、关联规则、神经网络等。但是还是应该关注一些博客、论坛中大家对于最新方法的介绍,或者是对老方法的新运用,不断更新自己知识,才能跟上时代,也许你工作中根本不会用到,但是未来呢?
行业知识
如果数据不结合具体的行业、业务知识,数据就是一堆数字,不代表任何东西。是冷冰冰,是不会产生任何价值的,数据驱动营销、提高科学决策一切都是空的。
一名数据分析师,一定要对所在行业知识、业务知识有深入的了解。例如:看到某个数据,你首先必须要知道,这个数据的统计口径是什么?是如何取出来的?这个数据在这个行业,在相应的业务是在哪个环节是产生的?数值的代表业务发生了什么(背景是什么)?对于A部门来说,本月新会员有10万,10万好还是不好呢?

当你掌握好前面的基本知识和一些技巧性东西的时候,你应该在业务、行业、商业知识的学习与积累上了。

这个放在最后,不是不重要,而且非常重要,如果前面三点是决定你能否进入这个行业,那么这则是你进入这个行业后,能否成功的最根本的因素。数据与具体行业知识的关系,比作池塘中鱼与水的关系一点都不过分,数据(鱼)离开了行业、业务背景(水)是死的,是不可能是“活”。而没有“鱼”的水,更像是“死”水,你去根本不知道看什么(方向在哪)。

建议大家第一份工作,预计3-5年。选择咨询公司或者IT公司吧,主要是做数据分析这块比较强的公司,比如Fico,埃森哲,高沃,瑞尼尔,IBM,AC、国内BAT等等。通过第一份工作去把自己的知识打得扎实些,学会在实际中应用所学,学会数据分析的流程方法,让自己成长起来。

而对于自己今后该怎么发展,该怎么成长为数据分析大师,去自己喜欢的一个行业,深入了解这个行业,并讲数据分析应用到这个行业里。比如我可以去电子商务做数据分析师。我觉得我选择电子商务,是因为未来必将是互联网的时代,电子商务必将取代传统商务,最显著的现象就是传统零售商老大沃尔玛正在受到亚马逊的挑战。此外,电子商务比传统的零售商具有更好的数据收集和管理能力,可以更好的跟踪用户、挖掘潜在用户、挖掘潜在商品。

今天就先讲到这里,非常感谢大家今天能参加本次的分享。有什么问题都可以来和老师交流。

我们一起学习进步。

--未完待续

2015.8.17

宿痕 亲笔

本文未经允许,不得转载


推荐 8
本文由 hl_zhang0912 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

7 个评论

感谢分享,好文,点赞,希望以后多出点类似的文章,也希望学院更新这方面的课程。
实实在在的好文章,感谢分享。
感谢分享,想学好数据分析未来的路还很漫长啊
学习了,楼主辛苦啦,感谢分享!!!
感谢牛人分享,赞一个!!!
感谢分享,赞个
写的真好,走在迷茫道路上的人表示真心感谢!

要回复文章请先登录注册