百元问答第1期：大数据时代下，商业智能从业人员（BIer）光明之路在何方？
2
天善智能·百元问答 活动 第1期
活动规则请见 ：天善智能·问答社区 百元问答 活动上线&规则
大数据时代下，商业智能从业人员（BIer）光明之路在何方？
1、商业智能从业者们，尤其是老兵们，在大数据时代，进阶或者转型之路，有哪些方向，思路，或者值得探讨的地方呢？
2、具体岗位，譬如ETL、建模、架构、BA这些，又有些什么好的转型思路和建议、心得呢？
活动规则请见 ：天善智能·问答社区 百元问答 活动上线&规则
大数据时代下，商业智能从业人员（BIer）光明之路在何方？
1、商业智能从业者们，尤其是老兵们，在大数据时代，进阶或者转型之路，有哪些方向，思路，或者值得探讨的地方呢？
2、具体岗位，譬如ETL、建模、架构、BA这些，又有些什么好的转型思路和建议、心得呢？
没有找到相关结果
重要提示：提问者不能发表回复，可以通过评论与回答者沟通，沟通后可以通过编辑功能完善问题描述，以便后续其他人能够更容易理解问题.
11 个回复
whbjob 2017-04-01 回答
赞同来自: andrea_zhou 、randolph_huangjiayi 、GeorgeYao 、陈老师 、maya16 、seng 、崔斯特呀 、爬天梯的神 、arnelx 、梁勇 、~ 、026君 、101python 、闪亮的杀猪刀 、写作业 、BIWORK 、小耳朵 、秋到尽头更多 »
在传统的工作模式下，即便是ETL也会有不同的分工。Stage/ODS/Mart/DW多层次设计，多维数据建模，可以说完整地分工下来，没有哪个团队按照38个子系统来全面进行。
新的时代已经到来，HADOOP模式下，很多案例粗暴地将所有层次和子系统混杂。用集群的计算能力替代架构设计及分工的作用，这种模式失败的案例居多，但始终是大势所趋。
在这种环境下，传统BI领域的从业者何去何从？
我先简单自我介绍下。十二年正式工作经验，从数据库到数据仓库，从业务到技术，从开发到管理都做过。尽管对于现在大数据相关的技术也有涉猎，但我更加符合一个传统BI从业者的角色。
新的技术浪潮来临，我们会受到冲击吗？
这是毫无疑问的。现在很多案例采用HADOOP架构，不再细致分成，那么以往数据库角色/ETL/存储计算等分工的同学，根本没有条件加入到这种技术选型的团队中。
如果开源大趋势在五年之内成形，这些人现在的工作能力会丧失大部分价值。
直接的体现就是传统架构的团队越来越少，机会越来越难找。新式架构的团队无法进入其中。简而言之，就是饭碗会出现问题。
这么严峻的问题，我给出第一条个人建议：不要给自己设限。
传统数据仓库从业人员，并非ETL工程师，并非建模人员，并非单纯的业务专家。如果已经看出开源是大趋势，就立刻拥抱开源。立即学习、立即尝试、立即应用。需要你做HADOOP就去学习做，需要你用SPARK就立即尝试，需要使用机器学习库就立马行动起来。
在这个崭新的大数据领域，及时的转型，可以拥有强大的优势。
别人不考虑数据体系架构的层次，但你们可以考虑到。预先知道哪里有坑，预先知道项目和业务的紧密结。转型是新人没错，但同为新人，你们的优势体现出来了。
有人担心HADOOP没用过，文档多，主要是英文资料阅读有障碍。没错，不同的技术架构需要改变以前的结构，我遇到很多人不熟悉shell，所以掌握fs shell不容易。有人不熟悉开发语言，所以开发MAP/REDUCE困难。有人英文功底不足，所以阅读很多资料困难。
似乎到处都是困难，没有办法克服是吗？
我们应该回顾下十年前做开始做数据仓库时的局面，真比现在简单吗？
数据仓库的架构没有成形，组件式的ETL遭遇数据量大的问题，莫名其妙的字符集问题，服务器硬件资源极度欠缺的挑战，网络速度极慢还得分电信网通！
这些问题克服的过程中，不需要查询英文资料吗？是不是几乎找不到已有的成功案例参考？是不是也会涉及到不同的开发语言来编写脚本？
现在这些困难，十年前明明已经经历过了！
不同的是现在信息更加发达，大家对压力的反馈有些不一样了。
以前是从业新人，遇到问题就去学习解决，执行力一等一。
现在起码也是个小中层，动口的时间比动手还多，到处听到处说，执行能力反而下滑了。
所以针对这第一条建议，不要给自己定位成某一个角色。即便是和我这样编程能力一般的人，也可以全方位地掌握数据相关能力。这么做，一定会是项目负责人角色，即使是新的技术环境也一样。
第二条建议，重新梳理自己的学习方法。
我们这个年代的人很特别，极有可能成为第一批普遍超过一百岁的人，工作到八十岁，我觉得也不奇怪。
将来还有七十年左右的时间，现在这些大数据的技术，我们是第一批站在这个技术风口上的人。现在学习起来，具备无以伦比的先手优势。
我接触到不少新人，一年前说想学某一块知识，一年后还是想学这块知识。
扯淡。想学的人早都学会转型成功了，动嘴的人一年到头没见行动。看了几本书？翻了多少文档，写了多少笔记，尝试了多少项目？
学习是什么？如果不把这个问题理顺，再过几年就看到很多人不需要转型了。因为机会完全被自己放弃。
一年时间，大数据的任何一个细分领域，作为成年人都有条件从入门者变成中等以上的实践者。其中值得一提的，无非是如何获取高质量的资料。
现在的主流信息是各种电子档，各种视频，各种培训。我比较推崇官方手册，任何计算机相关的资料都是一样的，哪怕只有英文资料。
能把官方手册读完的人，水平差不了。一个领域的应用即便遇到极大的挑战问题，官方手册也是最有资格指明方向的资料。
对于第二条建议，我想说的就是多看资料，详细地看，一遍又一遍地看。多整理笔记，持续不断地整理，大家普遍还有七十年的时间，学习哪个方向时间都是够的。
第三条建议，人以群分。
勤奋的人每天都在努力，懒惰的人一年重复一年。
我感觉现在的社会信息爆炸，有一个很大的作用就是快速给人们划分了层次。
到实际层面来看，就是圈子。越是高端的圈子，越难进入。现在的社会资源，越来越重视知识能力。所以持续学习，是提升圈子品质的一个重要通道。
我接触到很多学霸，他们每天看书学习比其他人时间要长得多。这方面我推崇复旦的思想：“自由而无用的灵魂”，你可以学习没什么商业价值的方向，但不能放弃追求灵魂自由的努力。
先勤奋，然后进入勤奋的圈子，坚持学习，不断改变。大家都看得到现在很多名校学霸只是一个名字，都能引导大量金钱、人力资源配合，他们尚且经常学习到深夜，我们又有什么理由原地等待？
以上是个人一点儿浅薄的想法，希望能给朋友们哪怕一丝的帮助。
铁皮罐头 - BIEE独立顾问 2017-04-05 回答
赞同来自: randolph_huangjiayi 、maya16 、seng 、梁勇 、loader 、andrea_zhou 、黄金阳 、GeorgeYao 、~ 、小耳朵更多 »
涉及过几个名义上的大数据项目，第一类并不能摆脱传统BI的框架，仅仅实在原有BI基础上添加大数据的功能；第二类是摆脱大数据的传统框架结构，基本上摒弃数据仓库，用Hadoop等新兴的大数据的存储方式。但是有几个企业敢这么直接上，尤其是已经做大的企业，顶多是作为试点。
说回正文：转型。如果你想好好发展技术：留给我们的时间不多了！最好的科技资源永远都在一线城市，想好好发展必须跟得上技术进步的步伐。现在的我们拥有的最大的优势就是丰富的项目经验和我们现在手头上积累出来的各种资源。但是这种资源我们能利用多久，事实告诉我们：很快会被淘汰。不得不跟上现在的趋势，学习新的知识。但是这同时也是我们最大的劣势，传统的思维方式很容易禁锢我们的思想，一定程度上可能会阻碍我们对大数据的认知。
我们的岁数也不小了，是不是一定要跟上新时代的技术脚步？有条件的可以考虑转型管理岗位，这样只需要对技术有总体上的了解就可以了。人老了，你们的脑子还够用么。。。
还有一种情况，老婆孩子热炕头，没什么太大的斗志，可以继续做商业智能这块，毕竟已经经营这么多年了，很多企业都在用，突然舍弃不可能，即使是去IOE能有多快？还能用几年，几年之后还混不上管理。。。我还能说什么
以上是鄙人粗浅的认识，有不足的地方还请大家指点
陈老师 - 数据分析、挖掘 2017-04-01 回答
赞同来自: 陈老师 、randolph_huangjiayi 、maya16 、seng 、崔斯特呀 、~ 、小耳朵更多 »
罐头兄给了个思路，俺沿着更一发：
其实站在需求的角度上，二三四线，小企业，实体企业不是没有需求，而是没有纯粹的BI需求，一方面传统的BI是典型的中央管控，总部经济的思路，二三四线城市没有那么多总部，大部分是分行，网点，经销商；二来二三四线城市企业资源有限，人员资质差，业务简单，负担不起，也没必要负担那么复杂的系统。
但这不意味着没有需求。我接触过的比如家具，陶瓷，美容，这些行业还在很粗放经营的阶段，刚开始有体系化运作的意识，这帮人管理水平差到连话术，流程，FAB都还得靠人教的地步，更不要谈系统了。他们缺的不是纯bi，而是混合了ecrm，bi，oa的，简单，实在，管用。最好是基于微信的，大家省事。
我的一个朋友（就是文章中经常出现的老董）就是做传统crm出身的，近年来自己创业，就做门店管理，主打的卖点就是基于微信的自动报表，老板看完结果直接向门店发指示，店长直接指导店员，这一套在二三线相当好卖。
所以在需求方的角度看这个事，就是小而美的，简单实用的小软件会越来越多的取代总部控制式的庞然大物，贴近行业特点，做有行业累积，有行业知识的小产品，也能帮我们杀出一条路来
seng - 从事BI、大数据、数据分析工作 2017-04-01 回答
赞同来自: maya16 、崔斯特呀 、铁皮罐头 、~ 、小耳朵 、闪亮的杀猪刀更多 »
确实人不能自己给自己设限，还是要全面一点。
开源的方案也同意，不过是否 要用Hadoop/Spark确实不一定。
到具体的工作中，使用简单实用可运维的方法完成目标即可。
我最近比较关注PostgreSQL这个生态圈， 可能还是偏向于传统的SQL吧。
还有一些自己的感觉，就是业务系统、分析系统一体化的趋势越来越明显，具体的业务执行就需要即时的业务分析。
这个不只是对于小企业，对于大企业来说，单独的分析系统也需要重新找到自己定位。
最不好的结果就是变成大数据处理系统。^-^
wclluck 2017-05-10 回答
赞同来自: ~ 、小耳朵
写作业 2017-06-23 回答
赞同来自: 闪亮的杀猪刀 、小耳朵
传统BI和大数据的理念其实都不冲突，只是大数据如今使用的架构和技术更加先进而已，可以说大数据就是BI2.0。诚然大数据给传统BI从业者带来了很多挑战和压力，大数据使用的很多框架和工具都是全新的，而且目前有越来越多的行业和客户都有想法尝试新的技术。如果我们不想被这个时代抛弃，我觉得我们确实不应该给自己设限，必须努力去迎接大数据时代的到来，去学习大数据相关的技能，比如Hadoop/MapReduce/Spark等(对了，这些应该都比较成熟老旧的技术了，有兴趣的同学可以去了解下Google最近新推出的Beam框架应该是一个趋势，它主要是为了解决统一批处理和流处理的编程模型，以及实现数据处理的跨平台运行)，其实这些大数据框架解决的问题就是数据的加工处理和分析，和传统BI的ETL在本质上没有区别，相信对我们快速切入这个领域是有很大的帮助的。
GeorgeYao - 路漫漫其修远兮，吾将上下而求索！ 2017-04-21 回答
赞同来自: 铁皮罐头
~ - 个黯然哥哥 2017-05-27 回答
赞同来自: ~
maya16 - 物联网学习者 2017-04-07 回答
赞同来自:
loader 2017-04-10 回答
赞同来自:
Surui - Python网络爬虫实战 2017-09-25 回答
赞同来自: