大数据
0
投票
0
回答
3440
浏览
各位前辈，小弟想参与BI的项目
yaogunjita 发起了问题 • 2017-02-17 10:30
0
投票
0
回答
2953
浏览
Kylin事实表里的数据怎样更新
jjf 发起了问题 • 2018-04-28 14:07
0
投票
0
回答
7559
浏览
求问，有人知道随机森林里面子树变量个数选择上有什么讲究吗？
rahjjhgff 发起了问题 • 2018-04-04 16:59
0
推荐
3918
浏览
手机自动化测试IDE ----- 手把手教你用Airtest模拟器来连接手机
大家好，我是IT共享者，人称皮皮。上篇文章讲了Airtest的安装和IDE控件详解相关知识，手机自动化测试IDE-----Airtest基本操作方法、手机自动化测试IDE ----- Airtest的安装和IDE控件详解，这篇文章来给大家分享用...
dcpeng 发表了文章 • 2021-06-30 09:37
1
推荐
2049
浏览
干货|Sqlite数据库知识必知必会（上篇）
大家好，我是IT共享者，人称皮皮。前面几天给大家分享了MySQL数据库知识，没来得及看的小伙伴可以前往：Mysql查询语句进阶知识集锦，一篇文章教会你进行Mysql数据库和数据表的基本操作，关于数据库的安装可以参考...
dcpeng 发表了文章 • 2021-06-05 21:29
0
投票
6
回答
5461
浏览
需要做数据汇报，有什么好的工具推荐？
数据人 回复了问题 • 2021-05-08 13:40
0
推荐
1616
浏览
安利一款神奇——教你轻松下载百度网盘超大文件
前言玩过百度网盘的都应该清楚它的强大，小编就是靠着百度网盘那强大的功能以及变态的存储空间才获得许多具有纪念价值的东西，比如某些Hacker资料，你懂的。但是小编一直以来都有一个心结未解开，那就是为毛每次...
dcpeng 发表了文章 • 2021-04-25 18:47
0
投票
0
回答
2798
浏览
HDP中Metrics Collector服务启动后立即终止
袁某某 发起了问题 • 2020-12-16 11:30
0
投票
2
已解决
3282
浏览
spark sql 能建索引吗？
TyrenXu 回复了问题 • 2021-03-22 16:16
0
推荐
2021
浏览
Ubuntu远程连接显示错误Network error Connection refused解决方法
之前在通过Filezilla往虚拟机或者服务器上传送文件的时候都是十分顺利的，不过最近老是遇到“错误:Network error: Connection refused”，如下图所示。此外还有“错误: 认证失败。”的错误，如下图所示，从而导致“错...
dcpeng 发表了文章 • 2020-12-05 10:57
0
推荐
2671
浏览
10万级etl批量处理作业调度工具Taskctl Web应用版0元永久授权使用
软件下载：关注公众号：【Taskctl】关键字回复 "领取" 或 "软件" 即可获得认识 Taskctl-webTASKCTL 遵循软件产品标准化的原则，以“专业、专注”为设计理念，结合ETL 调度领域自身的...
ETL批量调度-Taskctl 发表了文章 • 2020-11-24 10:11
0
投票
1
回答
2567
浏览
有条hiveSql走Tez引擎, 针对mr的配置应该不会生效了吧?
meituan 回复了问题 • 2020-09-24 14:09
0
投票
1
回答
1784
浏览
SQL Server Data Tools通过HDFS文件源读取Hadoop文件
LeoGYQ 回复了问题 • 2020-08-14 11:22
0
推荐
1918
浏览
ETL基础知识有哪些？3分钟让你轻松搞定
ETL发展的历史背景随着企业的发展，各业务线、产品线、部门都会承建各种信息化系统方便开展自己的业务。随着信息化建设的不断深入，由于业务系统之间各自为政、相互独立造成的数据孤岛”现象尤为普遍，业务不集成...
ETL批量调度-Taskctl 发表了文章 • 2020-08-03 16:07
1
推荐
1947
浏览
元数据是什么？举例告诉你哪种方式更适合元数据的录入
元数据，一个简单的定义是描述数据的数据。在企业中，无论哪里有数据，都有相应的元数据。只有存在完整而准确的元数据，我们才能更好地理解数据并充分利用数据的价值。为了让大家更好地了解什么是元数据，TaskCtl...
ETL批量调度-Taskctl 发表了文章 • 2020-07-28 17:12
同程吴文波：spark做olap？
天天向上：@大连-K12-王东 spark现在还是一种计算框架 。。
王东：greenplum和spark选型如何取舍呢？
同程吴文波：真有这样的方案哦
小小蜗牛爬上墙：olap用cognos，ibm推广较好的，据说... 显示全部 »
天天向上：@大连-K12-王东 spark现在还是一种计算框架 。。
王东：greenplum和spark选型如何取舍呢？
同程吴文波：真有这样的方案哦
小小蜗牛爬上墙：olap用cognos，ibm推广较好的，据说... 显示全部 »
同程吴文波：spark做olap？
天天向上：@大连-K12-王东 spark现在还是一种计算框架 。。
王东：greenplum和spark选型如何取舍呢？
同程吴文波：真有这样的方案哦
小小蜗牛爬上墙：olap用cognos，ibm推广较好的，据说11R版本的cognos会支持hadoop。
锋：spark现在是不是发展很快。
小小蜗牛爬上墙：看来从传统数据仓库往大数据平台迁移任重道远呀。
天天向上：还是要找到价值点，不能盲目的上大数据。
春宇：传统数据仓库和大数据平台分工不同，列存，MPP能够解决的事情，不见得非得挪到Hadoop上去。
同程吴文波：@大连-K12-王东 怎么想到用spark做olap？
春宇：现在就是觉得系统太多，企业统一化的数据视图更难画了
大米：主要的生产数据还是用主流关系数据库，分析用hadoop是这样理解吗？
王东：@同程吴文波 我就是觉得数据层的东西太多，开发维护成本有点高，所以想用spark解决olap和大数据分析等各种场景
同程吴文波：@大连-K12-王东 试试Hadoop+kylin 或spark+cassandra等组合
王东：我们也打算围绕spark做呢，但是这块儿没实际操作过，比较担心olap的响应速度。
Shadow 杨：@大连-K12-王东 [发呆]多大的数据量，数据量不到一定程度，根本发挥不出来。
王东：@Shadow 杨 事实表千万级别，维度表特别多有上百。
同程吴文波：@大连-K12-王东 你的这些用普通db来构建olap就好
Shadow 杨：@同程吴文波 同意你
天天向上：普通的就可以啊，微软的sass就搞定了。
王东：事实表千万级别greenplum行吗？
同程吴文波：@大连-K12-王东 gp是可以搞定的。但是你的那个数据量用SSAS也就行的。使用SSD 3.2T的+128G内存 或 256G就OK
王东：cognos和ssas是一个量级的么？
春宇：Cognos你用什么？PowerCube?Dynamic Cube?还是TM1？
王东：cognos也没实际用过，这几个cube啥区别啊
春宇：@大连-K12-王东 话题太长，可单聊，但就性价比而言，还是建议你选择SSAS或者开源的OLAP引擎。
天天向上：@大连-K12-王东 spark现在还是一种计算框架 。。
王东：greenplum和spark选型如何取舍呢？
同程吴文波：真有这样的方案哦
小小蜗牛爬上墙：olap用cognos，ibm推广较好的，据说11R版本的cognos会支持hadoop。
锋：spark现在是不是发展很快。
小小蜗牛爬上墙：看来从传统数据仓库往大数据平台迁移任重道远呀。
天天向上：还是要找到价值点，不能盲目的上大数据。
春宇：传统数据仓库和大数据平台分工不同，列存，MPP能够解决的事情，不见得非得挪到Hadoop上去。
同程吴文波：@大连-K12-王东 怎么想到用spark做olap？
春宇：现在就是觉得系统太多，企业统一化的数据视图更难画了
大米：主要的生产数据还是用主流关系数据库，分析用hadoop是这样理解吗？
王东：@同程吴文波 我就是觉得数据层的东西太多，开发维护成本有点高，所以想用spark解决olap和大数据分析等各种场景
同程吴文波：@大连-K12-王东 试试Hadoop+kylin 或spark+cassandra等组合
王东：我们也打算围绕spark做呢，但是这块儿没实际操作过，比较担心olap的响应速度。
Shadow 杨：@大连-K12-王东 [发呆]多大的数据量，数据量不到一定程度，根本发挥不出来。
王东：@Shadow 杨 事实表千万级别，维度表特别多有上百。
同程吴文波：@大连-K12-王东 你的这些用普通db来构建olap就好
Shadow 杨：@同程吴文波 同意你
天天向上：普通的就可以啊，微软的sass就搞定了。
王东：事实表千万级别greenplum行吗？
同程吴文波：@大连-K12-王东 gp是可以搞定的。但是你的那个数据量用SSAS也就行的。使用SSD 3.2T的+128G内存 或 256G就OK
王东：cognos和ssas是一个量级的么？
春宇：Cognos你用什么？PowerCube?Dynamic Cube?还是TM1？
王东：cognos也没实际用过，这几个cube啥区别啊
春宇：@大连-K12-王东 话题太长，可单聊，但就性价比而言，还是建议你选择SSAS或者开源的OLAP引擎。
collect是直接将执行collect的这个RDD是数据加载到内存中执行，如果数据量太大必然会卡死，所以唯一能建议的就是合理使用collect，不要滥用。
collect是直接将执行collect的这个RDD是数据加载到内存中执行，如果数据量太大必然会卡死，所以唯一能建议的就是合理使用collect，不要滥用。
SQuirrel Sql Client ,这个可以在Windows下对hive进行操作。或者 下载Windows下的Hadoop，然后解压就行
SQuirrel Sql Client ,这个可以在Windows下对hive进行操作。或者 下载Windows下的Hadoop，然后解压就行
1.在数据源方面则尽量去实时收集。可以让他们主动向你的消息队列中写入数据，也可以部署flume去主动收集他们的日志数据。
2.数据进入到消息队列以后，用flume消费kafka，存储原始数据到hdfs中，保留原始数据作为存档
其次消费kafka的数据并输出到h... 显示全部 »
2.数据进入到消息队列以后，用flume消费kafka，存储原始数据到hdfs中，保留原始数据作为存档
其次消费kafka的数据并输出到h... 显示全部 »
1.在数据源方面则尽量去实时收集。可以让他们主动向你的消息队列中写入数据，也可以部署flume去主动收集他们的日志数据。
2.数据进入到消息队列以后，用flume消费kafka，存储原始数据到hdfs中，保留原始数据作为存档
其次消费kafka的数据并输出到hbase集群中。
hbase集群作为你的目标表，与你的原始表在结构上保持一致。这样你就可以进行update insert等操作。
以上是解决实时数据到集群。
3.围绕数据的应用。
hbase集群的外围组件Phoenix 可以提供类似sql的查询，让你不用写原生java api，通过sql进行数据的查询
你的前端呈现可以通过jdbc的方式访问 Phoenix ，使用sql去查询hbase集群中的数据
整个任务调度体系可以使用oozie或zuse等。
在支撑后续的大数据查询方面可以扩展使用kylin等。因为kylin也是可以进行实时的olap操作。
2.数据进入到消息队列以后，用flume消费kafka，存储原始数据到hdfs中，保留原始数据作为存档
其次消费kafka的数据并输出到hbase集群中。
hbase集群作为你的目标表，与你的原始表在结构上保持一致。这样你就可以进行update insert等操作。
以上是解决实时数据到集群。
3.围绕数据的应用。
hbase集群的外围组件Phoenix 可以提供类似sql的查询，让你不用写原生java api，通过sql进行数据的查询
你的前端呈现可以通过jdbc的方式访问 Phoenix ，使用sql去查询hbase集群中的数据
整个任务调度体系可以使用oozie或zuse等。
在支撑后续的大数据查询方面可以扩展使用kylin等。因为kylin也是可以进行实时的olap操作。
Bob 回答了问题 • 2017-03-30 13:55 • 2 个回复
做大数据大家比较关心哪个方面？优先保证hadoop整个集群的正常运转？快速开发map/reduce？保证数据分析的速度？保证数据分析的准确性？
1.能不能达到领导的目标和期望
2.从技术、人力等方面的投入产出是否符合现状
3.整套体系运行起来后的维护人力、时间方面是否是可承受范围
4.对现有的运营效率是否有提升
5.大数据应用有没有扩大到当前系统研发、数据分析和挖掘等方方面面
2.从技术、人力等方面的投入产出是否符合现状
3.整套体系运行起来后的维护人力、时间方面是否是可承受范围
4.对现有的运营效率是否有提升
5.大数据应用有没有扩大到当前系统研发、数据分析和挖掘等方方面面
1.能不能达到领导的目标和期望
2.从技术、人力等方面的投入产出是否符合现状
3.整套体系运行起来后的维护人力、时间方面是否是可承受范围
4.对现有的运营效率是否有提升
5.大数据应用有没有扩大到当前系统研发、数据分析和挖掘等方方面面
2.从技术、人力等方面的投入产出是否符合现状
3.整套体系运行起来后的维护人力、时间方面是否是可承受范围
4.对现有的运营效率是否有提升
5.大数据应用有没有扩大到当前系统研发、数据分析和挖掘等方方面面
商业智能是传统数据仓库解决方案的延伸，不同的分工也是依据经典数据仓库的设计而来。其中主要设计到数据库、ETL、存储计算、可视化，还有业务专家角色的分析师团队。元数据管理、测试校验、监控部署，架构建模，不同的团队也会选择性地部分构架。
在传统的工作模式下，即便... 显示全部 »
在传统的工作模式下，即便... 显示全部 »
商业智能是传统数据仓库解决方案的延伸，不同的分工也是依据经典数据仓库的设计而来。其中主要设计到数据库、ETL、存储计算、可视化，还有业务专家角色的分析师团队。元数据管理、测试校验、监控部署，架构建模，不同的团队也会选择性地部分构架。
在传统的工作模式下，即便是ETL也会有不同的分工。Stage/ODS/Mart/DW多层次设计，多维数据建模，可以说完整地分工下来，没有哪个团队按照38个子系统来全面进行。
新的时代已经到来，HADOOP模式下，很多案例粗暴地将所有层次和子系统混杂。用集群的计算能力替代架构设计及分工的作用，这种模式失败的案例居多，但始终是大势所趋。
在这种环境下，传统BI领域的从业者何去何从？
我先简单自我介绍下。十二年正式工作经验，从数据库到数据仓库，从业务到技术，从开发到管理都做过。尽管对于现在大数据相关的技术也有涉猎，但我更加符合一个传统BI从业者的角色。
新的技术浪潮来临，我们会受到冲击吗？
这是毫无疑问的。现在很多案例采用HADOOP架构，不再细致分成，那么以往数据库角色/ETL/存储计算等分工的同学，根本没有条件加入到这种技术选型的团队中。
如果开源大趋势在五年之内成形，这些人现在的工作能力会丧失大部分价值。
直接的体现就是传统架构的团队越来越少，机会越来越难找。新式架构的团队无法进入其中。简而言之，就是饭碗会出现问题。
这么严峻的问题，我给出第一条个人建议：不要给自己设限。
传统数据仓库从业人员，并非ETL工程师，并非建模人员，并非单纯的业务专家。如果已经看出开源是大趋势，就立刻拥抱开源。立即学习、立即尝试、立即应用。需要你做HADOOP就去学习做，需要你用SPARK就立即尝试，需要使用机器学习库就立马行动起来。
在这个崭新的大数据领域，及时的转型，可以拥有强大的优势。
别人不考虑数据体系架构的层次，但你们可以考虑到。预先知道哪里有坑，预先知道项目和业务的紧密结。转型是新人没错，但同为新人，你们的优势体现出来了。
有人担心HADOOP没用过，文档多，主要是英文资料阅读有障碍。没错，不同的技术架构需要改变以前的结构，我遇到很多人不熟悉shell，所以掌握fs shell不容易。有人不熟悉开发语言，所以开发MAP/REDUCE困难。有人英文功底不足，所以阅读很多资料困难。
似乎到处都是困难，没有办法克服是吗？
我们应该回顾下十年前做开始做数据仓库时的局面，真比现在简单吗？
数据仓库的架构没有成形，组件式的ETL遭遇数据量大的问题，莫名其妙的字符集问题，服务器硬件资源极度欠缺的挑战，网络速度极慢还得分电信网通！
这些问题克服的过程中，不需要查询英文资料吗？是不是几乎找不到已有的成功案例参考？是不是也会涉及到不同的开发语言来编写脚本？
现在这些困难，十年前明明已经经历过了！
不同的是现在信息更加发达，大家对压力的反馈有些不一样了。
以前是从业新人，遇到问题就去学习解决，执行力一等一。
现在起码也是个小中层，动口的时间比动手还多，到处听到处说，执行能力反而下滑了。
所以针对这第一条建议，不要给自己定位成某一个角色。即便是和我这样编程能力一般的人，也可以全方位地掌握数据相关能力。这么做，一定会是项目负责人角色，即使是新的技术环境也一样。
第二条建议，重新梳理自己的学习方法。
我们这个年代的人很特别，极有可能成为第一批普遍超过一百岁的人，工作到八十岁，我觉得也不奇怪。
将来还有七十年左右的时间，现在这些大数据的技术，我们是第一批站在这个技术风口上的人。现在学习起来，具备无以伦比的先手优势。
我接触到不少新人，一年前说想学某一块知识，一年后还是想学这块知识。
扯淡。想学的人早都学会转型成功了，动嘴的人一年到头没见行动。看了几本书？翻了多少文档，写了多少笔记，尝试了多少项目？
学习是什么？如果不把这个问题理顺，再过几年就看到很多人不需要转型了。因为机会完全被自己放弃。
一年时间，大数据的任何一个细分领域，作为成年人都有条件从入门者变成中等以上的实践者。其中值得一提的，无非是如何获取高质量的资料。
现在的主流信息是各种电子档，各种视频，各种培训。我比较推崇官方手册，任何计算机相关的资料都是一样的，哪怕只有英文资料。
能把官方手册读完的人，水平差不了。一个领域的应用即便遇到极大的挑战问题，官方手册也是最有资格指明方向的资料。
对于第二条建议，我想说的就是多看资料，详细地看，一遍又一遍地看。多整理笔记，持续不断地整理，大家普遍还有七十年的时间，学习哪个方向时间都是够的。
第三条建议，人以群分。
勤奋的人每天都在努力，懒惰的人一年重复一年。
我感觉现在的社会信息爆炸，有一个很大的作用就是快速给人们划分了层次。
到实际层面来看，就是圈子。越是高端的圈子，越难进入。现在的社会资源，越来越重视知识能力。所以持续学习，是提升圈子品质的一个重要通道。
我接触到很多学霸，他们每天看书学习比其他人时间要长得多。这方面我推崇复旦的思想：“自由而无用的灵魂”，你可以学习没什么商业价值的方向，但不能放弃追求灵魂自由的努力。
先勤奋，然后进入勤奋的圈子，坚持学习，不断改变。大家都看得到现在很多名校学霸只是一个名字，都能引导大量金钱、人力资源配合，他们尚且经常学习到深夜，我们又有什么理由原地等待？
以上是个人一点儿浅薄的想法，希望能给朋友们哪怕一丝的帮助。
在传统的工作模式下，即便是ETL也会有不同的分工。Stage/ODS/Mart/DW多层次设计，多维数据建模，可以说完整地分工下来，没有哪个团队按照38个子系统来全面进行。
新的时代已经到来，HADOOP模式下，很多案例粗暴地将所有层次和子系统混杂。用集群的计算能力替代架构设计及分工的作用，这种模式失败的案例居多，但始终是大势所趋。
在这种环境下，传统BI领域的从业者何去何从？
我先简单自我介绍下。十二年正式工作经验，从数据库到数据仓库，从业务到技术，从开发到管理都做过。尽管对于现在大数据相关的技术也有涉猎，但我更加符合一个传统BI从业者的角色。
新的技术浪潮来临，我们会受到冲击吗？
这是毫无疑问的。现在很多案例采用HADOOP架构，不再细致分成，那么以往数据库角色/ETL/存储计算等分工的同学，根本没有条件加入到这种技术选型的团队中。
如果开源大趋势在五年之内成形，这些人现在的工作能力会丧失大部分价值。
直接的体现就是传统架构的团队越来越少，机会越来越难找。新式架构的团队无法进入其中。简而言之，就是饭碗会出现问题。
这么严峻的问题，我给出第一条个人建议：不要给自己设限。
传统数据仓库从业人员，并非ETL工程师，并非建模人员，并非单纯的业务专家。如果已经看出开源是大趋势，就立刻拥抱开源。立即学习、立即尝试、立即应用。需要你做HADOOP就去学习做，需要你用SPARK就立即尝试，需要使用机器学习库就立马行动起来。
在这个崭新的大数据领域，及时的转型，可以拥有强大的优势。
别人不考虑数据体系架构的层次，但你们可以考虑到。预先知道哪里有坑，预先知道项目和业务的紧密结。转型是新人没错，但同为新人，你们的优势体现出来了。
有人担心HADOOP没用过，文档多，主要是英文资料阅读有障碍。没错，不同的技术架构需要改变以前的结构，我遇到很多人不熟悉shell，所以掌握fs shell不容易。有人不熟悉开发语言，所以开发MAP/REDUCE困难。有人英文功底不足，所以阅读很多资料困难。
似乎到处都是困难，没有办法克服是吗？
我们应该回顾下十年前做开始做数据仓库时的局面，真比现在简单吗？
数据仓库的架构没有成形，组件式的ETL遭遇数据量大的问题，莫名其妙的字符集问题，服务器硬件资源极度欠缺的挑战，网络速度极慢还得分电信网通！
这些问题克服的过程中，不需要查询英文资料吗？是不是几乎找不到已有的成功案例参考？是不是也会涉及到不同的开发语言来编写脚本？
现在这些困难，十年前明明已经经历过了！
不同的是现在信息更加发达，大家对压力的反馈有些不一样了。
以前是从业新人，遇到问题就去学习解决，执行力一等一。
现在起码也是个小中层，动口的时间比动手还多，到处听到处说，执行能力反而下滑了。
所以针对这第一条建议，不要给自己定位成某一个角色。即便是和我这样编程能力一般的人，也可以全方位地掌握数据相关能力。这么做，一定会是项目负责人角色，即使是新的技术环境也一样。
第二条建议，重新梳理自己的学习方法。
我们这个年代的人很特别，极有可能成为第一批普遍超过一百岁的人，工作到八十岁，我觉得也不奇怪。
将来还有七十年左右的时间，现在这些大数据的技术，我们是第一批站在这个技术风口上的人。现在学习起来，具备无以伦比的先手优势。
我接触到不少新人，一年前说想学某一块知识，一年后还是想学这块知识。
扯淡。想学的人早都学会转型成功了，动嘴的人一年到头没见行动。看了几本书？翻了多少文档，写了多少笔记，尝试了多少项目？
学习是什么？如果不把这个问题理顺，再过几年就看到很多人不需要转型了。因为机会完全被自己放弃。
一年时间，大数据的任何一个细分领域，作为成年人都有条件从入门者变成中等以上的实践者。其中值得一提的，无非是如何获取高质量的资料。
现在的主流信息是各种电子档，各种视频，各种培训。我比较推崇官方手册，任何计算机相关的资料都是一样的，哪怕只有英文资料。
能把官方手册读完的人，水平差不了。一个领域的应用即便遇到极大的挑战问题，官方手册也是最有资格指明方向的资料。
对于第二条建议，我想说的就是多看资料，详细地看，一遍又一遍地看。多整理笔记，持续不断地整理，大家普遍还有七十年的时间，学习哪个方向时间都是够的。
第三条建议，人以群分。
勤奋的人每天都在努力，懒惰的人一年重复一年。
我感觉现在的社会信息爆炸，有一个很大的作用就是快速给人们划分了层次。
到实际层面来看，就是圈子。越是高端的圈子，越难进入。现在的社会资源，越来越重视知识能力。所以持续学习，是提升圈子品质的一个重要通道。
我接触到很多学霸，他们每天看书学习比其他人时间要长得多。这方面我推崇复旦的思想：“自由而无用的灵魂”，你可以学习没什么商业价值的方向，但不能放弃追求灵魂自由的努力。
先勤奋，然后进入勤奋的圈子，坚持学习，不断改变。大家都看得到现在很多名校学霸只是一个名字，都能引导大量金钱、人力资源配合，他们尚且经常学习到深夜，我们又有什么理由原地等待？
以上是个人一点儿浅薄的想法，希望能给朋友们哪怕一丝的帮助。
你可以通过rdd.partitions.size在程序里面查看，比较方便的是你可以在spark-shell中
val a = spark.range(1,100,9)
a.rdd.partitions.size直接可以在console窗口打印出来看到。
... 显示全部 »
val a = spark.range(1,100,9)
a.rdd.partitions.size直接可以在console窗口打印出来看到。
... 显示全部 »
你可以通过rdd.partitions.size在程序里面查看，比较方便的是你可以在spark-shell中
val a = spark.range(1,100,9)
a.rdd.partitions.size直接可以在console窗口打印出来看到。
第二中方式是你可以通过SparkUI查看
34999
程序的并行度是由partitions的大小决定的，一个partition对应一个task。可以通过repartions或coalease进行合理的设置
val a = spark.range(1,100,9)
a.rdd.partitions.size直接可以在console窗口打印出来看到。
第二中方式是你可以通过SparkUI查看
34999
程序的并行度是由partitions的大小决定的，一个partition对应一个task。可以通过repartions或coalease进行合理的设置
我不懂写代码，Java都不会，我感觉我在这行里都是混日子，
好像说的悲观了。
我觉的吧，首先，你可以不会java，但一定要会SQL，而且还不只是基本的Selece，需要相对高深的SQL功底。
其次，你得懂业务，感觉当前一种思路是：大数据要抛开业务看... 显示全部 »
好像说的悲观了。
我觉的吧，首先，你可以不会java，但一定要会SQL，而且还不只是基本的Selece，需要相对高深的SQL功底。
其次，你得懂业务，感觉当前一种思路是：大数据要抛开业务看... 显示全部 »
我不懂写代码，Java都不会，我感觉我在这行里都是混日子，
好像说的悲观了。
我觉的吧，首先，你可以不会java，但一定要会SQL，而且还不只是基本的Selece，需要相对高深的SQL功底。
其次，你得懂业务，感觉当前一种思路是：大数据要抛开业务看数据，这在一些吹牛B的大公司尤其盛行。但我认为，这是一种歪风！
我的理论：做软件要尽可能独立于业务，最牛X的程序是适合于全世界、全行业的程序。但做数据就是做服务，必须无限接近于业务。你做的东西在A市甲单位可用，换到A市方单位，或B市甲单位，即便是同样的原始数据，也必须要调整才能用。
第三，你要有一个好的环境，《大数据时代》有一个理论：在做大数据之前，你不能假设结果，得到的结果很可能是你根本想不到的。
没去过南方公司，但是北方公司，普遍是领导家长制，加以销售引导型。领导开完枪，你屁颠屁颠的跑过去，照着弹孔画个靶心，在这种环境下，你干的是替领导吹的牛B擦屁股的活，没有自己发挥的空间，没有尝试，也不可能有进步。
好像说的悲观了。
我觉的吧，首先，你可以不会java，但一定要会SQL，而且还不只是基本的Selece，需要相对高深的SQL功底。
其次，你得懂业务，感觉当前一种思路是：大数据要抛开业务看数据，这在一些吹牛B的大公司尤其盛行。但我认为，这是一种歪风！
我的理论：做软件要尽可能独立于业务，最牛X的程序是适合于全世界、全行业的程序。但做数据就是做服务，必须无限接近于业务。你做的东西在A市甲单位可用，换到A市方单位，或B市甲单位，即便是同样的原始数据，也必须要调整才能用。
第三，你要有一个好的环境，《大数据时代》有一个理论：在做大数据之前，你不能假设结果，得到的结果很可能是你根本想不到的。
没去过南方公司，但是北方公司，普遍是领导家长制，加以销售引导型。领导开完枪，你屁颠屁颠的跑过去，照着弹孔画个靶心，在这种环境下，你干的是替领导吹的牛B擦屁股的活，没有自己发挥的空间，没有尝试，也不可能有进步。
标签体系不是一个产品功能，而是基于业务需求的一套指标体系，只是这套指标体系中有很多内容是通过计算和数据加工而得到，不是直接采集的。
回答你的问题：
1、用户画像如何设计需要取决于你的画像的业务需求，也就是你为什么要做画像，做了画像要为什么服务？
明确了这些内容... 显示全部 »
回答你的问题：
1、用户画像如何设计需要取决于你的画像的业务需求，也就是你为什么要做画像，做了画像要为什么服务？
明确了这些内容... 显示全部 »
标签体系不是一个产品功能，而是基于业务需求的一套指标体系，只是这套指标体系中有很多内容是通过计算和数据加工而得到，不是直接采集的。
回答你的问题：
1、用户画像如何设计需要取决于你的画像的业务需求，也就是你为什么要做画像，做了画像要为什么服务？
明确了这些内容，其实需要有哪些标签也就比较容易梳理了；
2、标签内容和其他数据一样，都以数据的形式保存在数据库当中，和原始数据没有任何区别；部分标签的建设需要构建挖掘模型；
3、每家公司的标签体系建设方法都是类似的，只是说BAT他们拥有更多的数据资源，所以可能构建的标签更全面，但是构建的方法都是一样的。
回答你的问题：
1、用户画像如何设计需要取决于你的画像的业务需求，也就是你为什么要做画像，做了画像要为什么服务？
明确了这些内容，其实需要有哪些标签也就比较容易梳理了；
2、标签内容和其他数据一样，都以数据的形式保存在数据库当中，和原始数据没有任何区别；部分标签的建设需要构建挖掘模型；
3、每家公司的标签体系建设方法都是类似的，只是说BAT他们拥有更多的数据资源，所以可能构建的标签更全面，但是构建的方法都是一样的。
使用rdd上的randomSplit方法，将一个RDD随机拆分成多个RDD，randomSplit方法返回一个rdd数组，遍历数组，取出每个rdd，toDF后，使用jdbc方法写入数据库，遍历过程中制定一个随机的选库策略，这样就将rdd内容写入到了相同的 数据... 显示全部 »
使用rdd上的randomSplit方法，将一个RDD随机拆分成多个RDD，randomSplit方法返回一个rdd数组，遍历数组，取出每个rdd，toDF后，使用jdbc方法写入数据库，遍历过程中制定一个随机的选库策略，这样就将rdd内容写入到了相同的 数据库不同的表中了。你具体的需求按照这个思路去应该可以实现。
liutangwow 回答了问题 • 2017-08-09 13:31 • 2 个回复
像spark hadoop这些大数据相关的怎么自我学习，比如说集群 个人电脑条件也不满足 有没有什么云平台可以提供实验环境？
目前我好想没有听说过有这样的平台，要学习的话，我觉得有这样的几个建议：
1. 公司支持
公司技术迭代，需要使用Hadoop、Spark，那肯定会提供测试环境等一切资源，那就很方便了；
公司没有需求，那是否可以和上级领导反馈下，申请测试环境供大家... 显示全部 »
1. 公司支持
公司技术迭代，需要使用Hadoop、Spark，那肯定会提供测试环境等一切资源，那就很方便了；
公司没有需求，那是否可以和上级领导反馈下，申请测试环境供大家... 显示全部 »
目前我好想没有听说过有这样的平台，要学习的话，我觉得有这样的几个建议：
1. 公司支持
公司技术迭代，需要使用Hadoop、Spark，那肯定会提供测试环境等一切资源，那就很方便了；
公司没有需求，那是否可以和上级领导反馈下，申请测试环境供大家自主学习使用，这个估计要看具体情况；
公司有没有闲置的机器，都可以利用起来
2. 个人
个人电脑安装VirtualBox之类的虚拟机，开3个虚拟机玩儿就够了，电脑的话配置也就内存8G以上应该足够了，CPU差不多就行了，直接装Linux就行了；
可以使用Docker，可以简单的把他看成虚拟机，找些资料看看，简单使用应该没问题，使用Docker开实例很方便，不像虚拟机那样耗费很多资源
要不开通个阿里云之类的，在云平台上面玩儿，这个价钱不清楚，可以去官网看看
1. 公司支持
公司技术迭代，需要使用Hadoop、Spark，那肯定会提供测试环境等一切资源，那就很方便了；
公司没有需求，那是否可以和上级领导反馈下，申请测试环境供大家自主学习使用，这个估计要看具体情况；
公司有没有闲置的机器，都可以利用起来
2. 个人
个人电脑安装VirtualBox之类的虚拟机，开3个虚拟机玩儿就够了，电脑的话配置也就内存8G以上应该足够了，CPU差不多就行了，直接装Linux就行了；
可以使用Docker，可以简单的把他看成虚拟机，找些资料看看，简单使用应该没问题，使用Docker开实例很方便，不像虚拟机那样耗费很多资源
要不开通个阿里云之类的，在云平台上面玩儿，这个价钱不清楚，可以去官网看看
导出文本文件 直接上传hdfs
导出文本文件 直接上传hdfs
a和b在RPD设置聚合规则是sum时，新建字段c=a/b，默认得到的结果就是sum(a)/sum（b），如果你要sum(a/b)反而要特殊处理，在源写公式
a和b在RPD设置聚合规则是sum时，新建字段c=a/b，默认得到的结果就是sum(a)/sum（b），如果你要sum(a/b)反而要特殊处理，在源写公式
天涯浪子 回答了问题 • 2018-03-07 14:55 • 1 个回复
请问下，anaconda安装包现在有2个版本，我装的是python2.7版本的，现在要装python3.6版本的，是不是得先卸载现在的anaconda呢？
不需要，可以共存。3.6的可以通过conda选择所处python环境 win7下python2和python3共存问题 https://ask.hellobi.com/blog/zhangshining52/6434 https://ask.hel... 显示全部 »
不需要，可以共存。3.6的可以通过conda选择所处python环境 win7下python2和python3共存问题 https://ask.hellobi.com/blog/zhangshining52/6434 https://ask.hellobi.com/blog/weiwei/5153 在Windows与MAC中同时安装Python3.X与2.X的方法 可以看看
新旧版本的替换，参考 openpyxl文档
新版本的get_column_letter()和column_indwx_from_string()位置发生了改变，在openpyxl.utils下 from openpyxl.utils import get_... 显示全部 »
新版本的get_column_letter()和column_indwx_from_string()位置发生了改变，在openpyxl.utils下 from openpyxl.utils import get_... 显示全部 »
新旧版本的替换，参考 openpyxl文档
新版本的get_column_letter()和column_indwx_from_string()位置发生了改变，在openpyxl.utils下 from openpyxl.utils import get_column_letter
from openpyxl.utils import column_index_from_string 这样引入是可以正常使用的
新版本的get_column_letter()和column_indwx_from_string()位置发生了改变，在openpyxl.utils下 from openpyxl.utils import get_column_letter
from openpyxl.utils import column_index_from_string 这样引入是可以正常使用的
3
推荐
4925
浏览
《人人都会数据分析》20万字电子版
去年的时间把之前的数据分析工作经历、大环境背景、职场选择、公司选择、岗位选择、统计学的基本常识、需要掌握的分析工具、怎么写好一个报告、互联网和金融行业的分析场景这些都整理了下。具体购买链接：https:/...
面包君 发表了文章 • 2018-01-03 15:15
5
推荐
3663
浏览
《R的极客理想》系列图书作者张丹：用R语言把数据玩出花样
前言作为数据分析师，每天都有大量的数据需要处理，我们会根据业务的要求做各种复杂的报表，包括了分组、排序、过滤、转置、差分、填充、移动、合并、分裂、分布、去重、找重、填充 等等的操作。有时为了计算一个...
R语言中文社区 发表了文章 • 2017-09-28 09:59
2
投票
11
已解决
10216
浏览
百元问答第1期：大数据时代下，商业智能从业人员（BIer）光明之路在何方？
Surui 回复了问题 • 2017-09-25 17:17
11
推荐
5151
浏览
从大数据舆情传播角度看《三生三世十里桃花》
前不久，看到知乎上一个知友提到了一个问题，觉得有点意思，于是心血来潮写了一个回答，现在粘贴复制到这里：不扯犊子，就直接以题主的举例来上干货，分析的对象是目前大红大紫的《三生三世十里桃花》（以下简称“...
高长宽 发表了文章 • 2017-02-22 13:48
5
推荐
2714
浏览
【PPT干货】一篇神一样的数据分析解读，看完我.....
数据君6年前写的数据分析交流资料，删除部分，分享给大家！想成为数据分析方面的专家不易：1、要会技术存储、统计、机器学习、报表、分析、展示、可视化、编程等2、懂市场细分、营销、产品、用户行为、流失、欺诈...
Jmarry 发表了文章 • 2017-02-22 09:37
15
推荐
4998
浏览
从零开始，构建数据化运营体系
数据化运营是一个近年来兴起的概念，它在运营的基础上，提出了以数据驱动决策的口号。在了解数据化运营前，运营们有没有过如下的问题：不同渠道，效果究竟是好是坏？活跃数下降了，到底是因为什么原因？这次活动...
秦路 发表了文章 • 2017-02-06 17:34
7
推荐
4309
浏览
【20万字500页年刊下载】2016年天善大数据社区年刊精华版
继 2015年天善智能发布了 《2015年 BI 系列技术博文与问答精选年刊》 和 《2015年社区博文与 Friday BI Fly 活动记录精选年刊》 后，2017年1月我们正式发布2016年社区年刊。本年刊涵盖了2016 年天...
天善智能 发表了文章 • 2017-01-26 13:36
6
推荐
8374
浏览
人人可用的数据分析认知计算产品 IBM Watson Analytics 试用体验
在这篇文章中 《 蓝色巨人IBM的变革与复兴，大数据时代的人工智能 IBM Watson 》我介绍到了 IBM Watson 在人工智能领域的布局和变革。那么本篇文章就带大家走进 IBM Watson 旗下认知计算、预测分析的云...
lvpin 发表了文章 • 2017-01-21 18:08
9
推荐
7976
浏览
蓝色巨人IBM的变革与复兴，大数据时代的人工智能 IBM Watson
2016年是人工智能走向大众的元年大数据的火热还未退去，人工智能在2016年和2017年交替之际就被刷爆了。从 2016年12月29日到2017年1月4日，一位标注为韩国九段的神秘棋手 Master 在一周之内完胜包括中日韩朴廷桓、...
lvpin 发表了文章 • 2017-01-16 11:17
0
投票
1
回答
4477
浏览
如何基于大数据Hadoop hive来做数据仓库的设计
MarsJ 回复了问题 • 2017-01-05 09:47
7
推荐
4155
浏览
政府大数据是不是一个伪命题？面临的问题和阻力在哪里？
背景 2015年经李克强总理签批，国务院印发《促进大数据发展行动纲要》，中国政府已经开始系统部署大数据发展工作。《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模...
lvpin 发表了文章 • 2016-12-28 18:15
1
推荐
3676
浏览
Friday BI Fly | 2016年10月21日晚8点半微信直播交流在实践中挖掘数据的价值第36场 图文版记录
公告：周五BI飞起来，每周一个主题，一场跟数据有关的行业、工具、技术的交流盛宴，锁定在每周五晚20:30，不见不散！未来几期的微信直播活动分享主题将包括在大数据、大变革、大成长、游戏行业数据仓库储存模型。...
天善智能 发表了文章 • 2016-10-24 10:30
3
推荐
10079
浏览
技术|深入浅出解析大数据Lambda架构
前言 Hadoop的出现让人们尝到了大数据技术的甜头，它的批处理能力已经被工业界充分认可，但是它的延迟性也一直为大家所诟病。随着各行各业的发展，越来越多的业务要求大数据系统既可以处理历史数据，...
星环科技 发表了文章 • 2016-10-11 11:32
3
推荐
4573
浏览
R实现地理位置与经纬度相互转换
本实例要实现目标通过输入城市名或者地名，然后找出其经度纬度值，以及通过可视化展现其线路流向以及周边地图展示本实例参考文章主要来自金大侠博客：http://user.qzone.qq.com/675229288/mainaddress_list数据：...
华青莲 发表了文章 • 2016-10-10 19:27
0
推荐
2176
浏览
百度外卖联合搜狐新闻客户端发布十一大数据 异地点单量激增
国庆长假刚刚结束，朋友圈的旅游摄影大赛也落下帷幕。在这难得的休闲时光里，有人选择天南海北畅游一番，也有人选择宅在家中享受清闲，但无论“旅游族”还是“御宅族”都将“吃遍美食”的主题贯穿了整个假期。 今...
在学古筝的程序员 发表了文章 • 2016-10-08 10:59
0
投票
0
回答
3440
浏览
各位前辈，小弟想参与BI的项目
yaogunjita 发起了问题 • 2017-02-17 10:30
0
投票
0
回答
7559
浏览
求问，有人知道随机森林里面子树变量个数选择上有什么讲究吗？
rahjjhgff 发起了问题 • 2018-04-04 16:59
0
投票
6
回答
5461
浏览
需要做数据汇报，有什么好的工具推荐？
数据人 回复了问题 • 2021-05-08 13:40
0
投票
0
回答
2798
浏览
HDP中Metrics Collector服务启动后立即终止
袁某某 发起了问题 • 2020-12-16 11:30
0
投票
1
回答
2567
浏览
有条hiveSql走Tez引擎, 针对mr的配置应该不会生效了吧?
meituan 回复了问题 • 2020-09-24 14:09
0
投票
2
已解决
6388
浏览
spark collect()，当数据量比较大时，卡死怎么解决？
新叶 回复了问题 • 2019-09-05 10:52
0
投票
1
回答
4117
浏览
通过ODI接口把数据从Oracle数据库抽到HIVE数据库怎么解决
seng 回复了问题 • 2019-08-01 10:21
0
投票
2
回答
4620
浏览
Tableau和BDP，到底哪个才是最符合中国用户使用习惯的可视化分析工具？
turner22 回复了问题 • 2018-12-18 10:47
0
投票
2
回答
4285
浏览
Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation
摘个大西瓜 回复了问题 • 2018-09-28 13:22
0
投票
1
回答
5940
浏览
如何去整合多系统间的异构数据呢！利用大数据平台？MAC通过薇信端的认证可取到手机号。
wayne2009 回复了问题 • 2018-08-06 21:01
0
投票
0
回答
5652
浏览
0
投票
1
回答
4118
浏览
ssas cube增量处理报错了怎么办？
徐燕 回复了问题 • 2018-07-06 09:49
0
投票
2
回答
3640
浏览
问个问题，能否在不登录的前提下，爬取网页里面的数据？
ID王大伟 回复了问题 • 2018-06-30 17:17
0
投票
1
回答
5422
浏览
BIEE11g无法启动，提示BEA-101020错误
FIRM^＆^ 回复了问题 • 2018-06-01 16:31
0
投票
4
已解决
10772
浏览
关于使用spark做olap靠谱么？有没有成熟案例？
我叫小根 回复了问题 • 2018-05-14 11:03
0
推荐
3918
浏览
手机自动化测试IDE ----- 手把手教你用Airtest模拟器来连接手机
大家好，我是IT共享者，人称皮皮。上篇文章讲了Airtest的安装和IDE控件详解相关知识，手机自动化测试IDE-----Airtest基本操作方法、手机自动化测试IDE ----- Airtest的安装和IDE控件详解，这篇文章来给大家分享用...
dcpeng 发表了文章 • 2021-06-30 09:37
1
推荐
2049
浏览
干货|Sqlite数据库知识必知必会（上篇）
大家好，我是IT共享者，人称皮皮。前面几天给大家分享了MySQL数据库知识，没来得及看的小伙伴可以前往：Mysql查询语句进阶知识集锦，一篇文章教会你进行Mysql数据库和数据表的基本操作，关于数据库的安装可以参考...
dcpeng 发表了文章 • 2021-06-05 21:29
0
推荐
1616
浏览
安利一款神奇——教你轻松下载百度网盘超大文件
前言玩过百度网盘的都应该清楚它的强大，小编就是靠着百度网盘那强大的功能以及变态的存储空间才获得许多具有纪念价值的东西，比如某些Hacker资料，你懂的。但是小编一直以来都有一个心结未解开，那就是为毛每次...
dcpeng 发表了文章 • 2021-04-25 18:47
0
推荐
2021
浏览
Ubuntu远程连接显示错误Network error Connection refused解决方法
之前在通过Filezilla往虚拟机或者服务器上传送文件的时候都是十分顺利的，不过最近老是遇到“错误:Network error: Connection refused”，如下图所示。此外还有“错误: 认证失败。”的错误，如下图所示，从而导致“错...
dcpeng 发表了文章 • 2020-12-05 10:57
0
推荐
2671
浏览
10万级etl批量处理作业调度工具Taskctl Web应用版0元永久授权使用
软件下载：关注公众号：【Taskctl】关键字回复 "领取" 或 "软件" 即可获得认识 Taskctl-webTASKCTL 遵循软件产品标准化的原则，以“专业、专注”为设计理念，结合ETL 调度领域自身的...
ETL批量调度-Taskctl 发表了文章 • 2020-11-24 10:11
0
推荐
1918
浏览
ETL基础知识有哪些？3分钟让你轻松搞定
ETL发展的历史背景随着企业的发展，各业务线、产品线、部门都会承建各种信息化系统方便开展自己的业务。随着信息化建设的不断深入，由于业务系统之间各自为政、相互独立造成的数据孤岛”现象尤为普遍，业务不集成...
ETL批量调度-Taskctl 发表了文章 • 2020-08-03 16:07
1
推荐
1947
浏览
元数据是什么？举例告诉你哪种方式更适合元数据的录入
元数据，一个简单的定义是描述数据的数据。在企业中，无论哪里有数据，都有相应的元数据。只有存在完整而准确的元数据，我们才能更好地理解数据并充分利用数据的价值。为了让大家更好地了解什么是元数据，TaskCtl...
ETL批量调度-Taskctl 发表了文章 • 2020-07-28 17:12
0
推荐
1592
浏览
大数据与批量调度的紧密关系
当大数据在手机端花枝招展地跳跃时，你很自豪地说，我知道它是怎么来的，它是从网络另一端来的。可当碰到一个刨根问底的家伙，他又问，那网络另一端的数据又是怎么来的，你是否一脸蒙逼？不，你可能说，作为一枚I...
ETL批量调度-Taskctl 发表了文章 • 2020-07-21 15:26
0
推荐
1670
浏览
新手一看就秒懂的数据挖掘的10大算法
一个优秀的数据分析师，除了要掌握基本的统计学、数据库、数据分析方法、思维、数据分析工具技能之外，还需要掌握一些数据挖掘的思想，帮助我们挖掘出有价值的数据，这也是数据分析专家和一般数据分析师的差距之...
ETL批量调度-Taskctl 发表了文章 • 2020-07-20 14:39
1
推荐
2613
浏览
遇到问题，没有解决思路怎么办？
一.没有思路怎么办？通常我们面对问题的想法是这样的，比较零散今天教大家一个方法（逻辑树分析方法），可以把这些零散的想法整理成有条理的思路，帮助你快速解决问题。什么是逻辑树分析方法呢？逻辑树分析方法...
猴子聊人物 发表了文章 • 2020-01-07 18:14
0
推荐
1870
浏览
1
推荐
1895
浏览
这5个问题可以帮助你快速了解一家公司
我是escap：1.我做过什么？这一部分的面试题基本围绕：我是谁，我从哪里来，我做过什么 展开的。1）自我介绍2）简历中的项目分析了什么问题，用了什么分析方法，结果是什么，提出了什么有效的建议3）自己的过往...
猴子聊人物 发表了文章 • 2019-12-30 12:36
0
推荐
1602
浏览
图解面试题：多表如何查询？
【题目】 现在有两个表，“学生表”记录了学生的基本信息，有“学号”、“姓名”。“成绩”表记录了学生选修的课程，以及对应课程的成绩。这两个表通过“学号”进行关联。现在要查找出所有学生的学号，姓名，课...
猴子聊人物 发表了文章 • 2019-12-27 15:54
0
推荐
1708
浏览
你是如何善待自己时间的？
很多年前，我与一位上市公司的财务总监聊天。他问我“你觉得什么对一个人最重要？”我说“是经历，过往的经历造就了现在的他。”他说“我认为是时间对一个人最重要。因为时间去了，就再也回不来了。一个人一辈子拥有...
猴子聊人物 发表了文章 • 2019-12-25 17:42
0
推荐
1424
浏览
感情和工作真的不能将就
我是窦之：工作已经一个月了，回想找工作的种种经历，感慨良多。今年6月离职，脱离工作的日子是新鲜的亦是放松的，西藏一游，洗涤心灵，感慨良多。7月初投了几份简历，面试时方觉所知甚少，机会亦少，值得投入新...
猴子聊人物 发表了文章 • 2019-12-23 17:52
从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。
