1
推荐
1913
阅读
【干货分享】-炼数成金系列大数据
【干货分享】-炼数成金系列大数据HadoopSpark链接：http://pan.baidu.com/s/1kVcv8hx 密码：kxgg
2
推荐
1904
阅读
Hadoop 集成开发环境下载（HDFS）
下载环境地址：http://pan.baidu.com/s/1pLmsJ9p 密码：p3rz环境搭建说明，查看vagarnt下hadoop环境使用说明.txt
0
推荐
2017
阅读
分布式消息系统：Kafka
Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数...
1
推荐
2447
阅读
重要的事情要反复强调：如何用敏捷可视化工具搞定用户画像
摘文出处：敏捷商业智能伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。用户画像越来越被企业所重视。相比传统的线下会员管理、问卷调查、购物篮分析，大数据第一次使得企业能够通过互联网便利地获取用户更为广泛的反馈信息，为进一步精准、快速地分析用户行为习惯、消费习惯等重要商业信息，提供了足...
1
推荐
2869
阅读
使用Spark计算PV、UV
摘文出处：使用Spark计算PV、UV日志字段格式：id,ip,url,ref,cookie,time_stamp把日志文件放到HDFS。仅取了1000行。hadoop fs -put 1000_log hdfs://localhost:9000/user/root/input 直接在Scala Shell中读取文件并计算PV。scala> val textFile = sc.textFile("hdfs://localhost:9000/user/root/input/1000_log")
sc...
0
推荐
2722
阅读
互联网金融时代下机器学习与大数据风控系统
摘文处： 点融黑帮导语：互联网金融时代，如何借助互联网思维利用机器学习方法建立高效安全的大数据风控系统？随着互联网的发展，互联网金融已成为当前最热门的话题，包括支付、理财、众筹、消费等功能在内的各类互联网金融产品和平台如雨后春笋般涌现。互联网金融是传统金融行业与互联网精神相结合的新兴领域，是对传统...
0
推荐
3384
阅读
Spark强有力竞争者Apache Flink
摘文出处：Hadoop卢亿雷，AdMaster技术副总裁，资深大数据技术专家。关注高可靠、高可用、高扩展、高性能系统服务，关注Hadoop/HBase/Storm/Spark/Flink/ElasticSearch等离线、流式及实时分布式计算技术。彭远波，AdMaster研发工程师，关注Hadoop/HBase/Spark/Flink等技术。Apache Flink，apache顶级项目，是一个高效、...
1
推荐
3020
阅读
云技术、大数据(hadoop)入门常见问题回答
问题导读：当我们学习一门新技术的时候，我们总是产生各种各样的问题，这些问题整理出来，包括该1.如何学习hadoop？2.hadoop常见问题？3.还有hbase、hive安装使用等？你知道搭建hadoop平台需要些什么软件？简单来讲就有多台电脑没有多台电脑你就麻烦了：需要懂虚拟机，懂网络配置，会编译hadoop。具体可以看下面内容零基...
2
推荐
2640
阅读
Intel研究院院长吴甘沙：大数据分析师的卓越之道(珍藏版)
演讲人：吴甘沙 英特尔中国研究院院长兼首席工程师素材来自：经管之家(bbs.pinggu.org) 组织“中国数据分析师行业峰会”。亲爱的各位同仁，各位同学，早上好。大数据时代数据分析师应该做什么改变？我今天的标题是大数据分析师的卓越之道。这个演讲信息量比较大，我讲的不一定对，即使对的我也不一定真懂了，所以请大家以...
0
推荐
2232
阅读
这七种最常见的Hadoop和Spark项目，你见过几种？
如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它...
2
推荐
2511
阅读
大数据与BI的共同困惑 - 还差一公里
当大数据即Big Data与云计算、移动应用与社交网络风靡一世，成为近几年信息技术领域最时髦的词汇。IBM 、Oracle、SAP、微软等厂商，像寻找到了新的金矿，开始极力推崇大数据理念。于是，众厂商蜂拥而至，抢夺大数据市场打得火热。相比之下，部分推BI的厂商还达不到大数据的层次，固守在报表分析的阵地上。事实上，大数据...
0
推荐
2450
阅读
对大数据思维逻辑的反思
昨天出差长春并返连，坐车时间不低于七个小时， 只为一个持续一个小时并且仍然悬而未决的会议，貌似不值得......静静想一想，我们80%的工作都是在为20%的结果做准备。生活何尝不是呢，用了两个小时做饭，半个小时吃完了。操作大数据主要通过数据统计—数据分析—数据挖掘等技术手段发现信息线索，并用逻辑化的数据拓展既有...
1
推荐
2333
阅读
Oracle 开发中报 Ora-01779错误 解决方法
在Oracle中试图对一个子查询进行更新时可能会出现ORA-01779错误。该错误的内容为：ORA-01779: cannot modify a column which maps to a non-key-preserved table例如，使用以下的更新查询就会出现该错误。CREATE TABLE test1 ( id integer primary key, num integer ); INSERT INTO test1 VALUES (1,0);INSERT INTO...
2
推荐
2279
阅读
Hadoop 入门学习参考博文
Hadoop安装手册1-基础扫盲及准备工作 Hadoop安装手册2-Hadoop环境配置 Hadoop安装手册3-启动Hadoop基础服务Hadoop安装手册4-添加与删除Hadoop节点 配置Hadoop开发环境(1)-初始化环境 配置Hadoop开发环境(2)-配置eclipse开发环境配置Hadoop开发环境(3)-代码开发和调试示例配置Hadoop开发环境(4)-ecli...
1
推荐
2829
阅读
面试机器学习、大数据岗位时遇到的各种问题
作者：@太极儒 出处：@太极儒的博客自己的专业方向是机器学习、数据挖掘，就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同，比如数据挖掘/自然语言处理/机器学习算法工程师，或简称算法工程师，还有的称为搜索/推荐算法工程师，甚至有的并入后台工程师的范畴，视岗位具体要求而定。...