
Hadoop
跑数出现连不上hive数据库的问题
HDP中Metrics Collector服务启动后立即终止
Hive3 误操作删除数据后的恢复方案
老头子 发表了文章 • 2021-03-04 17:19
Hive UDF 无法删除的BUG
老头子 发表了文章 • 2021-01-19 13:44
有条hiveSql走Tez引擎, 针对mr的配置应该不会生效了吧?
SQL Server Data Tools通过HDFS文件源读取Hadoop文件
Python数据插入Hive中文编码问题
走马兰台 发表了文章 • 2019-11-10 18:35
python 实现hadoop的mapreduce
DataFrog 发表了文章 • 2019-08-28 19:38
单机 大数据平台搭建 2-- MapReduce和YARN
攻城的狮子 发表了文章 • 2019-08-24 21:33
单机 大数据平台搭建 1-- HDFS安装
攻城的狮子 发表了文章 • 2019-08-24 21:07
通过ODI接口把数据从Oracle数据库抽到HIVE数据库怎么解决
hiveserver2不能启动
hadoop subdir目录存储大
MapReduce数据处理[经典面试题02]
brucelu 发表了文章 • 2019-01-05 12:48
MapReduce数据处理[经典面试题01]
brucelu 发表了文章 • 2019-01-05 11:59
1.降低sqoop1.99.6版本到sqoop 1.99.3版本试一下。
2.运行sqoop的时候监控下系统的资源情况。
3.换一种思路或者方案,sqoop毕竟只是一个工具,不一定能解决所有... 显示全部 »
1.降低sqoop1.99.6版本到sqoop 1.99.3版本试一下。
2.运行sqoop的时候监控下系统的资源情况。
3.换一种思路或者方案,sqoop毕竟只是一个工具,不一定能解决所有的问题,看看能否通过导出的方式,先导出,然后再上传到HDFS上
以上,有问题欢迎随时沟通。

Bob 回答了问题 • 2017-03-14 13:24 • 2 个回复
国内大多互联网公司的大数据工程师实习都是需要大数据项目经验,怎么样在自己研究方向不是数据科学和ml相关的情况下接触到hadoop,spark相关项目呢?
多逛大数据的问答社区
主动参与到其他的项目,哪怕是打杂都是可以的。学习这些项目的实际运作流程
多逛大数据的问答社区
主动参与到其他的项目,哪怕是打杂都是可以的。学习这些项目的实际运作流程
如果要 涉及到对用户 行为的一些预测,对 用户关系网络 进行分析需要 用到... 显示全部 »
如果要 涉及到对用户 行为的一些预测,对 用户关系网络 进行分析需要 用到图计算, 要根据用户的历史浏览数据,喜好,评论,做 聚类、推荐 当然是要 用到MLlib
这上面有300来个开放的数据集
这上面有300来个开放的数据集

Bob 回答了问题 • 2017-03-30 13:55 • 2 个回复
做大数据大家比较关心哪个方面?优先保证hadoop整个集群的正常运转?快速开发map/reduce?保证数据分析的速度?保证数据分析的准确性?
2.从技术、人力等方面的投入产出是否符合现状
3.整套体系运行起来后的维护人力、时间方面是否是可承受范围
4.对现有的运营效率是否有提升
5.大数据应用有没有扩大到当前系统研发、数据分析和挖掘等方方面面
2.从技术、人力等方面的投入产出是否符合现状
3.整套体系运行起来后的维护人力、时间方面是否是可承受范围
4.对现有的运营效率是否有提升
5.大数据应用有没有扩大到当前系统研发、数据分析和挖掘等方方面面
只要大的 版本号一样就 没什么问题,试试即可, 不行再换2.7
只要大的 版本号一样就 没什么问题,试试即可, 不行再换2.7

H_Elsker 回答了问题 • 2017-04-28 17:01 • 1 个回复
虚拟机搭建hadoop分布非常费内存,对机子要求比较高,有没有折中的办法?伪分布式是怎么回事?可以解决机器性能问题吗?
伪分布式 说白了,就是一个节点。
机器性能问题,就是看你怎么用了?你应用到什么环境?
伪分布式 说白了,就是一个节点。
机器性能问题,就是看你怎么用了?你应用到什么环境?

liutangwow 回答了问题 • 2017-08-09 13:31 • 2 个回复
像spark hadoop这些大数据相关的怎么自我学习,比如说集群 个人电脑条件也不满足 有没有什么云平台可以提供实验环境?
1. 公司支持
公司技术迭代,需要使用Hadoop、Spark,那肯定会提供测试环境等一切资源,那就很方便了;
公司没有需求,那是否可以和上级领导反馈下,申请测试环境供大家... 显示全部 »
1. 公司支持
公司技术迭代,需要使用Hadoop、Spark,那肯定会提供测试环境等一切资源,那就很方便了;
公司没有需求,那是否可以和上级领导反馈下,申请测试环境供大家自主学习使用,这个估计要看具体情况;
公司有没有闲置的机器,都可以利用起来
2. 个人
个人电脑安装VirtualBox之类的虚拟机,开3个虚拟机玩儿就够了,电脑的话配置也就内存8G以上应该足够了,CPU差不多就行了,直接装Linux就行了;
可以使用Docker,可以简单的把他看成虚拟机,找些资料看看,简单使用应该没问题,使用Docker开实例很方便,不像虚拟机那样耗费很多资源
要不开通个阿里云之类的,在云平台上面玩儿,这个价钱不清楚,可以去官网看看
hive -e
"use youdatabase;
insert overwrite local directory '/home/hive/userlogs' into table user_log... 显示全部 »
hive -e
"use youdatabase;
insert overwrite local directory '/home/hive/userlogs' into table user_logs;
"
我这边就照着配的 没啥问题暂时看来
55859
我这边就照着配的 没啥问题暂时看来
55859
《人人都会数据分析》20万字电子版
面包君 发表了文章 • 2018-01-03 15:15
如何基于大数据Hadoop hive来做数据仓库的设计
Hadoop集群搭建笔记
MarsJ 发表了文章 • 2016-09-07 08:55
【原创】企业Hadoop生态圈架构原理与应用——传统BI 向大数据Data Center转型的必备技能(一个实践者的心得经验)--附pdf
胡艺友_数据胡 发表了文章 • 2016-09-03 12:12
hadoop、python、Oracle 哪个前景好?
Congos+Hive项目记录(一)
华青莲 发表了文章 • 2016-07-13 11:05
Hive与HBase的集成实践
MarsJ 发表了文章 • 2016-05-30 20:13
Hadoop2有什么好的性能分析工具,求推荐
数据开发系列篇(1):大数据处理和编程实践Hadoop(一)
面包君 发表了文章 • 2016-04-07 11:20
Hive安装及使用攻略
张丹 发表了文章 • 2016-04-05 19:47
应该怎么去设计一个推荐系统,需要考虑哪些因素?
HDP中Metrics Collector服务启动后立即终止
SQL Server Data Tools通过HDFS文件源读取Hadoop文件
hiveserver2不能启动
hadoop subdir目录存储大
问下 在hive里面 有A库 和B库 两个库都有一个C表 insert A.C select B.C 为何会很慢呢
求助,针对大数据平台(Hadoop,Hive,HBase),有那些开源的数据安全监控管理工具?主要用于数据安全管理,非法数据访问的管理分析,谢谢。
通过Linux语句操作Linux环境上的hive上的表数据
cognos连cloudera impala 期待回复
咨询kafka分区迷惑
请教一下前辈们,paas和spss、python、sas、hadoop之类的从属关系怎么理解?重要性呢?
Sqoop 连接MySQL报错:拒绝连接 (Connection refused)
国内大多互联网公司的大数据工程师实习都是需要大数据项目经验,怎么样在自己研究方向不是数据科学和ml相关的情况下接触到hadoop,spark相关项目呢?
Impala中查询HBase数据报错
【IT出版】计算机、软件、互联网、大数据类出版征稿
python 实现hadoop的mapreduce
DataFrog 发表了文章 • 2019-08-28 19:38
安装Hadoop和CDH记录
走马兰台 发表了文章 • 2018-12-20 17:05
CDH安装系统环境准备——系统版本和安装包下载地址指南
dcpeng 发表了文章 • 2018-09-11 13:03
实现Hive查询操作HBase中的数据
Max_Leo 发表了文章 • 2018-08-27 19:54
大数据环境-快速安装使用
Max_Leo 发表了文章 • 2018-08-21 14:54