HDFS
0
推荐
1391
浏览
单机 大数据平台搭建 1-- HDFS安装
本系列文包含HDFS,YARN，MapReduce，HIVE，Spark的安装和使用，不出意外的话每周更新一篇；配置都是基于官方文档，所以大家多阅读理解官网 好处多多； 单机环境很适合初学者开发学习。环境是CentOS7 ；hadoop-2.6...
攻城的狮子 发表了文章 • 2019-08-24 21:07
3
推荐
3999
浏览
Hadoop + Hive + Spark 完整安装攻略
Prerequisites 桌面环境: Mac OSX虚拟机管理软体: Vagrant虚拟机: Virtual BoxClone repogit clone https://github.com/bryanyang0528/hellobicd hellobi/pyspark/envdownload filesmkdir filessh down...
bryanyang 发表了文章 • 2017-11-09 11:41
2
推荐
2090
浏览
Hadoop编程调用HDFS
前言HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，...
张丹 发表了文章 • 2017-04-06 15:26
0
投票
1
已解决
1249
浏览
大神们，问下，大数据量使用表输入效率怎么样？目的是从mysql抽到HDFS
MarsJ 回复了问题 • 2017-01-09 09:52
2
推荐
1963
浏览
0
投票
2
已解决
1592
浏览
请教一个问题，HDFS设置备份次数为3。1台机器死掉了，它上面的文件备份次数就减为2了，cloudera是自动开始同步备份恢复到3吗？有手动恢复到3的命令吗？
MarsJ 回复了问题 • 2016-10-18 15:16
2
推荐
1873
浏览
1. 跟我学hdfs系列-hdfs概述
1.1 HDFS的主要设计理念1、存储超大文件hdfs是一种分布式文件存储结构，可以理解为一个超大型的文件系统，可以通过命令：hadoop fs –ls，显示文件系统中的根目录的文件。2、最高效的访问模式是 一次写入、多...
Kenny 发表了文章 • 2016-10-14 09:45
0
投票
1
已解决
2490
浏览
如何查看一个文件在namenode节点中元数据所占的大小？
Bob 回复了问题 • 2016-03-18 13:14
0
投票
2
已解决
3586
浏览
kafka topic数据如何写入hdfs？
牟瑞 回复了问题 • 2015-11-20 09:16
1
推荐
3461
浏览
Hadoop集群（第8期）_HDFS初探之旅
1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所...
xia520pi 发表了文章 • 2015-10-06 11:16
0
推荐
2524
浏览
基于HDFS的数据建inceptor表
1、进入装有 inceptorservice 角色的节点transwarp –t –h localhost，如果当前节点不是inceptor节点，则可以把localhost换为inceptor节点的ip，在inceptor中的语句不区分大小写。2、查看可用database：showdataba...
华青莲 发表了文章 • 2015-09-19 18:18
主要还是看你的业务场景，如果需要实时计算，可以通过spark读取kafka-〉计算指标-〉写入HDFS，这个官方是有例子的。
如果不需要实时计算，可以通过定时任务，读取kafka的数据然后写入到HDFS中
kafka是否支持publish我没有研究。实际的项目... 显示全部 »
如果不需要实时计算，可以通过定时任务，读取kafka的数据然后写入到HDFS中
kafka是否支持publish我没有研究。实际的项目... 显示全部 »
主要还是看你的业务场景，如果需要实时计算，可以通过spark读取kafka-〉计算指标-〉写入HDFS，这个官方是有例子的。
如果不需要实时计算，可以通过定时任务，读取kafka的数据然后写入到HDFS中
kafka是否支持publish我没有研究。实际的项目中，我是通过python-kafka来读取数据的。
如果不需要实时计算，可以通过定时任务，读取kafka的数据然后写入到HDFS中
kafka是否支持publish我没有研究。实际的项目中，我是通过python-kafka来读取数据的。
数据文件上传到hdfs以后，都是直接存储在磁盘中。
namenode的元数据信息也是记录到磁盘中，在dfs.namenode.name.dir 中
namenode的元数据信息也是记录到磁盘中，在dfs.namenode.name.dir 中
数据文件上传到hdfs以后，都是直接存储在磁盘中。
namenode的元数据信息也是记录到磁盘中，在dfs.namenode.name.dir 中
namenode的元数据信息也是记录到磁盘中，在dfs.namenode.name.dir 中
Bob 回答了问题 • 2016-10-13 14:56 • 2 个回复
请教一个问题，HDFS设置备份次数为3。1台机器死掉了，它上面的文件备份次数就减为2了，cloudera是自动开始同步备份恢复到3吗？有手动恢复到3的命令吗？
hadoop是默认进行副本的修复工作
你可以使用hadoop的fsck命令进行修复。
你可以使用hadoop的fsck命令进行修复。
hadoop是默认进行副本的修复工作
你可以使用hadoop的fsck命令进行修复。
你可以使用hadoop的fsck命令进行修复。
Sqoop数据抽取到HDFS，Sqoop底层执行的是MapReduce作业，你可以看一下学院里大数据视频的Sqoop部分https://edu.hellobi.com/course/93/play/lesson/1555
Sqoop数据抽取到HDFS，Sqoop底层执行的是MapReduce作业，你可以看一下学院里大数据视频的Sqoop部分https://edu.hellobi.com/course/93/play/lesson/1555
0
投票
1
已解决
1249
浏览
大神们，问下，大数据量使用表输入效率怎么样？目的是从mysql抽到HDFS
MarsJ 回复了问题 • 2017-01-09 09:52
0
投票
2
已解决
1592
浏览
请教一个问题，HDFS设置备份次数为3。1台机器死掉了，它上面的文件备份次数就减为2了，cloudera是自动开始同步备份恢复到3吗？有手动恢复到3的命令吗？
MarsJ 回复了问题 • 2016-10-18 15:16
0
投票
1
已解决
2490
浏览
如何查看一个文件在namenode节点中元数据所占的大小？
Bob 回复了问题 • 2016-03-18 13:14
0
投票
2
已解决
3586
浏览
kafka topic数据如何写入hdfs？
牟瑞 回复了问题 • 2015-11-20 09:16
0
推荐
1391
浏览
单机 大数据平台搭建 1-- HDFS安装
本系列文包含HDFS,YARN，MapReduce，HIVE，Spark的安装和使用，不出意外的话每周更新一篇；配置都是基于官方文档，所以大家多阅读理解官网 好处多多； 单机环境很适合初学者开发学习。环境是CentOS7 ；hadoop-2.6...
攻城的狮子 发表了文章 • 2019-08-24 21:07
3
推荐
3999
浏览
Hadoop + Hive + Spark 完整安装攻略
Prerequisites 桌面环境: Mac OSX虚拟机管理软体: Vagrant虚拟机: Virtual BoxClone repogit clone https://github.com/bryanyang0528/hellobicd hellobi/pyspark/envdownload filesmkdir filessh down...
bryanyang 发表了文章 • 2017-11-09 11:41
2
推荐
2090
浏览
Hadoop编程调用HDFS
前言HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System)，是Hadoop的核心部分之一。要实现MapReduce的分步式算法时，数据必需提前放在HDFS上。因此，对于HDFS的操作就变得非常重要。Hadoop的命令行，...
张丹 发表了文章 • 2017-04-06 15:26
2
推荐
1963
浏览
2
推荐
1873
浏览
1. 跟我学hdfs系列-hdfs概述
1.1 HDFS的主要设计理念1、存储超大文件hdfs是一种分布式文件存储结构，可以理解为一个超大型的文件系统，可以通过命令：hadoop fs –ls，显示文件系统中的根目录的文件。2、最高效的访问模式是 一次写入、多...
Kenny 发表了文章 • 2016-10-14 09:45
1
推荐
3461
浏览
Hadoop集群（第8期）_HDFS初探之旅
1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所...
xia520pi 发表了文章 • 2015-10-06 11:16
0
推荐
2524
浏览
基于HDFS的数据建inceptor表
1、进入装有 inceptorservice 角色的节点transwarp –t –h localhost，如果当前节点不是inceptor节点，则可以把localhost换为inceptor节点的ip，在inceptor中的语句不区分大小写。2、查看可用database：showdataba...
华青莲 发表了文章 • 2015-09-19 18:18
