2
推荐
1761
阅读
spark环境搭建
准备工作 一套搭建好的hadoop环境下载scala、spark安装包1、安装scalatar -xzvf scala-2.12.3.tgz2、安装sparktar -xzvf spark-2.2.0-bin-hadoop2.7.tgz3、修改 、/etc/profile文件JAVA_HOME=/usr/java/jdk1.8.0_144/
HADOOP_HOME=/opt/hadoop-2.7.4
SCALA_HOME=/opt/scala-2.12.3
SPARK_HOME=/opt/sp...
1
推荐
1536
阅读
3
推荐
1726
阅读
搭建hadoop环境遇到的问题
不断扩充中 嗯 ing~目录1、50070端口访问失败 ，已关闭防火墙。18088端口可以访问2、datanode没有启动3、jdk安装报错：Error occurred during initalization of VM java/lang/NoClssDefFoun4、格式化hadoop报错java.lang.InternalError: internal error: SHA-1 not available.5、执行hdfs namenode -format报错遇...
2
推荐
1560
阅读
hadoop分布式环境配置
有些设置与之前写的hadoop配置相同部分不再赘述(https://ask.hellobi.com/blog/wulili/5603)hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave几个文件，master和slave中配置都是一样的。目录一、环境准备二、环境配置 1、配置SSH 2、配置jdk...
3
推荐
1630
阅读
spark与hadoop
在网上摘取的一些关于两者的对比，待增加。。sparkSpark是小数据集上处理复杂迭代的交互系统，并不擅长大数据集，也没有稳定性。但是最近的风评已经变化，尤其是14年10月他们完成了Peta sort的实验，这标志着Spark越来越接近替代Hadoop MapReduce了。HadoopHadoop包括Yarn和HDFS以及MapReduce，说Spark代替Hadoop应该说...
2
推荐
2191
阅读
sqoop安装
1、下载sqoop 下载地址：http://sqoop.apache.org/2、安装# tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz3、更改解压后文件的名字(因为源名字太长)：# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz sqoop-1.4.64、编辑 profile文件# vi /etc/profile 添加 export SQO...
4
推荐
3231
阅读
hadoop环境搭建笔记
MARSJ 老师的课程笔记( https://ask.hellobi.com/blog/marsj/4944 ) 便于以后查看做了更详细的配置记录以及安装时遇到的问题解决方法整理的所需要的软件包及镜像 http://pan.baidu.com/s/1mioGFNE注：使用redhead搭建环境的 建议不要修改主机名 因为会出现奇葩问题目录一、安装准备 ...