0
推荐
1453
阅读
HBase学习1（hbase基础）
认识NoSQLNoSQL：泛指非关系数据库（Not only SQL）NoSQL两重要特征：使用硬盘和把随机存储器作为存储载体NoSQL分类（按照存储格式）1）键值（Key-Value）存储数据库2）列存储数据库3）文档型存储数据库4）图形数据库目前比较流行的NoSQL数据库有Casssandra，Lucene，Neo4J，MongoDB和HBaseHBase（Hadoop Database）概念...
0
推荐
1819
阅读
sqoop学习2（数据导入与导出）
最近学习了下这个导数据的工具，但是在export命令这里卡住了，暂时排不了错误。先记录学习的这一点吧sqoop是什么sqoop（sql-on-hadoop）：是用来实现结构型数据（如关系型数据库）和hadoop之间进行数据迁移的工具。它充分利用了mapreduce的并行特点以及批处理的方式加快数据的传输，同时也借助mapreduce实现了容错。sqoo...
0
推荐
1050
阅读
spark学习3（sqoop1.4.6安装）
sqoop目前有两个版本sqoop1和sqoop2，这里安装的是sqoop1版本1）将软件上传到spark1节点2）修改权限[root@spark1 sqoop]# chmod u+x sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
3）解压安装[root@spark1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz4）重命名[root@spark1 sqoop]# mv sqoop-1.4.6....
0
推荐
1074
阅读
spark学习2-1（hive1.2安装）
由于前面安装版本过老，导致学习过程中出现了很多问题，今天安装了一个新一点的版本。安装结束启动时遇到一点问题，记录在这里。第一步：hive-1.2安装通过WinSCP将apache-hive-1.2.1-bin.tar.gz上传到/usr/hive/目录下[root@spark1 hive]# chmod u+x apache-hive-1.2.1-bin.tar.gz #增加执行权限
[root@spark1 hive]...
0
推荐
1053
阅读
spark学习2（hive0.13安装）
第一步：hive安装通过WinSCP将apache-hive-0.13.1-bin.tar.gz上传到/usr/hive/目录下[root@spark1 hive]# chmod u+x apache-hive-0.13.1-bin.tar.gz #增加执行权限
[root@spark1 hive]# tar -zxvf apache-hive-0.13.1-bin.tar.gz #解压
[root@spark1 hive]# mv apache-hive-0.13.1-bin hive-0.13
[root@spark1 hive]...
0
推荐
1484
阅读
spark学习1（hadoop集群搭建）
把原先搭建的集群环境给删除了，自己重新搭建了一次，将笔记整理在这里，方便自己以后查看第一步：安装主节点spark1第一个节点：centos虚拟机安装，全名spark1，用户名hadoop，密码123456 ，虚拟机名称spark1第二步：配置yum源需经常使用yum安装软件，使用国内网易源速度更快[root@localhost ~]# mv /etc/yum.repos.d/Ce...