0
推荐
976
阅读
spark学习7（spark2.0集群搭建）
第一步：安装spark将官网下载好的spark-2.0.0-bin-hadoop2.6.tgz上传到/usr/spark目录下。这里需注意的是spark和hadoop有对应版本关系[root@spark1 spark]# chmod u+x spark-2.0.0-bin-hadoop2.6.tgz
[root@spark1 spark]# tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz
[root@spark1 spark]# mv spark-2.0.0-bin-hadoop2....
0
推荐
1359
阅读
HBase学习3（win下使用Eclipse搭建hbase开发环境）
第一步：创建一个java project命名为wujiadong_hbase第二步：在该工程下创建一个folder命名为lib（储存依赖的jar包）第三步：将集群中的hbase安装目录下载一份到win下，将hbase下lib目录（I:\data science\hbase\hbase-0.9\lib）中所有的jar包复制到刚才创建lib文件夹下复制进去之后，选中lib文件夹下的所有jar包，右键B...
0
推荐
1257
阅读
hive学习8（小案例1练习）
创建数据库hive> create database feigu;
hive> use feigu;
创建表stg_job表drop table if exists stg_job;
create table if not exists stg_job(
web_id string comment 'web id',
web_type string comment 'web type',
job_url string comment 'job url',
job_name string comment 'job name',
job_location...
0
推荐
1375
阅读
HBase学习2（HBase shell）
HBase 常用命令查看当前用户：whoami
创建表：create '表名', '列族名1','列族名2','列族名N'
查看所有表：list
描述表： describe ‘表名’
判断表存在： exists '表名'
判断是否禁用启用表：is_enabled '表名'和is_disabled ‘表名’
添加记录： put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , '值'
查看表中的记...
0
推荐
1453
阅读
HBase学习1（hbase基础）
认识NoSQLNoSQL：泛指非关系数据库（Not only SQL）NoSQL两重要特征：使用硬盘和把随机存储器作为存储载体NoSQL分类（按照存储格式）1）键值（Key-Value）存储数据库2）列存储数据库3）文档型存储数据库4）图形数据库目前比较流行的NoSQL数据库有Casssandra，Lucene，Neo4J，MongoDB和HBaseHBase（Hadoop Database）概念...
0
推荐
1238
阅读
spark学习5（hbase集群搭建）
第一步：Hbase安装hadoop，zookeeper前面都安装好了将hbase-1.1.3-bin.tar.gz上传到/usr/HBase目录下[root@spark1 HBase]# chmod u+x hbase-1.1.3-bin.tar.gz
[root@spark1 HBase]# tar -zxvf hbase-1.1.3-bin.tar.gz
[root@spark1 HBase]# mv hbase-1.1.3 hbase-1.1
[root@spark1 ~]# vi/etc/profile #配置环境变量
...
0
推荐
859
阅读
spark学习4（zookeeper3.4集群搭建）
第一步：zookeeper安装通过WinSCP软件将zookeeper-3.4.8.tar.gz软件传送到/usr/zookeeper/目录下[root@spark1 zookeeper]# chmod u+x zookeeper-3.4.8.tar.gz #增加执行权限
[root@spark1 zookeeper]# tar -zxvf zookeeper-3.4.8.tar.gz #
[root@spark1 zookeeper]# mv zookeeper-3.4.8 zk
[root@spark1 ~]# vi /etc/...
0
推荐
1585
阅读
sqoop学习3（数据导入乱码问题）
sqoop将mysql数据库中数据导入hdfs或hive中后中文乱码问题解决办法[root@spark1 ~]# vi /etc/my.cnf 修改配置文件
在文件内的[mysqld]和client下增加如下1行
[mysqld]
default-character-set=utf8
[client]
default-character-set=utf8
然后在创建数据库和表时都指定字符集为utf8
mysql> create database wujia...
0
推荐
1819
阅读
sqoop学习2（数据导入与导出）
最近学习了下这个导数据的工具，但是在export命令这里卡住了，暂时排不了错误。先记录学习的这一点吧sqoop是什么sqoop（sql-on-hadoop）：是用来实现结构型数据（如关系型数据库）和hadoop之间进行数据迁移的工具。它充分利用了mapreduce的并行特点以及批处理的方式加快数据的传输，同时也借助mapreduce实现了容错。sqoo...
0
推荐
1101
阅读
java基础11（IO流）-字符流
转换流由于字节流操作中文不是特别方便，所以java中提供了转换流编码表：由现实世界的字符和对应的数值组成的一张表编码：把看得懂的变成看不懂的(String-------byte[])解码：把看不懂的变成看得懂的(byte[]-------String)String-----bytes[]import java.util.Arrays;
import java.io.UnsupportedEncodingException;
p...
0
推荐
1235
阅读
java基础10（IO流）-字节流
IO流输入与输出【参照物是程序】如果从键盘、文件、网络甚至是另一个进程（程序或系统）将数据读入到程序或系统中，称为输入如果是将程序或系统中的数据写到屏幕、硬件上的文件、网络上的另一端或者是一个进程（程序或系统），称为输出IO流的分类根据数据流向不同分为：输入流和输出流输入流: 程序可以从中读取数据的流...
0
推荐
1447
阅读
java基础9（IO流）-File类
File类File：文件和目录路径名的抽象表示形式。即java中把文件或者目录都封装成File对象代码练习1import java.io.File;
public class FileDemo1{
public static void main(String[] args){
//将路径封装成一个file对象
File file = new File("/home/hadoop/javatest/wujiadong1.txt");
...
0
推荐
1097
阅读
java基础（8）-集合类
增强for循环/*
*增强for循环
* for(元素类型 变量:数据或Collection集合){
* 使用变量即可，该变量就是元素
* }
* 优点：简化了数组和集合的遍历
* 缺点：增强for的目标不能为null
* 解决方法：对for的目标先进行不是null的判断，然后再使用
*/
import java.util.ArrayList;
import java....
0
推荐
2499
阅读
hive学习3（hive基本操作）
hive基本操作hive的数据类型1）基本数据类型TINYINT,SMALLINT,INT,BIGINTFLOAT/DOUBLEBOOLEANSTRING2）复合类型ARRAY：一组有序字段。字段的类型必须相同，例Array(1,2)MAP：一组无序的键/值对。键的类型必须是原子的，值可以是任何类型，同一个映射的键的类型必须相同，值得类型也必须相同。例Map('a',1,'b',2)STRUCT：...
0
推荐
1050
阅读
spark学习3（sqoop1.4.6安装）
sqoop目前有两个版本sqoop1和sqoop2，这里安装的是sqoop1版本1）将软件上传到spark1节点2）修改权限[root@spark1 sqoop]# chmod u+x sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
3）解压安装[root@spark1 sqoop]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz4）重命名[root@spark1 sqoop]# mv sqoop-1.4.6....