0
推荐
2077
阅读
Sqoop增量导入
1、核心参数–check-column，用来指定一些列，这些列在导入时用来检查做决定数据是否要被作为增量数据，在一般关系型数据库中，都存在类似Last_Mod_Date的字段或主键。注意：这些被检查的列的类型不能是任意字符类型，例如Char，VARCHAR…（即字符类型不能作为增量标识字段） –incremental，用来指定增量导入的模式（...
0
推荐
1985
阅读
hadoop HDFS常用文件操作命令
hadoop HDFS常用文件操作命令https://segmentfault.com/a/1190000002672666 原贴命令基本格式:hadoop fs -cmd < args >
1.lshadoop fs -ls /
列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /
列出hdfs文件系统所有的目录和文件2.puthadoop fs -put < local file > < hdfs file >
hdfs file...
0
推荐
3129
阅读
sqoop连接mysql报错（使用主机名报错，localhost不报错） java.sql.SQLException: Access denied for user 'root'@'bigdata' (using password: YES)
连接mysql报错日志[root@bigdata ~]# sqoop list-databases --connect jdbc:mysql://bigdata:3306 --username root --password mysql;Warning: /software/sqoop-1.4.6/bin/../../hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root of your HBase installation.Warning: /software/sqoo...
0
推荐
2309
阅读
centos6.5使用rpm包安装mysql5.5.57
简单搞下rpm安装，抽时间搞下编译安装。mysql下载地址https://dev.mysql.com/downloads/file/?id=471231查看解压包[root@bigdata mysql5.5]# ls -lrttotal 294388-rw-r--r--. 1 7155 31415 15139692 Jun 5 02:37 MySQL-client-5.5.57-1.el6.x86_64.rpm-rw-r--r--. 1 7155 31415 4959208 Jun 5 ...
0
推荐
1627
阅读
sqoop version 报错
报错[root@bigdata bin]# sqoop version
Error: /software/sqoop-1.4.6/bin/../../hadoop does not exist!
Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation.
[root@bigdata bin]#
[root@bigdat...
0
推荐
1435
阅读
YARN笔记
1. YARN的产生背景MRv1编程模型：Map阶段和Reduce阶段数据处理引擎：MapTask和ReduceTask运行时环境：JobTracker（资源管理和作业控制）和TaskTracker（接受JT命令并具体执行）MRv2编程模型、数据处理引擎，与MRv1是一样的 唯一不同的是运行时环境。MRv2是运行于YARN之上的MapReduce计算框架。YARN（资源管理与调度...
0
推荐
2113
阅读
Hadoop集群搭建笔记
1、安装虚拟机VMware workstationCentOS 镜像 安装Linux虚拟机：（在Win7上）1）安装VMwareWorkstations（可修改配置）2）添加CentOS镜像（启动安装 ->配置网络）网络配置：NAT模式网络重启：service network restart关闭系统：shutdown -h now 2、远程连接Xshell5Xftp5 3、在Linux上搭建Hadoop集群下...