sqoop
1
推荐
1746
浏览
sqoop create jib Exception in thread "main" java.lang.NoClassDefFoundError:
错误信息:解决方法:这是因为sqoop缺少java-json.jar包. 下载java-json.jar包:http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm把java-json.jar添加到../sqoop/lib目录:
思恩 发表了文章 • 2018-07-29 17:47
0
推荐
1699
浏览
sqoop 常用的导入与导出命令
1 添加数据sqoop import --connect jdbc:mysql://localhost:3306/sqooptest --table sqoop_class --username root --password hadoop --check-column class_id --incremental append --last-value 6 -m 1sqooptes...
盼香归来 发表了文章 • 2017-10-24 16:16
0
投票
0
回答
1293
浏览
各位大神,你们做Oracle等数据库的数据迁移到hdfs,是咋做的?感觉用sqoop比较慢啊…
driven 发起了问题 • 2017-09-07 15:45
1
推荐
1703
浏览
Sqoop 1.4.6 安装
下载Sqoop,选择 (sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz) http://apache.fayea.com/sqoop/1.4.6/拷贝至安装目录并解压缩 tar ...
天桥下的郑成功 发表了文章 • 2017-06-07 22:22
0
投票
0
回答
1050
浏览
sqoop使用-merge-key导入报错
~似水~ 发起了问题 • 2017-05-17 15:43
0
推荐
1798
浏览
sqoop 常用命令整理1
从sqoop的官网整理,1.4.3版本Document 1.使用sqoop导入数据 sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST 2.账号密码 s...
天桥下的郑成功 发表了文章 • 2017-05-15 20:56
0
投票
1
已解决
2046
浏览
请教,用sqoop 把mysql的数据导入到hive 总有一条重复数据。怎么破?
regan 回复了问题 • 2017-03-17 10:01
2
推荐
2186
浏览
0
投票
0
回答
1460
浏览
sqoop import时过滤条件时中文报错
词不达意 发起了问题 • 2017-02-08 12:06
0
投票
0
回答
1587
浏览
大家公司用的sqoop是哪个版本的啊 sqoo1还是sqoop2,新手刚学sqoop不知道从哪个版本下手,两个版本的差距有点大啊
qvxiaobai123 发起了问题 • 2016-12-20 18:48
0
投票
2
已解决
1818
浏览
sqoop 导入 MySQL 到 hdfs 报错
MarsJ 回复了问题 • 2016-12-09 15:08
8
推荐
4798
浏览
0
投票
1
回答
1326
浏览
sqooq传输文件时报错
MarsJ 回复了问题 • 2016-10-11 15:12
14
推荐
7563
浏览
3
推荐
4061
浏览
Sqoop导入数据时添加时间戳字段
import转载请注明出处!背景说明:当利用Sqoop从Oracle等关系型数据库中抽取数据到Hive或HDFS时,加载到Hive或HDFS的数据需要有一个加载时间戳,以便于后续加载的数据做更新比对。解决思路:在Sqoop中进行导入时...
MarsJ 发表了文章 • 2016-06-21 17:39
貌似导出最后成功了,从中间的错误信息WARN hdfs.DFSClient: Caught exception来看,是DFS即HDFS连接出现问题,可能是HDFS当时处于不可连接状态,但是后面又抽取成功。后面执行Sqoop任务还有这样的警告吗?
貌似导出最后成功了,从中间的错误信息WARN hdfs.DFSClient: Caught exception来看,是DFS即HDFS连接出现问题,可能是HDFS当时处于不可连接状态,但是后面又抽取成功。后面执行Sqoop任务还有这样的警告吗?
用下面的方式试一试~IP=$1
PORT=$2
DB=$3
USERNAME=$4
PASSWORD=$5
TABLE=$6
HIVE_DB=$7
HIVE_TABLE=$8
HDFS_LOCATION=$9
PARTITION_COLUMN=${10}
CO... 显示全部 »
PORT=$2
DB=$3
USERNAME=$4
PASSWORD=$5
TABLE=$6
HIVE_DB=$7
HIVE_TABLE=$8
HDFS_LOCATION=$9
PARTITION_COLUMN=${10}
CO... 显示全部 »
用下面的方式试一试~IP=$1
PORT=$2
DB=$3
USERNAME=$4
PASSWORD=$5
TABLE=$6
HIVE_DB=$7
HIVE_TABLE=$8
HDFS_LOCATION=$9
PARTITION_COLUMN=${10}
CON_DATE=${11}
#format 2017-01-09
n_day=${12}
t_day=`date --date=$n_day '+%s'`
yesterday=$(date -d"yesterday $n_day" '+%s')
HIVE_DB_TABLE=$HIVE_DB.$HIVE_TABLE
MYSQL_JDBC=jdbc:mysql://$IP:$PORT/$DB
PARTITION_PATH=$HDFS_LOCATION/$n_day
echo "--------------------"
echo "--jdbc:mysql://$IP:$PORT/$DB"
echo "--username/password:$USERNAME/$PASSWORD"
echo "--mysql table:$TABLE"
echo "--hive table:$HIVE_DB.$HIVE_TABLE"
echo "--store hdfs:$HDFS_LOCATION"
echo "--partition column:$PARTITION_COLUMN"
echo "--partition path:$PARTITION_PATH"
echo "--increment date column:$CON_DATE"
echo "--schedule date:$n_day"
echo "-----start export------"
echo "select sql: select * from $TABLE where $CON_DATE >= '$yesterday' and $CON_DATE < '$t_day' and 1=1"
sqoop import --connect $MYSQL_JDBC --table $TABLE --username $USERNAME --password $PASSWORD -m 10 --append --hive-import --hive-overwrite --hive-database xxx_dw --hive-table can_schedule_list --hive-partition-key data_date --hive-partition-value $n_day --fields-terminated-by "\0001" --where "$CON_DATE>='$yesterday' and $CON_DATE<'$t_day'
PORT=$2
DB=$3
USERNAME=$4
PASSWORD=$5
TABLE=$6
HIVE_DB=$7
HIVE_TABLE=$8
HDFS_LOCATION=$9
PARTITION_COLUMN=${10}
CON_DATE=${11}
#format 2017-01-09
n_day=${12}
t_day=`date --date=$n_day '+%s'`
yesterday=$(date -d"yesterday $n_day" '+%s')
HIVE_DB_TABLE=$HIVE_DB.$HIVE_TABLE
MYSQL_JDBC=jdbc:mysql://$IP:$PORT/$DB
PARTITION_PATH=$HDFS_LOCATION/$n_day
echo "--------------------"
echo "--jdbc:mysql://$IP:$PORT/$DB"
echo "--username/password:$USERNAME/$PASSWORD"
echo "--mysql table:$TABLE"
echo "--hive table:$HIVE_DB.$HIVE_TABLE"
echo "--store hdfs:$HDFS_LOCATION"
echo "--partition column:$PARTITION_COLUMN"
echo "--partition path:$PARTITION_PATH"
echo "--increment date column:$CON_DATE"
echo "--schedule date:$n_day"
echo "-----start export------"
echo "select sql: select * from $TABLE where $CON_DATE >= '$yesterday' and $CON_DATE < '$t_day' and 1=1"
sqoop import --connect $MYSQL_JDBC --table $TABLE --username $USERNAME --password $PASSWORD -m 10 --append --hive-import --hive-overwrite --hive-database xxx_dw --hive-table can_schedule_list --hive-partition-key data_date --hive-partition-value $n_day --fields-terminated-by "\0001" --where "$CON_DATE>='$yesterday' and $CON_DATE<'$t_day'
0
投票
0
回答
1293
浏览
各位大神,你们做Oracle等数据库的数据迁移到hdfs,是咋做的?感觉用sqoop比较慢啊…
driven 发起了问题 • 2017-09-07 15:45
0
投票
0
回答
1050
浏览
sqoop使用-merge-key导入报错
~似水~ 发起了问题 • 2017-05-17 15:43
0
投票
1
已解决
2046
浏览
请教,用sqoop 把mysql的数据导入到hive 总有一条重复数据。怎么破?
regan 回复了问题 • 2017-03-17 10:01
0
投票
0
回答
1460
浏览
sqoop import时过滤条件时中文报错
词不达意 发起了问题 • 2017-02-08 12:06
0
投票
0
回答
1587
浏览
大家公司用的sqoop是哪个版本的啊 sqoo1还是sqoop2,新手刚学sqoop不知道从哪个版本下手,两个版本的差距有点大啊
qvxiaobai123 发起了问题 • 2016-12-20 18:48
0
投票
2
已解决
1818
浏览
sqoop 导入 MySQL 到 hdfs 报错
MarsJ 回复了问题 • 2016-12-09 15:08
0
投票
1
回答
1326
浏览
sqooq传输文件时报错
MarsJ 回复了问题 • 2016-10-11 15:12
1
推荐
1746
浏览
sqoop create jib Exception in thread "main" java.lang.NoClassDefFoundError:
错误信息:解决方法:这是因为sqoop缺少java-json.jar包. 下载java-json.jar包:http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm把java-json.jar添加到../sqoop/lib目录:
思恩 发表了文章 • 2018-07-29 17:47
0
推荐
1699
浏览
sqoop 常用的导入与导出命令
1 添加数据sqoop import --connect jdbc:mysql://localhost:3306/sqooptest --table sqoop_class --username root --password hadoop --check-column class_id --incremental append --last-value 6 -m 1sqooptes...
盼香归来 发表了文章 • 2017-10-24 16:16
1
推荐
1703
浏览
Sqoop 1.4.6 安装
下载Sqoop,选择 (sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz) http://apache.fayea.com/sqoop/1.4.6/拷贝至安装目录并解压缩 tar ...
天桥下的郑成功 发表了文章 • 2017-06-07 22:22
0
推荐
1798
浏览
sqoop 常用命令整理1
从sqoop的官网整理,1.4.3版本Document 1.使用sqoop导入数据 sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST 2.账号密码 s...
天桥下的郑成功 发表了文章 • 2017-05-15 20:56
2
推荐
2186
浏览
8
推荐
4798
浏览
14
推荐
7563
浏览
3
推荐
4061
浏览
Sqoop导入数据时添加时间戳字段
import转载请注明出处!背景说明:当利用Sqoop从Oracle等关系型数据库中抽取数据到Hive或HDFS时,加载到Hive或HDFS的数据需要有一个加载时间戳,以便于后续加载的数据做更新比对。解决思路:在Sqoop中进行导入时...
MarsJ 发表了文章 • 2016-06-21 17:39
7
推荐
10444
浏览
Sqoop 1.4.6 导入实战 (RDB含MySQL和Oracle)
Sqoop-1.4.6使用手册-v1.0-import部分安装使用Sqoop-1.4.6.jarJDBC包导入从RDB导入数据至HDFSOracleMySQL从RDB导入数据至HiveOracleMySQL导入全部表空值处理增量导入导入新数据导入更新数据导入数据表的子集保存...
MarsJ 发表了文章 • 2016-06-12 20:04