Orcle->HDFS->HIVE

浏览: 1629

#!/bin/bash

# set the variable

ORA_NAME="ylyp"

ORA_PASSWORD="oracle"

ORA_CONNECTOR="jdbc:oracle:thin:@//192.100.10.1:1521/jgyw"

#receive the param

TABLE_NAME=$1

BEGIN_DATE=$2

END_DATE=$3

#inceptor db name

INCEPTOR_DBNAME="dwbi"

INCEPTOR_SERVER="jdbc:hive2://192.100.1.1:10000/dwbi"

#sqoop -> hdfs dir

HDFS_URL="/bidw/accident"

#hdfs data stay place

HDFS_DW_DATA="/inceptorsql2/user/hive/warehouse"

#Increment update data -> hdfs dir

#accident

#TABLE_LIST=(ACD_DIM_RQ,ACD_DIM_SGXQ,ACD_DIM_SGSD,ACD_DIM_SGTQ,ACD_DIM_XZQH_NEW,ACD_DIM_SGYY,ACD_DIM_SGXT,ACD_DIM_SGLX,ACD_DIM_SGLD,ACD_DIM_CLCX,ACD_DIM_GLBM,ACD_FACT_ACCIDENT)

#viovilation

#flux

#for INPUT_TABLE in {ACD_DIM_RQ,ACD_DIM_SGXQ,ACD_DIM_SGSD,ACD_DIM_SGTQ,ACD_DIM_XZQH_NEW,ACD_DIM_SGYY,ACD_DIM_SGXT,ACD_DIM_SGLX,ACD_DIM_SGLD,ACD_DIM_CLCX,ACD_DIM_GLBM,ACD_FACT_ACCIDENT} 

do

sqoop import --connect $ORA_CONNECTOR  --username $ORA_NAME  --password $ORA_PASSWORD --query "select * from $INPUT_TABLE  where 1>'0' and \$CONDITIONS " --target-dir $HDFS_URL/$INPUT_TABLE --outdir /tmp/$INPUT_TABLE -m 1

done

beeline -u $INCEPTOR_SERVER -f createExTable.sql


华青莲日常点滴,方便自己,成长他人!!!

推荐 1
本文由 华青莲 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册