数据分析工作中shell脚本的使用

浏览: 1700

这篇文章主要通过工作中shell脚本案例,介绍shell脚本中常用知识点

下面的这个脚本表示使用sqoop把生产数据库mysql中的商户交易数据导入到hive数据库，且生产数据库中商户交易数据是分库分表存放的(10个库100个表中)，分表分库原则根据商户F_merchant_id来分的，比如说一个商户号F_merchant_id='xxxxx855'，可以看到商户号是倒数第三位是8，分库的时候会存放到第8个数据库中，最后两位数字是55，所以分表的时候会存放到第55张表中。所以对于商户号xxxxx855的所有交易数据会存放到第8个数据库，第55个表中。

#抽取从2019年1月4号到2019年2月10日的所有商户交易数据
begin_date="20190104" #定义开始时间变量
end_date="20190210"  #定义结束时间变量


while [ "$begin_date" -le "$end_date" ]    #$begin_date表示参数的引用
do
    y=${begin_date:0:4}
    m=${begin_date:4:2}
    d=${begin_date:6:2}

    echo "${y}-${m}"      
    begin_date=$(date -d "${begin_date}+1days" +%Y%m%d)

    y1=${begin_date:0:4}
    m1=${begin_date:4:2}
    d1=${begin_date:6:2}


for ((db=0;db<=9;db=db+1)) #从0到9,每次加1,共迭代10次  循环10个库
do
   for ((j=0;j<=99;j=j+10))
  do
      querystr=''
      for((k=1;k<=10;k++))#一次union 10个表
          do
             tb1[$k]=$[(${j}+k-1)/10]  #相除
             tb2[$k]=$[(${j}+k-1)] #取余
             table[$k]="select F_transaction_id,F_order_id,F_merchant_id from datafrog${db}.t_transaction_operation_by_merchant_${tb1[$k]}${tb2[$k]} where  F_time>='${y}-${m}-${d}' AND F_time<'${y1}-${m1}-${d1}'  "

              if [ $k -gt 1 ]
                        then
                                querystr="${querystr} union all ${table[$k]} "

                        else
                                querystr="${table[$k]}"
                   fi


          done
#下面的脚本大家不需要看,是为整体效果做的展示
sqoop import \
--connect "jdbc:mysql://192.XXX.XX.XX/datafrog?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false" \
--driver com.mysql.jdbc.Driver \
--username datafrog \
--password www.datafrog.com \
--query \
"${querystr}" \
--fields-terminated-by '\t' \
--fetch-size 50000 \
--direct \
--append \
--target-dir /user/hadoop/sqoop/notcm/tran/$y$m$d \
-m 1

done
done
done

1.创建一个shell脚本

linux 系统中打开文本编辑器(可以使用 vi/vim命令来创建文件)，新建一个文件 test.sh，扩展名为sh（sh代表shell）。输入一些代码，第一行一般是这样：

如下:

#!/bin/bash
echo "Hello World !"

2.给shell脚本赋权限

一般写好的shell脚本要先赋权限然才能后执行

chmod +x ./test.sh  #使脚本具有执行权限
./test.sh  #执行脚本

3.shell脚本中while循环使用

while 语句格式

while condition
do
    command
done

while循环案例

#!/bin/bash
int=1
while(( $int<=5 ))
do
    echo $int
    let "int++"
done

运行脚本，输出：

1
2
3
4
5

使用中使用了 Bash let 命令，它用于执行一个或多个表达式，变量计算中不需要加上来表示变量

4.shell脚本中for 循环使用

for 循环与其他编程语言类似，Shell支持for循环。for循环一般格式为：

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done

例如，顺序输出当前列表中的数字：

for loop in 1 2 3 4 5
do
    echo "The value is: $loop"
done
输出结果：

The value is: 1
The value is: 2
The value is: 3
The value is: 4
The value is: 5

5.Shell脚本中字符串的拼接

如果想要在字符串变量后面拼接一个字符，可以用下面的方法：

value1=home

value2=${value1}"="   # 或者$value2=${value1}=

echo $value2

把要添加的字符串变量添加{}中，并且需要把∗∗来表示变量¨K3Kfor循环与其他编程语言类似，Shell支持for循环。for循环一般格式为：¨K25K例如，顺序输出当前列表中的数字：¨K26K¨K4K∗∗如果想要在字符串变量后面拼接一个字符，可以用下面的方法：∗∗¨K27K把要添加的字符串变量添加中，并且需要把放到外面，上面的结果是：home=

还可以如下面的

[root@localhost sh]# var1=/etc/
[root@localhost sh]# var2=yum.repos.d/
[root@localhost sh]# var3=${var1}${var2}
[root@localhost sh]# echo $var3
/etc/yum.repos.d/

6.shell脚本中的关系运算符

  • -eq:等于 equal
  • -ne:不等于 not equal
  • -le:小于等于 less equal
  • -ge:大于等于 greater equal
  • -lt:小于 less than
  • -gt：大于 greater than

7.shell脚本中获取系统时间的方法

  • 获取今天时期：$(date +%Y%m%d) 或 $(date +%F 或 $(date +%y%m%d)

  • 获取昨天时期：$(date -d yesterday +%Y%m%d)

  • 获取前天日期：$(date -d -2day +%Y%m%d)

  • 获取10天前的日期：$(date -d -10day +%Y%m%d)

  • n天前的 $(date -d "n days ago" +%y%m%d)

  • 明天：$(date -d tomorrow +%y%m%d)

  • 给定的日期减一天

$(date -d "20150416 -1 days" +%Y%m%d)

  • 给定的日期减去三天

$(date -d "20150416 -3 days" +%Y%m%d)

  • 给定的日期加上三天

date -d "20150416 3 days" "+%Y%m%d"

7.shell脚本中字符串截取

可以使用这样的方法截取,表示从左边第几个字符开始以及字符的个数,用法为:start:len
例如：

str='http://www.
你的域名.com/cut-string.html'

echo ${str:0:5}
输出结果
结果是：http:

其中的 0 表示左边第一个字符开始，5 表示字符的总个数。

8.shell脚本中数组的使用

数组中可以存放多个值。Bash Shell 只支持一维数组（不支持多维数组），初始化时不需要定义数组大小,与大部分编程语言类似，数组元素的下标由0开始。

（1）创建数组

shell数组用括号来表示，元素用"空格"符号分割开，语法格式如下：

array_name=(value1 ... valuen)

实列

#!/bin/bash

my_array=(A B "C" D)

我们也可以使用下标来定义数组:

array_name[0]=value0
array_name[1]=value1
array_name[2]=value2

（2）读取数组

读取数组元素值的一般格式是：

${array_name[index]}

实例

#!/bin/bash
my_array=(A B "C" D)

echo "第一个元素为: ${my_array[0]}"
echo "第二个元素为: ${my_array[1]}"
echo "第三个元素为: ${my_array[2]}"
echo "第四个元素为: ${my_array[3]}"
执行脚本，输出结果如下所示：

$ chmod +x test.sh 
$ ./test.sh
第一个元素为: A
第二个元素为: B
第三个元素为: C
第四个元素为: D

9.shell脚本中重定向

针对于上面提到的sqoop抽取数据的脚本，工作中是使用azkaban做任务调度。但是有时候做其他的定时任务也使用crontab做来任务调度

比如下面的数据蛙课程案例，每天定时发送邮件的定时任务

35 8 * * * /root/anaconda3/bin/python3.6 /root/project/datafrog/datafrog_adventure.py >/tmp/load.log 2>&1 #邮件发送by 数据蛙

这个里面就涉及到了shell脚本中的重定向，下面一起看看把

我们先来看下linux命令的执行过程

我们一起来看下，比如说一条linux命令

  • 一开始可能需要给这个命令一个输入值，这个就叫标准输入(Standard input),简写stdin
    ,其中可以通过键盘或者是文件的形式给命令一个输入

  • 接着就开始执行命令，命令执行成功，就会把成功的结果输出到屏幕上来，这个就叫标准输出(standard output),简写stout

  • 若是命令行执行错误，就会把报错的结果输出到屏幕上来，这个就叫做标准错误(standard error),简写stderr

有时候我们在命令使用时，若不想命令的执行结果输出的屏幕，需要输入输出到制定文件或者设备，就需要使用输入、输出重定向。

先看下输出重定向的例子

#默认情况下，stdout和stderr默认输出到屏幕
[root@st ~]# ls ks.cfg wrongfile
ls: cannot access wrongfile: No such file or directory
ks.cfg
#标准输出重定向到stdout.txt文件中，错误输出默认到屏幕。1>与>等价
[root@st ~]# ls ks.cfg wrongfile >stdout.txt
ls: cannot access wrongfile: No such file or directory
[root@st ~]# cat stdout.txt 
ks.cfg
#标准输出重定向到stdout.txt，错误输出到err.txt。也可以使用追加>>模式。
[root@st ~]# ls ks.cfg wrongfile >stdout.txt 2>err.txt
[root@st ~]# cat stdout.txt err.txt 
ks.cfg
ls: cannot access wrongfile: No such file or directory
#将错误输出关闭，输出到null。同样也可以将stdout重定向到null或关闭
# &1代表标准输出，&2代表标准错误，&-代表关闭与它绑定的描述符
[root@st ~]# ls ks.cfg wrongfile 2>&-
ks.cfg
[root@st ~]# ls ks.cfg wrongfile 2>/dev/null 
ks.cfg
#将错误输出传递给stdout，然后stdout重定向给xx.txt，也可以重定向给null。顺序为stderr的内容先到xx.txt，stdout后到。
[root@st ~]# ls ks.cfg wrongfile >xx.txt 2>&1
#将stdout和stderr重定向到null
[root@st ~]# ls ks.cfg wrongfile &>/dev/null

注意关于2>&1的理解

  • 含义：将标准错误输出重定向到标准输出
  • 符号>&是一个整体，不可分开，分开后就不是上述含义了。比如有些人可能会这么想：2是标准错误输入，1是标准输出，>是重定向符号，那么"将标准错误输出重定向到标准输出"是不是就应该写成"2>1"就行了？是这样吗？如果是尝试过，你就知道2>1的写法其实是将标准错误输出重定向到名为"1"的文件里去了
  • 写成2&>1也是不可以的

输入重定向

#从stdin（键盘）获取数据，然后输出到catfile文件，按Ctrl+d结束
[root@st ~]# cat >catfile
this
is
catfile
[root@st ~]# cat catfile 
this
is
catfile
#输入特定字符eof，自动结束stdin
[root@st ~]# cat >catfile <<eof
> this
> is
> catfile
> eof
[root@st ~]# cat catfile 
this
is
catfile

如果大家正在学习shell脚本使用的话，不防好好读下sqoop抽取数据的脚本，通过实际的案例学习，成长速度会更快些

推荐 0
本文由 DataFrog 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者，并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录或注册