SQuirrel Sql Client ,这个可以在Windows下对hive进行操作。或者 下载Windows下的Hadoop，然后解压就行

可以操作

beeline -u "jdbc:hive2://172.16.18.87:10001/default;transportMode=http;httpPath=cliservice" -n spark -e"create \
table insurance_dm.accident_analysis_beeline as select imei,longitude,latitude,data_date,time from dsp_dw.cw_location_trace_new \
where data_date >= 20161210 and longitude > 119.710 and longitude <119.719 and latitude > 37.000 \
and latitude <37.009;"
 
直接写脚本读就是了。如果要在Spark里面读取Hive表，需要在spark中启用hive支持，然后在Spark的conf目录中加入hive的hive-site.xml文件，就能直接使用sql("select * from hivetable")操作了。当然要读取hbase中的数据，建议使用hbase-rdd这样一个开源的插件

日期函数UNIX时间戳转日期函数: from_unixtime语法:   from_unixtime(bigint unixtime[, string format])

返回值: string

说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式

举例：

Hive>   select from_unixtime(1323308943,’yyyyMMdd’) from dual;

20111208

获取当前UNIX时间戳函数: unix_timestamp语法:   unix_timestamp()

返回值:   bigint

说明: 获得当前时区的UNIX时间戳

举例：

hive>   select unix_timestamp() from dual;

1323309615

日期转UNIX时间戳函数: unix_timestamp语法:   unix_timestamp(string date)

返回值:   bigint

说明: 转换格式为“yyyy-MM-dd HH:mm:ss“的日期到UNIX时间戳。如果转化失败，则返回0。

举例：

hive>   select unix_timestamp(’2011-12-07 13:01:03′) from dual;

1323234063

指定格式日期转UNIX时间戳函数: unix_timestamp语法:   unix_timestamp(string date, string pattern)

返回值:   bigint

说明: 转换pattern格式的日期到UNIX时间戳。如果转化失败，则返回0。

举例：

hive>   select unix_timestamp(’20111207 13:01:03′,’yyyyMMdd HH:mm:ss’) from dual;

1323234063

日期时间转日期函数: to_date语法:   to_date(string timestamp)

返回值:   string

说明: 返回日期时间字段中的日期部分。

举例：

hive>   select to_date(’2011-12-08 10:03:01′) from dual;

2011-12-08

日期转年函数: year语法:   year(string date)

返回值: int

说明: 返回日期中的年。

举例：

hive>   select year(’2011-12-08 10:03:01′) from dual;

2011

hive>   select year(’2012-12-08′) from dual;

2012

日期转月函数: month语法: month   (string date)

返回值: int

说明: 返回日期中的月份。

举例：

hive>   select month(’2011-12-08 10:03:01′) from dual;

12

hive>   select month(’2011-08-08′) from dual;

8

日期转天函数: day语法: day   (string date)

返回值: int

说明: 返回日期中的天。

举例：

hive>   select day(’2011-12-08 10:03:01′) from dual;

8

hive>   select day(’2011-12-24′) from dual;

24

日期转小时函数: hour语法: hour   (string date)

返回值: int

说明: 返回日期中的小时。

举例：

hive>   select hour(’2011-12-08 10:03:01′) from dual;

10

日期转分钟函数: minute语法: minute   (string date)

返回值: int

说明: 返回日期中的分钟。

举例：

hive>   select minute(’2011-12-08 10:03:01′) from dual;

3

日期转秒函数: second语法: second   (string date)

返回值: int

说明: 返回日期中的秒。

举例：

hive>   select second(’2011-12-08 10:03:01′) from dual;

1

日期转周函数: weekofyear语法:   weekofyear (string date)

返回值: int

说明: 返回日期在当前的周数。

举例：

hive>   select weekofyear(’2011-12-08 10:03:01′) from dual;

49

日期比较函数: datediff语法:   datediff(string enddate, string startdate)

返回值: int

说明: 返回结束日期减去开始日期的天数。

举例：

hive>   select datediff(’2012-12-08′,’2012-05-09′) from dual;

213

日期增加函数: date_add语法:   date_add(string startdate, int days)

返回值: string

说明: 返回开始日期startdate增加days天后的日期。

举例：

hive>   select date_add(’2012-12-08′,10) from dual;

2012-12-18

日期减少函数: date_sub语法:   date_sub (string startdate, int days)

返回值: string

说明: 返回开始日期startdate减少days天后的日期。

举例：

hive>   select date_sub(’2012-12-08′,10) from dual;

2012-11-28

先把最大粒度的查询结果 放到临时表
再做with cube
roll up等操作

hive -e 'SELECT * from test_table'

数据仓库建议选择使用hive，用hql语句也能完成update delete的操作。
如果仓库是在hive上，那原来的ETL操作 都改为使用hql脚本吧。这个查询语言是类似mysql的语法。
 
迁移的优先级建议先搬迁底层原始数据、然后建立ETL清洗规则，最后搬DW数据。
在搬迁底层数据时建议你hive原始表与mysql的原始表保持结构一致。

用下面的方式试一试~IP=$1
PORT=$2
DB=$3
USERNAME=$4
PASSWORD=$5
TABLE=$6
HIVE_DB=$7
HIVE_TABLE=$8
HDFS_LOCATION=$9
PARTITION_COLUMN=${10}
CON_DATE=${11}
#format 2017-01-09
n_day=${12}
t_day=`date --date=$n_day '+%s'`
yesterday=$(date -d"yesterday $n_day" '+%s')



HIVE_DB_TABLE=$HIVE_DB.$HIVE_TABLE
MYSQL_JDBC=jdbc:mysql://$IP:$PORT/$DB
PARTITION_PATH=$HDFS_LOCATION/$n_day

echo "--------------------"
echo "--jdbc:mysql://$IP:$PORT/$DB"
echo "--username/password:$USERNAME/$PASSWORD"
echo "--mysql table:$TABLE"
echo "--hive table:$HIVE_DB.$HIVE_TABLE"
echo "--store hdfs:$HDFS_LOCATION"
echo "--partition column:$PARTITION_COLUMN"
echo "--partition path:$PARTITION_PATH"
echo "--increment date column:$CON_DATE"
echo "--schedule date:$n_day"

echo "-----start export------"

echo "select sql: select * from $TABLE where $CON_DATE >= '$yesterday'  and $CON_DATE < '$t_day' and 1=1"
 
sqoop import --connect $MYSQL_JDBC --table $TABLE --username $USERNAME  --password $PASSWORD  -m 10 --append  --hive-import --hive-overwrite --hive-database xxx_dw --hive-table can_schedule_list --hive-partition-key data_date --hive-partition-value $n_day --fields-terminated-by "\0001" --where "$CON_DATE>='$yesterday' and $CON_DATE<'$t_day'

并不是越多越好，你可以这样理解，hive的分区只是一个map的key，很显然要根据key寻找value,其时间复杂度为O（n）,key越多遍历找key的时间越长，因此并不是越多越好~
如果你说的是hive以多个字段分区，hive内部只是按这几个字段组建了多个层级的目录。也不是层级目录越多越好，遍历目录的时间复杂度也是O（n）

以空格分隔取子串，例如取出最后4个长度的为年，然后case when判断出具体的 月、日。或者写UDF去转换，你可以看一下Hive课程中的视频（https://edu.hellobi.com/course/136），有UDF部分，也有日志分析，日志分析就是讲的时间转换，但是不是你这种格式。

MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接 (Connection refused) at org.apache.thrift.transport.TSocket.open(TSocket.java:226)
连接meta  data库连接不上， 检查下你的 hive-site中的 配置吧
<property>  
    <name>javax.jdo.option.ConnectionURL</name>  
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>  
    <description>JDBC connect string for a JDBC metastore</description>  
  </property>  
 <property>  
    <name>javax.jdo.option.ConnectionPassword</name>  
    <value>123</value>  
    <description>password to use against metastore database</description>  
  </property>  
<property>  
    <name>javax.jdo.option.ConnectionUserName</name>  
    <value>spark</value>  
    <description>Username to use against metastore database</description>  
  </property>  

select
month,
sum(sales) month_sales,--每月的数量
LAG(sum(sales),1,sum(sales)) over(order by month) pre_month_bal, --上个月数量
sum(sum(sales)) over(partition by year order by month) year_bal_month, --年内总数量
LAST_VALUE(sum(sales)) over(partition by year order by month rows between current row and unbounded following) sales_of_last_month_of_year,
--年内最后一个月x数量

sum(sales) over(partition by year order by month rows between unbounded preceding and current row) sales_of_acc_year
--逐月累计
from table

可以参考这个博文，理解一下：http://m.blog.csdn.net/article/details?id=52075058

导出文本文件 直接上传hdfs

MySQL字符集有很多设置的，比如Server，db。。逐一尝试