奔跑的蜗牛

多宝如来的工作、学习记录

0
推荐
2881
阅读

hive 调度

这个方法适用于存在多个hql脚本,想要统一调度,或者多个hql存在依赖关系的场景逻辑简述:四类文件 1、pkg.sh文件(1个pkg.sh文件),用来调度rpt.sh文件,在linux crontab -e 调度中添加这个文件,用于调度可同时调度多个rpt.sh文件 2、rpt.sh文件(n个rpt.sh文件),用来调度.q文件,并在.q文件执行成...

发表了文章 • 2018-09-11 21:11 • 0 条评论

0
推荐
1856
阅读

python基础5 ARIMA

from statsmodels.tsa.stattools import adfullerfrom statsmodels.tsa.seasonal import seasonal_decomposefrom statsmodels.tsa.stattools import acf,pacffrom statsmodels.tsa.arima_model import ARIMAimport statsmodels.tsa.stattools as stfrom statsmodels.tsa.arima_model import ARMAimport pandas as pdimpo...

发表了文章 • 2018-07-24 13:42 • 0 条评论

1
推荐
1720
阅读

python基础4-xgboost

import xgboost as xgbfrom xgboost import plot_importancefrom sklearn.model_selection import train_test_splitimport pandas as pdimport matplotlib.pyplot as pltfrom datetime import date,datetimeimport numpy as npfrom matplotlib.pylab import rcParamsrcParams['figure.figsize'] = 15, 6 #设置画布dir_pa...

发表了文章 • 2018-07-03 11:17 • 0 条评论

0
推荐
1662
阅读

python基础3-k-means

#数据处理 import pandas as pd import matplotlib.pyplot as plt import matplotlib from datetime import date,datetime import numpy as np from sklearn.cluster import KMeans #导入K均值聚类算法 from matplotlib.pylab import rcParams rcParams['figure.figsize'] = 15, 6 #rcParams设定好画布的大小 plt.rcPara...

发表了文章 • 2018-06-26 15:32 • 0 条评论

0
推荐
1465
阅读

python基础2

''' date:2018年6月21日 data: purpose: 两张图,第一张横坐标轴是datetime 第二张图横坐标轴是省份 查看sku 销量 省份 注意点: 1、第一张图把省份做成list作区分 2、第二张图,做list的时候要先把string转换成float 3、转换方法 先把这列作为索引(也要保证唯一) 然后.to_dict(),然后指向这个索引位置即可 '''...

发表了文章 • 2018-06-21 16:48 • 0 条评论

0
推荐
1512
阅读

python基础1

python基础import os import sys import pandas as pd from datetime import datetime, date from time import time,localtime,strftime import matplotlib.pylab as plt dir_path = 'E:\\Data\\' wdata = pd.read_csv(dir_path+'order_jx_y3',sep='\x01',encoding='utf-8',header=None) wdata = wdata[[1,2,3,4,5]] wd...

发表了文章 • 2018-06-15 19:45 • 0 条评论

1
推荐
2125
阅读

遇到的一些hive字符串处理 汇总

持续更新。。。--取第一个顿号前面的所有字符 split(new_occupy,'、')[0] as new_occupy--替换regexp_replace(occupy,',','、')--hive不识别英文分号,输入报错问题 用\073select cons_name,split(cons_name,'\073')[0] from WLH_TABLE_M11 where cons_name limit 10;--截取分号与逗号之间的字符串select cons_name...

发表了文章 • 2017-12-27 15:49 • 0 条评论

0
推荐
1309
阅读

scp

scp用于在两台电脑之间进行数据的传输: scp [-r] username@host:发送路径 接收路径  需要输入密码 [-r]:如果传输的是文件夹需要加 -r username@host:远程电脑的 用户名@IP 发送路径:远程电脑上要传输的文件(夹)路径 接收路径:本机接收路径  例:将110主机上的文件...

发表了文章 • 2017-12-26 10:43 • 0 条评论

1
推荐
6489
阅读

HIVE like和rlike

like与rlike的区别:like不是正则,是通配符。这个通配符可以看一下SQL的标准,例如%代表任意多个字符。rlike是正则,正则的写法与java一样。'\'需要使用'\\',例如'\w'需要使用'\\w'--NAME中包含数字的select name from wlh_dm_sz_3 where rlike (name,'[0-9]') limit 100select name from wlh_dm_sz_3 where name ...

发表了文章 • 2017-12-22 11:39 • 0 条评论

0
推荐
4420
阅读

python 散点图添加标签

DBscan聚类的图形,按照每个簇来给图例效果:代码:# coding:utf8 import sys reload(sys) sys.setdefaultencoding("utf8") import math import numpy as np import pylab as pl import matplotlib.pyplot as plt import pandas as pd import string import os with open('E:\\pywork\\onlyJW\\d.txt', 'r') as f: ...

发表了文章 • 2017-12-12 10:00 • 0 条评论

5
推荐
1740
阅读

python学习笔记

杂乱无章的学习记录,持续更新1、map() 、str转元组data1=map(lambda d:tuple(d.replace('\n','').split(',')),data)map()是 Python 内置的高阶函数,它接收一个函数 f 和一个 list,并通过把函数 f 依次作用在 list 的每个元素上,得到一个新的 list 并返回例如,对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]如果希望把list的...

发表了文章 • 2017-12-06 17:56 • 0 条评论

1
推荐
4163
阅读

anaconda Python 3.6 version 安装

1.下载安装文件 https://www.anaconda.com/download/     2.下载好后一路回车安装,添加环境变量 C:\ProgramData\Anaconda3\Library\bin;  3.验证:     安装anaconda之后 打开Anaconda Prompt 输入 conda --version 验证并查看版本            ...

发表了文章 • 2017-11-22 15:05 • 0 条评论

0
推荐
2784
阅读

linux虚拟机无法上网 Network is unreachable

系统centos安装ftp时报错 Couldn't resolve host 'mirrorlist.centos.org[root@wulihua bin]#  yum install vsftpdLoaded plugins: fastestmirror, refresh-packagekit, securitySetting up Install ProcessLoading mirror speeds from cached hostfileCould not retrieve mirrorlist http://mirrorlist.cento...

发表了文章 • 2017-09-07 16:22 • 0 条评论

2
推荐
1743
阅读

spark环境搭建

准备工作 一套搭建好的hadoop环境下载scala、spark安装包1、安装scalatar -xzvf scala-2.12.3.tgz2、安装sparktar -xzvf spark-2.2.0-bin-hadoop2.7.tgz3、修改 、/etc/profile文件JAVA_HOME=/usr/java/jdk1.8.0_144/ HADOOP_HOME=/opt/hadoop-2.7.4 SCALA_HOME=/opt/scala-2.12.3 SPARK_HOME=/opt/sp...

发表了文章 • 2017-08-16 17:50 • 0 条评论

0
推荐
2301
阅读

BIEE-5、回写

1、回写授权。仪表盘设置中,授权回写条件:设置-管理-管理权限-回写-回写至数据库,添加需要的用户组即可。2、配置会写表3、创建回写模板 1>为满足安全要求,在回写模板中插入和更新语句之前必须制定连接池,回写模板中通过sql引用的变量产生SQL语句修改DB表;变量引用可引用位置(@1,@2),或者用列ID(@{col...

发表了文章 • 2017-04-30 21:07 • 0 条评论