0
推荐
1557
阅读
Hive和连接数据库命令总结
一、Hive命令总结从文件插入数据 load data local inpath '/home/chris/test.dat' into table crm_sal_shop_sale_testdata;下载数据 insert overwrite local directory '/home/chris' row format delimited fields terminated by ',' select * from database.table; &nbs...
0
推荐
2628
阅读
Python数据插入Hive中文编码问题
日常使用Hive时候 经常出现中文乱码问题 在此总结下MySQL大量数据插入Hive时，一般两种情况：手动导入Hive或者用Python代码（基于python2）一.MySQL数据中文手动插入Hive手动导入数据：1.从MySQL拉数据就毋庸叙述了，注意导出的时候不要加入列名，Hive插入数据的时候直接插入数据2.需要注意建表时候每个字段...
0
推荐
1345
阅读
Python对ES操作
近期展现表里的数据，初始使用Hive连接数据，发现速度太慢了，因此把Hive数据上传到es，提高了速度，以下列出一系列对es的操作1.建立索引from elasticsearch import Elasticsearch
es = Elasticsearch('192.168.12.131:9200')
mappings = { "mappings": { "type_doc_test": {
&nb...
0
推荐
1622
阅读
SQLServer的IP不能连接问题
自己电脑上安装的SQLServer，用了一段时间后要联网发现连接不上，花了两三个小时才搞定，在此记录下免得再遇上刚开始时用navicat连接使用IP连接：要是用IP连接的需要几个步骤：1.打开计算机—>管理—>服务和应用程序—>SQL Server 配置管理器—>SQL Server 网络配置，启用协议2.启动相关服务然后重启下SQL Serve...
0
推荐
1309
阅读
python对ES相关操作
1.查询es上的文档内容from pandasticsearch import DataFrame
df = DataFrame.from_es(url='http://192.168.12.133:9200', index='recommand_test')
df.print_schema() #数据结构
df.collect() #数据转成ROW结构
df.to_pandas() #数据转换成DataFrame结构2.es上建立索引from elasticsearch import Elasticsearch
e...
0
推荐
1121
阅读
PTAH踩的坑
PATH清空PATH=清空后输入ls之类的命令报错：bash: sed: No such file or directoryPATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
查看PATH：echo $PATH添加环境变量：echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc
0
推荐
1361
阅读
建立virtualenv环境和pyenv使用
一、安装虚拟环境$pip install virtualenv
$pip install virtualenvwrapper创建虚拟环境目录mkdir $HOME/.virtualenvs配置虚拟环境$vim ~/.bashrc
export WORKON_HOME=$HOME/.virtualenvs
source /home/chris/.local/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python
alias e...
0
推荐
1293
阅读
添加域名和pip命令
一、 公司的网络有限制，必须添加域名才能登录，方法如下：$sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 #也可能是ifcfg-eth0 #防止重启后resolv.conf重置
PEERDNS=no
DNS1=192.168.12.53
$sudo vim /etc/resolv.conf
nameserver 192.168.12.53 #重启后失效，需要执行上一...
0
推荐
19726
阅读
爬取百度贴吧+词云
很久没写博客，试着爬了一下百度贴吧的内容，用词云展示下结果一、爬取内容想看看大家眼里的爱情怎么样的，于是去逛了下百度的爱情贴吧，把发表的言论都爬下来，代码如下import re
import csv
import json
import requests
import pandas as pd
import time
from bs4 import BeautifulSoup
from lxml import etre...
0
推荐
2261
阅读
安装Hadoop和CDH记录
一、单节点安装Hadoop1.安装java因为已经安装过了，在此不多说，之前安装记录：https://ask.hellobi.com/blog/ysfyb/12008另外有时候输入命令：jps,提示bash: jps: command not found...一个是未配置环境变量，另外就是没有安装依赖包$yum list *openjdk-devel*
$yum install java-1.8.0-openjdk-devel.x86_642.下载hado...
1
推荐
3295
阅读
CentOS 6.X安装TensorFlow问题
在Centos下安装tensorflow，CentOS 7 没什么问题，直接 pip3 install tensorflow 就OK，CentOS 6.X就问题比较多了，在linux下 pip3 install tensorflow 后进入 python3 import tensorflow 报的一些错误在此记录下:一、报错:ImportError: /lib64/libc.so.6: version `GLIBC_2.17' not found这时候需要安装GLIBC 2.1...
1
推荐
12783
阅读
windows和linux连接hive问题
本文讲述下远程连接Hive遇到的一些问题一、CentOS连接Hive 尝试使用CentOS 7远程连接Hive,首先安装好需要的相关包pip install pyhive
pip install thrift
yum install cyrus-sasl-devel.x86_64
pip install sasl
pip install thrift-sasl==0.2.11.连接Hive$python
>>> from pyhive import hive
>...
1
推荐
3142
阅读
centos 7 和 win10 安装SQL Server 2017
ben纠结了很久终于在linux安装和Win10上安装好SQL Server2017，在此记录下踩的坑一.在Cent OS 71.官网正常安装流程$sudo curl -o /etc/yum.repos.d/mssql-server.repo https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo
$sudo yum install -y mssql-server
$sudo /opt/mssql/bin/mssql-conf setup
$...
2
推荐
1794
阅读
预测房价关联因素
前段时间比较忙碌，最近终于抽出时间来完成大伟老师布置的作业，作业的数据和要求链接：https://ask.hellobi.com/blog/python_shequ/15453一、观测数据及数据处理1.打开文件import pandas as pd
path=open(r'C:\Users\86135\Desktop\iPython\机器学习\作业房价数据.csv') #打开数据，因为有中文路径直接打不开，使用op...
1
推荐
1713
阅读
Firefox部分个性化设置
最新版本Firefox有些设置不习惯，需要修改下about:config,特此记录下1.鼠标双击后关闭页面：browser.tabs.closeTabByDblclick,值切换到true2.点击书签后新建窗口：browser.tabs.loadBookmarksInTabs,值切换到true3.打开新的链接窗口不切换过去：browser.tabs.loadBookmarksInBackground,值切换到true手动导入用户的所有...