1
推荐
3020
阅读
Pandas手册（1）- Series
要学习pandas了，，看官网上的资料还是很多的，就根据找到的资料简单总结下吧。这里也有很多同学分享的资料，这里都整理下，按照自己的理解整理下。1. 序 这里的主要内容，参考官方教程：http://pandas.pydata.org/pandas-docs/stable/dsintro.html#dsintropandas里面有3个基本的数据结构， &nbs...
1
推荐
2914
阅读
小白学习Tableau-堆叠条按值排序
1. 序 昨天学习了下堆叠条形图，刚刚看到个类似的教程，说的是，在堆叠条中按值进行排序，挺有意思的。又学习到了一招，简单分享下。2. 按值在堆叠条中对段进行排序 我们先实现一个简单的堆叠条， 使用维度：地区、类别 ...
0
推荐
3531
阅读
小白学习Tableau-堆叠条形图
1.序 昨天在看水足迹那个可视化题目的时候，就想做一个堆叠条形图，但是发现只有一个维度，怎么也拖不出来，后来改了下数据源，成功实现了。今天搜到个例子，发现了解决办法，只能说明，还是对Tableau不熟啊，没有能领悟Tableau的内涵。2. 堆叠条形图 ...
0
推荐
2359
阅读
小白学习Tableau-标签云
这个之前写在知乎上了，以后还是先放在这吧，1. 序周末参加了2天的Tableau培训，发现这个东西做可视化分析还是很方便的，用户体验也很好。也听了很多大师的介绍，受益良多。不管怎样，要开始学些这个Tableau了。之前也有做过IBM Cognos的开发，2个产品对比一下，从直观上来看，就是Tableau的可视化效果好很多，而且还融...
2
推荐
2124
阅读
BeautifulSoup教程（2） - 实例-解析博客专栏
前几天学习了下Beautiful Soup的使用，本来想多写些内容的，但是发现，官方的介绍实在太详细了，每种方法基本都覆盖到了，直接看官方的例子就足够了，而且还有一个中文版的，这里的话，就简单实践下，介绍几个常用的方法和一些小经验。官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/这里，我们就简...
2
推荐
1950
阅读
BeautifulSoup教程（1） - 简介及安装
最近在学习Python，按照一些博客练习爬虫，最简单的步骤，就是访问一个主页，根据正则表达式去获取我们想要的标签数据；比如这样：#加载网址，获取当前页面
def getHTML(url) :
page = urllib.urlopen(url)
html = page.read()
return html
def getImage(html) :
reg = r'src="(.+?\.jpg)"'
reg2 = r'<img alt=...
2
推荐
1670
阅读
Python基础（1）- 私有变量
今天简单看了看Python中的面向对象的一些教程，简单记录下，和Java中还是有很多类似的看的是这个博客：访问限制比如我们定义一个Student类一个__init__构造函数，初始化2个属性，一个名字，一个成绩；还有一个打印函数，输出学生的名字和成绩class Student(object):
def __init__(self, name, score):
"initial stud...
1
推荐
2163
阅读
SQLAlchemy手册（四）- 关联查询
上一回，我们介绍了，常用的单查询SQL，这里，我们介绍下，怎样进行关联查询，就是join的使用数据库使用表信息：t_classt_studentt_student表存有t_class表的id，获取学生所属的班级信息# -*- coding: utf-8 -*-
from sqlalchemy import MetaData, create_engine
from sqlalchemy.ext.declarative import declarative_b...
0
推荐
1961
阅读
SQLAlchemy手册（三）- 常用单查询
好了，在前面，我们大概了解了SQLAlchemy的使用，日常，我们可能经常会使用些复杂点儿的查询，我们先练习下1. common filter这里，官方都有介绍，我们主要参考这里：http://docs.sqlalchemy.org/en/rel_1_1/orm/tutorial.html里面讲的都很清楚，我们这里简单练习下首先是基本的脚本，后面，我们直接写query数据库表：# -...
3
推荐
6539
阅读
Kettle手册（十二）- 控件使用-从步骤插入数据
这里介绍一个控件的小功能，也是最近才发现的，之前在“表输入”中要使用参数的话，一般都是使用变量，其实，还有个功能也可以尝试使用整体流程就是这样，我们第一个 query_paramter，就是查询了我们想设置的参数然后，就是我们真正需要的，我们再表输入中，使用 “?”来占位，然后“从步骤插入数据”，选择上一个步骤，然后会...
1
推荐
2633
阅读
SQLAlchemy手册（二）- 增删改查
好了，这里，我们来看看，怎么使用SQLAlchemy，先从最简单的增删改查来看看，这里我们使用PostgreSQL数据库1. 连接PG数据库因为SQLAlchemy底层连接，还是使用这些框架，所以我们想要连接PostgreSQL，还得先安装下这些，这里我们使用psycopg2不装的话，我们连接时，会报错pip install psycopg2安装好后，我们来看看怎样连...
1
推荐
2020
阅读
SQLAlchemy手册（一）-简介及安装
Python新手，目前学习中，最近发现个叫SQLAlchemy的ORM框架，就是类似Java里面的Hibernate啊，Mybatis啊之类的，这里也简单记录下。官网地址：http://docs.sqlalchemy.org/en/rel_1_1/1. SQLAlchemy 介绍这里直接摘一下百度百科的内容，简单说就是ORM框架，更加方便的去和数据库库连接。2. SQLAlchemy安装熟悉Python的同...
3
推荐
4177
阅读
Kettle手册（十一）- 用PGP加密、加密文件
看到有同学提问，以前也没用过，百度了一下，找了些资料，这里记录下。1. 安装gpg4win这个gpg4win是干嘛的呢，我们可以去他的官网看看：gpg4win目前，只知道他是加密的，这个是对Windows平台使用的这里可能还有个PGP的概念，看看百度百科好了，具体概念，大家可以自行找找，我们下载下来，然后安装一下即可这个是昨天安...
3
推荐
6351
阅读
Kettle手册（十）- 跨库查询
Kettle整体使用起来，还是很方便的，熟悉应用了之后，就是对控件的熟悉和使用了，只要思路有了，就是整合下Kettle中各个控件的使用就行。这里，简单介绍下一个“跨库查询”的控件。有的时候，我们一个脚本，可能只是临时性的，或者需要实时的去查一下，同步到数仓的话，可能不太方便，我们就可以使用跨库查询的控件用到的...
5
推荐
7604
阅读
Kettle手册（九）- 发送邮件
在Kettle里面，我们每天执行完调度之后，想要监控下JOB的执行状态，通常我们可以会发送邮件，可以的话，还可以发送短信。在Kettle里面，发送邮件很方便，这里，我们就简单的测试下。1. 在作业中发送简单邮件 我们只需要使用到这个控件就可以了，这样，一个简单的发送邮件流程就好了控件的配置：收件人...