0
推荐
1529
阅读
Python基础（10）- 时间函数小记
这里整理下时间类函数的使用方法，主要是整理下，防止老是忘记。参考官方网站：https://docs.python.org/3/library/datetime.html?highlight=strftime#strftime-strptime-behavior1. strftimedatetime.strftime(format)
Return a string representing the date and time, controlled by an explicit format string.
返回...
2
推荐
2322
阅读
词云图之《战狼2》影评
下午看了社区里的一篇文章《Python 爬虫实践：《战狼2》豆瓣影评分析》，感谢分享。最近也是在学习爬虫，周末刚好看了词云图，这里就自己也来实现下。周末的词云图介绍《word_cloud-用Python之作个性化词云图》1. 豆瓣影评页面分析 我们到豆瓣电影模块，选择《战狼2》，找到下面的短评页面地址：https...
1
推荐
2046
阅读
Python中文分词-jieba
刚刚在看Python的词云图，想要显示中文的时候，需要做一个分词，这里我们学习下jieba分词。1. jieba中文分词 jieba是Python中文分词的一个组件 github地址：https://github.com/fxsjy/jieba支持三种分词模式：
精确模式，试图将句子最精确地切开，适合文本分析；
...
0
推荐
3646
阅读
word_cloud-用Python之作个性化词云图
网上有很多制作词云的网站，我们使用Python也可以很方便的制作，这里，我们就简单学习下。1. word_cloudGitHub地址：https://github.com/amueller/word_cloud首先我们需要安装，正常来说，直接就执行pip install wordcloud即可，但是，我这个是在Windows平台，安装的时候，提示什么少了，需要去下载个编译器的，报错信息...
1
推荐
2548
阅读
爬虫小实例-拉勾网数据分析岗位
周末没事，想看看最近的职位招聘情况，就用拉勾网为例，练习下爬虫1.分析 首先去拉勾网的主页去观察下，当前的搜索页面URL：观察下源码，发现结构很清晰，解析起来应该很方便，再通过下一页去遍历即可通过上面的，我们直接去解析应该是足够了，我们再看下他的请求信息，会找到这样一个post，很明显，...
0
推荐
1765
阅读
Python异常(1)-module 'urllib' has no attribute 'urlopen'
今天想复习下BeautifulSoup，就把之前的代码拿过来测试，发现报错了import urllib
from bs4 import BeautifulSoup
#加载网址，获取当前页面
def getHTML(url) :
page = urllib.urlopen(url)
html = page.read()
return html
html = getHTML('https://movie.douban.com/top250')
soup = BeautifulSoup(html, "html....
1
推荐
1846
阅读
numpy手册(5)-random模块
numpy的random模块应该很常用，这里整理一下，参考文章：http://www.mamicode.com/info-detail-507676.htmlhttps://docs.scipy.org/doc/numpy/reference/routines.random.html1. 简单随机数据numpy.random.rand(d0, d1, ..., dn)
Random values in a given shape.
Create an array of the given shape and populate it ...
0
推荐
1605
阅读
matplotlib手册(10)-用pyplot实现“房间里100个人玩游戏的例子”
之前有篇文章，说房间里有100个人，每人100块钱，的那个原文介绍：用数据分析告诉你这个世界很有意思觉得挺有意思的，昨天发现pyplot也可以绘制动画，就来试试，主要是实现动画效果，其他的暂时先不考虑了目前跑起来是可以，就是比较慢，还没找到原因整体想法，就是x轴表示玩家的序号，财富值用y轴来表示1. 存款为0后，...
0
推荐
1505
阅读
Python基础（9）- 排序技巧
通常，我们排序的时候，我们可以使用系统内置的sorted函数或list自带的sort函数。参考文章：http://www.jb51.net/article/57678.htmhttps://docs.python.org/3/library/stdtypes.html?highlight=sort#list.sort1. list.sortsort(*, key=None, reverse=False)
This method sorts the list in place, using only < comp...
0
推荐
2009
阅读
matplotlib手册(9) - 绘制动画
这里介绍下，在matplotlib中绘制动画的一些方法，主要参考官方教程：http://matplotlib.org/api/animation_api.html在matplotlib中制作活动画最简单的方法是使用一个动画类。1.FuncAnimation我们先来看FuncAnimationclass matplotlib.animation.FuncAnimation(fig, func, frames=None, init_func=None, fargs=None, save...
1
推荐
2814
阅读
Pandas手册（12）- 时间序列
在数据分析中，时间序列应该很常见，这里，我们看看在pandas里面的使用1. 日期和时间数据类型 经常使用的datetime，time，及calendar模块
from datetime import datetime
now = datetime.now()
now
Out[33]: datetime.datetime(2017, 8, 18, 9, 43, 46, 360886)
now.year
Out[34]: 2017
now.month...
1
推荐
2404
阅读
Pandas手册（11）- groupby
这里，我们整理下pandas中关于groupby的使用，和SQL中一样，就是对数据进行聚合可以参考官方：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.htmlhttp://pandas.pydata.org/pandas-docs/stable/groupby.html1. groupby基本使用DataFrame.groupby(by=None, axis=0, level=None, as_in...
1
推荐
1757
阅读
Pandas手册（10）- 数据转换
这里接着上一篇，继续记录下pandas中数据处理方面的函数1. 重复数据 结果集中，可能会有重复数据，有函数可以做去重操作#判断数据是否重复
DataFrame.duplicated(subset=None, keep='first')
Return boolean Series denoting duplicate rows, optionally only considering certain columns
#删...
1
推荐
2271
阅读
爬虫小实例-1688物流信息之发货地信息获取
这里写个例子，公司的一个大神之前爬过1688上面的物流信息，这里也来试一下，顺便分享下学习过程。1. 背景介绍 目标网页：https://56.1688.com/order/price/estimate_price.htm 目的：抓取网站上所有的线路信息，保存到文件或数据库中。 2. 实践步骤先观察下网站的特征，随便...
1
推荐
1603
阅读
最新行政区信息获取
这是之前记录的，这里顺便分享下。之前想要获取官方的省市区的代码code，就找了下。官方地址：http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/我们可以直接将数据复制到Excel中，简单处理下，导入到数据库中里面会有换行，先去个重，然后trim一下，再分列就可以了最后，我们可以将数据组织成我们想要的维度表格式-----------...