0
推荐
1979
阅读
近7年上海天气数据抓取和分析（含代码）--爬虫部分
之前的一系列文章都讲了关于python的基础知识，接下来的一些内容会讲一讲可视化方面的内容。对于可视化而言，Python和R语言，我还是非常喜欢使用R语言的，因为用她作图既简介又高效。今天我们就分享一篇关于使用R语言抓取上海近7年天气数据案例。先来看看，我们需要抓取的网站内容，如图所示：红框中就是我们需要抓取的...
2
推荐
1975
阅读
从零开始学Python【9】--pandas(数据框部分04)
上一期我们使用pandas模块实现频数统计、缺失值处理、数据映射和数据汇总 4个知识点，这期我们再来聊聊关于pandas如何实现数据合并 、数据连接 、创建哑变量和连续数值的区间化的操作。前两个操作在数据库中是非常常用的，即将多个数据集纵向合并和横向的扩展；后两个操作在数据建模中会经常用到，即离散变量的哑变量化...
0
推荐
2263
阅读
从零开始学Python【8】--pandas(数据框部分03)
上一期我们使用pandas模块实现观测的筛选、变量的重命名、数据类型的变换、排序、重复观测的删除、和数据集的抽样，这期我们继续介绍pandas模块的其他新知识点。包括频数统计、缺失值处理、数据映射、数据汇总。一、频数统计 我们以被调查用户的收入数据为例，来谈谈频数统计函数value_counts。频数统计，顾名思义...
0
推荐
2195
阅读
从零开始学Python【7】--pandas(数据框部分02)
接着上一期的pandas模块介绍与应用，今天我们来聊聊如何借助于pandas模块进行数据的预处理，内容包括数据集变量与观测的筛选、变量的重命名、数据类型的变换、排序、重复观测的删除、和数据集的抽样。一、数据筛选以iris数据集为例，想从数据集中取出某列（序列对象）或某几列该如何操作？在pandas取出一列有两种方法，...
0
推荐
2409
阅读
从零开始学Python【6】--pandas(数据框部分01)
作为从事数据相关工作的我们，平时接触的更多的是一张有板有眼的数据表格，在这里我们就叫作数据框。在Python中可以通过pandas模块的DataFrame函数构造数据框，而R语言则是data.frame创建数据框。接下来我们将对比Python和R语言如下几个方面的应用：1、数据框的构造在Python中,可以借助于列表、元组、字典进行手工构建数...
1
推荐
1835
阅读
一个10年翻400倍的投资策略 ｜python量化系列
吃瓜群众：10年翻400倍？！这怎么可能？！肯定是标题党？！回答：绝对不是。后面会附上原始数据、代码、结果，用数字说话。邢不行是经管之家（原人大经济论坛）「量化投资」版块的版主，毕业于香港科技大学，热门教程《量化小讲堂》的作者。今天，邢老师给大家分享一个选股方法，一个在过去10年可以让你的本金翻400倍的...
2
推荐
2642
阅读
从零开始学Python【4】--pandas(序列部分)
上一期我们介绍了数据分析中常用的numpy模块，从数组的创建、元素的获取、数学+统计函数、随机数的生成、到外部文件的读取。这期我们再来介绍另一个重磅的数据分析常用模块--pandas。该模块更像是R语言中的向量、数据框的处理，接下来我们就一一介绍里面的小知识点。序列序列（Series）可以理解成是R语言中的向量，Pytho...
0
推荐
2264
阅读
从零开始学Python【4】--numpy
前面3期介绍完Python的基础知识后，我们需要进入数据分析领域的Python实现，首先我们从Numpy模块讲起。该模块主要有这几个功能：数学领域的线性代数、傅里叶变换；统计学领域的统计计算、随机数生成等。这里我们就针对统计里面的计算和随机数生成作讲解。使用numpy构建矩阵数组的创建可以使用numpy模块中的array函数实现...
0
推荐
1867
阅读
从零开始学Python【3】--控制流与自定义函数
在Python编程中控制流和自定义函数是用的非常频繁的语句，通过控制流完成各种判断、循环等处理；通过自定义函数实现个性化的问题解决。今天我们就来讲讲Python中的控制流和自定义函数。控制流if判断if判断可以处理两分支判断和多分支判断，对于两分支类似于Excel中的if函数、R中的ifelse函数，处理的是某种条件满足时则...
1
推荐
2023
阅读
从零开始学Python--数值计算及正则表达式
我们接着上一期的Python，继续跟大家分享有关Python中常用的数值计算和正则表达式。运算符1）数值运算+、-、*、/% (求余数)// (注意Python中的整除是floor除，即向下除法)2）比较运算>、>=、<、<=、== (判断两个对象是否相等)!= (判断两个对象是否不相等)3）逻辑运算or (或) and (且) not (非)数值函数...
2
推荐
1867
阅读
从零开始学Python--数据类型及结构
一直想静下心来、花点时间学习Python3这门火爆的高级语言，但总是事与愿违，故只能挤点时间，做到每天进步一点点。从今天开始我把积累的点滴知识与大家做个分享，也欢迎感兴趣的朋友指教与提议。首先从Python的基础数据类型和数据结构说起，数据类型主要包含三种，分别是数值型、字符型和日期时间型；数据结构主要包含列...
0
推荐
2092
阅读
使用Python爬取网页图片
近一段时间在学习如何使用Python进行网络爬虫，越来越觉得Python在处理爬虫问题是非常便捷的，那么接下来我就陆陆续续的将自己学习的爬虫知识分享给大家。首先在进行实战前，我们需要了解几个常用的函数和正则表达式：一、几个常用的函数这里介绍的函数是来自于requests扩展包，他们是findall，search和sub函数：findall...
1
推荐
3043
阅读
Python数据分析之pandas学习（二）
有关pandas模块的学习与应用主要介绍以下8个部分：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理7、利用pandas实现Excel的数据透视表功能8、多层索引的使用昨天我们在Python数据分析之pandas学...
2
推荐
2488
阅读
Python数据分析之numpy学习（一）
Python是一门不错的动态语言，其应用的领域非常广泛，如web开发、Linux运维、数据挖掘、机器学习、爬虫、推荐系统等。在学完《廖雪峰Python2.7教程》感觉受益匪浅，掌握了基本的语法之后开始接触用Python进行数据分析。这里向大家推荐两本书《Python数据分析》和《利用Python进行数据分析》，而这两本书也是目前我正在学...
4
推荐
3661
阅读
使用Python实现豆瓣阅读书籍信息的获取
最近一直在看Python方面的知识，包括数据分析中常用的numpy、pandas、scipy等模块；数据库API接口，如常见的pymysql、pymssql等模块；爬虫方面所需要的urllib、bs4等模块；还有正则表达式re模块。在之前的几期中我们已经详细介绍了numpy、pandas和pymysql、pymssql模块的应用，具体可参见下文：Python数据分析之numpy学...