上海历史天气和空气质量数据获取（Python版）

前言

      之前有一篇文章《近7年上海天气数据抓取和分析（含代码）--爬虫部分》是通过R语言完成的爬虫，经常有朋友问有没有关于这篇文章的Python脚本，那今天就跟大家分享一下基于Python的上海天气数据获取（含空气质量数据）。

      本次分享的数据来源是“2345天气预报网”（http://tianqi.2345.com/wea_history/58362.htm），尤其在2016年以后数据中新增了有关空气质量的指标，具体可见下图：

     首先看看数据是否直接嵌在html网页中，最有效的方法是在原网页中选择不同的年份和月份，看看链接是否发生变动。经测试，网页链接无变化，那就说明天气数据一定异步存储在别的文件中，接下来就要找到这个存储数据的文件了。

      按照爬虫的一般套路，首先在原网页中按入F12快捷键，选择Network，然后再从原网页中选择不同的年份或月份，你就会从XHR或JS中找到那个文件。很显然，这里的天气数据是存储在JS文件中的：

    接下来就是确定这个文件的链接地址，如下图所示，这个链接还是非常简洁的，你可以选择不同的年份或月份，发现这些链接的规律，然后一次性生成这些具有规律的链接。

# 生成所有目标链接，用于后期的爬虫
urls = []
for year in range(2011,2018):
    for month in range(1,13):
            if year <= 2016:

                urls.append('http://tianqi.2345.com/t/wea_history/js/58362_%s%s.js' %(year,month))
            else:
                if month<10:

                    urls.append('http://tianqi.2345.com/t/wea_history/js/%s0%s/58362_%s0%s.js' %(year,month,year,month))
                else:

                    urls.append('http://tianqi.2345.com/t/wea_history/js/%s%s/58362_%s%s.js' %(year,month,year,month))

urls

      不妨以urls中的第一个链接为例，看看能够从中抓到什么内容：

# 导入模块
import requests

# 对目标链接发送请求
url = urls[0]

response = requests.get(url).text

response

很棒，所有跟天气相关的数据，都可以获取到，接下来通过正则表达式将每个关心的字段都存储到列表中：

# 导入模块
import re

# 正则匹配
ymd = re.findall("ymd:'(.*?)',",response)

high = re.findall("bWendu:'(.*?)℃',",response)

low = re.findall("yWendu:'(.*?)℃',",response)

tianqi = re.findall("tianqi:'(.*?)',",response)

fengxiang = re.findall("fengxiang:'(.*?)',",response)

fengli = re.findall(",fengli:'(.*?)'",response)

aqi = re.findall("aqi:'(.*?)',",response)

aqiInfo = re.findall("aqiInfo:'(.*?)',",response)

aqiLevel = re.findall(",aqiLevel:'(.*?)'",response)

      最终，可以使用for循环完成所有链接数据的获取，得到如下形式的一张表格：

结语

      OK，今天的内容就介绍到这边，如果需要数据或代码，可以关注“数据分析1480”并回复“上海天气”即可。期待各位的交流~