[Python爬虫]使用Python爬取动态网页-豆瓣电影(JSON)

浏览: 2914

作者:宅必备,一个会写Python的Oracle DBA
个人公众号:宅必备

前文传送门:

[Python程序]利用微信企业号发送报警信息

[Python爬虫]使用Python爬取静态网页-斗鱼直播


好久没更新Python相关的内容了,这个专题主要说的是Python在爬虫方面的应用,包括爬取和处理部分

第二节我们介绍如何爬取动态网页

动态网页指的是网页的内容通过js动态加载出来的

我们可以直接使用一些开发者工具查看

这里我采用谷歌浏览器的开发者工具


开发环境

操作系统:windows 10

Python版本 :3.6

爬取网页模块:requests

分析网页模块:json

模块安装

pip3 install requests

网页分析

我们使用豆瓣电影的页面来开始分析

https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0

由于是动态加载的我们这里无法直接通过get方法获取网页内容

当我们点击加载更多时可以通过开发者工具 Network选项中的XHR 来获取动态加载的js

image.png

打开获取到的连接

https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=20

我们可以发现连接的规律,即page_limitpage_start

image.png

可以看到打开的内容为json格式

这里我们构造一个连接,让它从第一个电影开始,并显示100个

https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=100&page_start=0

对于JSON的解析我们可以先用一个在线的网站来查看

https://jsonformatter.curiousconcept.com/

image.png

这里可以看到包含了如下信息

  1. 评分

  2. 电影名称

  3. 电影的豆瓣链接

  4. 封面地址

代码介绍

这里逐行介绍代码

1. import相关的模块

import requests

import json

2. 使用request模块打开并获取网页内容

r = requests.get(url,verify=False)

content=r.content


3. 使用json.load将json格式转换为python的字典格式

这时就可以使用字典的相关方法来处理网页了

result=json.loads(content)

tvs=result['subjects']

4. 获取相关信息并存入字典中

image.png

执行结果

我们可以选择将获取到的数据放入数据库中

image.png

源码位置

源码请访问我的github主页:

https://github.com/bsbforever/spider/blob/master/dynamic_json.py



Python爱好者社区历史文章大合集

Python爱好者社区历史文章列表(每周append更新一次)

福利:文末扫码立刻关注公众号,“Python爱好者社区”,开始学习Python课程:

关注后在公众号内回复课程即可获取

小编的Python入门视频课程!!!

崔老师爬虫实战案例免费学习视频。

丘老师数据科学入门指导免费学习视频。

陈老师数据分析报告制作免费学习视频。

玩转大数据分析!Spark2.X+Python 精华实战课程免费学习视频。

丘老师Python网络爬虫实战免费学习视频。

image.png

推荐 0
本文由 Python爱好者社区 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册