python 网络爬虫入门（四）— 破解pexels高清原图

发表: 2017-04-10 浏览: 1741

Python

最近貌似对好看的图着迷，Pixabay爬不到原图不甘心呀。
百度+知乎了下，于是转向pexels,同样一个高人气图片网站。

图片.png

颜值逆天，画质不输Pixabay,瞬间感觉有了动力？
不到一下午就爬到高清原图，仅用re\requests几个库，随后又做了个下载器。
之前的博文泛泛带过的多，总感觉少了点什么，这次详细记录一下。

一、过程

1、分析查看
首先点击进入官网，又见瀑布流，点击查看源码。

图片.png

看到后面这一串，便可知晓网页有嵌入JavaScript脚本。由于前面踩过坑，立即用requests库检查了下，发现可以正常返回源码中数据，松了一口气。（爬取网站前先检查一下其反爬策略还是很有必要的，之前就曾遇到过返回乱码或者什么都没有的情况）

2、获取原图地址
搜索框中输入’water’，页面跳转到如下：

图片.png

查看源代码和首页差不多，接着是图片真实地址链接。我在这里绕了几个弯，具体不叙述。

加上前面pixabay的坑，最后得到经验：直接点击官方下载按钮，从对话框中看到图片真实链接，这是最保险的模式。（因为有时“查看模式”并不能提供真实链接，而且有时也并不能下载得到。）

最后发现真实地址图片.png 有两种形式，还发现图片有jpg和jpeg两种格式：

图片.png

我第一次以为链接只有第二种，结果辛辛苦苦匹配正则下载的图确是这样的：
图片.png

有些图并不能打开，又得到教训：爬虫爬下的图打不开时，可能链接地址是错的。

图片.png

对比源码，发现’data-pin-media’和’src’中皆含地址链接数据，用正则提取，再将images换成static即为链接。图片格式有两种，为了方便后面命名，我还是分成了两段来取。用最简单的(.*?)，结果又出问题了：

     #正则是这样的

        pattern=re.compile(r'<img.*?data-pin-media="https://images.pexels.com/photos/(.*?)/(.*?)?w=800.*?>',re.S)

        items=re.findall(pattern,result)

图片.png

每个链接后面都多了个’？’，如何去掉字符串最后一位字符，我记得string类是没有像list类的pop()方法的，又考验Python基础。不过这个简单啦~

 for item in items:

     print 'https://static.pexels.com/photos/'+str(item[0])+'/'+str(item[1][:-1])

3、批量下载

这特么才是关键啊！

网页使用瀑布流模式，是没有页码的，无法像之前那样一页一页遍历。selenium还不熟练，这下如何是好。又倒回去看源码。然后发现了这一堆！

图片.png

点击源码中href=”/search/water/?page=2”,页面跳转
图片.png

地址栏里链接变成 https://www.pexels.com/search/water/?page=2
熟悉的感觉，这几个图好像刚刚那个页面也出现过。。。
回第一页源码中数了下，一共才发现15张缩略图的链接。
然后全明白了，回page1一数正好吻合。
原来获取图片接口在源码里啊，每一页15张，308就是最大页数了。
接着就简单了，又可以循环遍历，避开瀑布流啦^_^

试着下载图片，结果又出幺蛾子了：

图片.png