爬虫杂谈（一）使用Selenium进行网页抓取

萌新要学习Selenium了，安装是个坑。还要下载相关配件，可以参考python 安装selenium环境。

1、使用Firefox实例

from selenium import webdriver

import time

firefox = webdriver.Firefox()  #初始化Firefox浏览器

url = 'https://www.zhihu.com'

firefox.get(url)  #调用get方法抓取

time.sleep(10)  #10s用于观察

with open('zhihu.html','w',encoding='utf-8') as f:

    f.write(firefox.page_source)  #保存网页到本地

firefox.quit()

上图为调用Firefox获得的网页。使用page_source可以获得网页源代码，就和requests.get是一样的，不用加headers之类的。

2、对Selenium的profile的配置

简单说，就是使用selenium修改浏览器相关参数，让浏览器不加载JS、不加载图片，会提高很多速度。代码如下：

from selenium import webdriver

import time

firefox_profile = webdriver.FirefoxProfile()

firefox_profile.set_preference("permissions.default.stylesheet",2)  #禁用样式表文件

firefox_profile.set_preference("permissions.default.image",2)  #不加载图片

firefox_profile.set_preference("javascript.enabled",False)  #禁止JS

firefox_profile.update_preferences()  #更新设置

firefox = webdriver.Firefox(firefox_profile)



url = 'https://www.zhihu.com'

print("开始加载")

t_start = time.time()

firefox.get(url)

t_end = time.time()

print("加载时间是：",t_end-t_start)

time.sleep(10)

firefox.quit()

加载网页如下

firefox_profile.set_preference("permissions.default.stylesheet",1)

firefox_profile.set_preference("permissions.default.image",1)

firefox_profile.set_preference("javascript.enabled",True)

把2改为1，False改为True，看看

返回正常网页

4s与10s的差别，在爬取多网页就会有体现了。

注意，页面加载与实际网络环境有关。

3、画图

禁用JS，页面加载是否更快，可以在每种方式下运行相同的次数，然后取平均值来对比。

绘图使用matplotlib

from selenium import webdriver

import time

import matplotlib.pyplot as plt

def performance(n,css_val,image_val,js_val):

    loading_time = []

    for i in range(0,n):

        firefox_profile = webdriver.FirefoxProfile()

        firefox_profile.set_preference("permissions.default.stylesheet",css_val)

        firefox_profile.set_preference("permissions.default.image",image_val)

        firefox_profile.set_preference("javascript.enabled",js_val)

        firefox_profile.update_preferences()

        firefox = webdriver.Firefox(firefox_profile)



        url = 'https://zhangslob.github.io/'

        print("开始加载")

        t_start = time.time()

        firefox.get(url)

        t_end = time.time()

        print("加载时间是：",t_end-t_start)

        loading_time.append(t_end-t_start)

        print('=========================')

        #time.sleep(10)

        firefox.quit()

    return [x for x in range(1,n+1)],loading_time



if __name__ == '__main__':

    x1_lst,y1_lst = performance(10,1,1,True)

    x2_lst,y2_lst = performance(10,2,2,False)



    ava_y1 = sum(y1_lst)/len(x1_lst)

    ava_y2 = sum(y2_lst)/len(x2_lst)



    plt.title("Compare loading time")

    plt.xlabel("Test number")

    plt.ylabel("Loading time")

    plt.plot(x1_lst,y1_lst,'go:',label=str(ava_y1))

    plt.plot(x2_lst,y2_lst,'rs:',label=str(ava_y2))

    plt.legend()

    plt.show()

我把网址换成了我的博客：崔斯特的博客，这样更符合实际。

绿色的线是正常网页，红色是修改后的

为了确保准确，换成别的网址测试一下，可是为什么会这样？

问题：

为什么禁用JS、不加载图片，时间和原来相比差别不大？