爬虫小实例-1688物流信息之发货地信息获取

这里写个例子，公司的一个大神之前爬过1688上面的物流信息，这里也来试一下，顺便分享下学习过程。

1. 背景介绍

    目标网页：https://56.1688.com/order/price/estimate_price.htm

    目的：抓取网站上所有的线路信息，保存到文件或数据库中。

 2. 实践步骤

先观察下网站的特征，随便查询一下看看，主要看看URL是怎么传递参数的，通过FireBug，下面几个参数是不为空的

通过查看网页源码，发现上面的参数，就是发货地和收获地的省份、城市、区县的编码

既然我们要获取所有的线路数据，那第一步就是获取这里所有的发货地、收货地信息

 一开始以为这个编码是1688上自定义的，后来查了一下，发现是官方的编码，这也是为啥，前面会写一篇《最新行政区信息获取》

所以，这里最方便的办法就是直接使用官方的编码，第一步就解决了；

但是前面呢，既然要学习爬虫，就用爬虫来试试，正好前面学了selenium，这里就熟练掌握一下吧。

实践的时候呢，还是遇到了一些问题

比如：默认省份信息是隐藏的（display: none）,城市和区县信息的动态的切换的

这个应该使用JS来控制的，但是一直没找到是哪段JS

还好selenium中可以模拟单击事件，很方便

下面是代码，该有的注释都在，效率比较差，也就3000多条记录，还好跑一次就可以了

# -*- coding: utf-8 -*-

"""

Created on Mon Aug 14 21:20:56 2017



@author: yuguiyang

"""





from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from selenium.common.exceptions import TimeoutException



#打开浏览器

browser = webdriver.Firefox()

#设置等待时长，最长等待10s

wait = WebDriverWait(browser,10)



#单击省份标签

def click_province():

    #这里不点击的话，下面可以通过属性获取省份名称，但是直接使用text是不行的

    li_labels = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select ul.h li span.inner')))

    li_labels[1].click()



#单击城市标签    

def click_city():

    li_labels = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select ul.h li span.inner')))

    li_labels[2].click()

        

def main():

 

    #打开URL

    browser.get('https://56.1688.com/order/price/estimate_price.htm')

    

    #输出浏览器标题

    print('browser title: ',browser.title)

    

    #单击发货输入框，显示城市选择的标签

    input_start = wait.until(EC.presence_of_element_located((By.ID,'source-area')))

    input_start.click()

    

    #单击省份标签

    click_province()

    

   

    #区域信息

    div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))

    

    #只使用省份

    li_provinces = div_tabs[1].find_elements(By.CSS_SELECTOR ,'a.panel-item')

    

    file = open('1688_line.txt','w')

    

    #遍历每一个省份

    for pro in li_provinces:

        #单击当前的省份，页面会跳转到该省份的城市列表

        pro.click()

        

        #获取城市信息

        div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))

        li_citys = div_tabs[2].find_elements(By.CSS_SELECTOR ,'a.panel-item')



        data = []

        #遍历每一个城市

        for city in li_citys:

            #单击当前城市标签，页面会跳转到该城市下的区县列表

            city.click()

            

            #获取区县信息

            div_tabs = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR,'#source-area-select div.s-tab-b')))

            li_areas = div_tabs[3].find_elements(By.CSS_SELECTOR ,'a.panel-item')

            

            

            #遍历每一个区县

            for area in li_areas:

                data.append(pro.get_attribute('code')+','+pro.get_attribute('panel-item')

                            +','+city.get_attribute('code')+','+city.get_attribute('panel-item')

                            +','+area.get_attribute('code')+','+area.get_attribute('panel-item')

                            +'\n'

                            )

            

            #跳转回到城市标签，为了遍历下一个城市

            click_city()

        

        #将数据写入文件

        file.writelines(data)

        #跳转回省份标签，为了遍历下一个省份

        click_province()

        

        

    file.close()

    browser.quit()





if __name__=='__main__':

    main()