代码参考http://www.jianshu.com/p/a6769dccd34d
刚接触Selenium的戳这里Selenium与PhantomJS
PS：代码的不足在于只能抓取第一页的说说内容，代码的改进之处在于增加了与数据库的交互，进行了存储

1.安装Selenium

pip install Selenium

2.在Python中使用Selenium获取QQ空间好友说说

分析网页结构

说说内容

发表说说的时间

3.代码实现（基于Python3）

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

from selenium import webdriver

import time

import pymongo



# #使用Selenium的webdriver实例化一个浏览器对象，在这里使用Phantomjs

# driver = webdriver.PhantomJS(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe")

# #设置Phantomjs窗口最大化

# driver.maximize_window()





# 登录QQ空间

def get_shuoshuo(qq):

    #建立与MongoClient的链接

    client = pymongo.MongoClient('localhost', 27017)

    #得到数据库

    db = client['shuoshuo']

    #得到一个数据集合

    sheet_tab = db['sheet_tab']



    chromedriver = r"E:\mycode\chromedriver.exe"

    driver = webdriver.Chrome(chromedriver)

    #使用get()方法打开待抓取的URL

    driver.get('http://user.qzone.qq.com/{}/311'.format(qq))

    time.sleep(5)

    #等待5秒后，判断页面是否需要登录，通过查找页面是否有相应的DIV的id来判断

    try:

        driver.find_element_by_id('login_div')

        a = True

    except:

        a = False

    if a == True:

        #如果页面存在登录的DIV，则模拟登录

        driver.switch_to.frame('login_frame')

        driver.find_element_by_id('switcher_plogin').click()

        driver.find_element_by_id('u').clear()  # 选择用户名框

        driver.find_element_by_id('u').send_keys('QQ号')

        driver.find_element_by_id('p').clear()

        driver.find_element_by_id('p').send_keys('QQ密码')

        driver.find_element_by_id('login_button').click()

        time.sleep(3)

    driver.implicitly_wait(3)



    #判断好友空间是否设置了权限，通过判断是否存在元素ID：QM_OwnerInfo_Icon

    try:

        driver.find_element_by_id('QM_OwnerInfo_Icon')

        b = True

    except:

        b = False

    #如果有权限能够访问到说说页面，那么定位元素和数据，并解析

    if b == True:

        driver.switch_to.frame('app_canvas_frame')

        content = driver.find_elements_by_css_selector('.content')

        stime = driver.find_elements_by_css_selector('.c_tx.c_tx3.goDetail')

        for con, sti in zip(content, stime):

            data = {

                'time': sti.text,

                'shuos': con.text

            }

            print(data)

            sheet_tab.insert_one(data)

        pages = driver.page_source

        soup = BeautifulSoup(pages, 'lxml')



    #尝试一下获取Cookie，使用get_cookies()

    cookie = driver.get_cookies()

    cookie_dict = []

    for c in cookie:

        ck = "{0}={1};".format(c['name'], c['value'])

        cookie_dict.append(ck)

    i = ''

    for c in cookie_dict:

        i += c

    print('Cookies:', i)





    driver.close()

    driver.quit()





if __name__ == '__main__':

    get_shuoshuo('好友的QQ号')

注意：使用前记得安装chromedriver这个插件，使用的过程中会呼起一个谷歌浏览器。如果写了绝对路径还报错的话，就加入环境变量。

通过Robo 3T(数据库MongoDB的一款功能强大的数据库管理工具)可以看到我们已经将拿到的数据库存储于数据库中

接下来我们应该通过拿到的数据做一些数据分析相关的东西...可是我不会！！！

正在努力学习数据分析中.....