数学建模已结束，刚开始的目标就是不熬夜，结果还是熬夜了（QAQ），缓了一天就来写简书了，感觉很久没爬虫了，今天就爬下移动端的微博好友圈信息。

代码

import requests

import json



headers = {

    'Cookie':'xxxxxxxx',

    'User_Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'

}



f = open('C:/Users/LP/Desktop/weibo.txt','a+',encoding='utf-8')



def get_info(url,page):

    html = requests.get(url,headers=headers)

    json_data = json.loads(html.text)

    card_groups = json_data[0]['card_group']

    for card_group in card_groups:

        f.write(card_group['mblog']['text'].split(' ')[0]+'\n')



    next_cursor = json_data[0]['next_cursor']



    if page<50:

        next_url = 'https://m.weibo.cn/index/friends?format=cards&next_cursor='+str(next_cursor)+'&page=1'

        page = page + 1

        get_info(next_url,page)

    else:

        pass

        f.close()



if __name__ == '__main__':

    url = 'https://m.weibo.cn/index/friends?format=cards'

    get_info(url,1)

代码分析

1. 提交cookie模拟登陆微博
2. 好友圈的信息也是异步加载，如图为第一页的url
   
   
   
   看下返回的数据中，这个next_cursor很重要！！！！
   
   
   
   往下翻页，如图，可以看出第二页的url中也有next_cursor，刚好是第一页返回的！！！！！
   
   
   
3. 这样就可以构造多页url，爬取数据啦

   词云

   最后，jieba分词做了一个词云，除了二哈，感觉全是群主的，被刷屏了。
   
   

作者：罗罗攀

链接：http://www.jianshu.com/p/d8e340f0a247

來源：简书

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。