Python网络爬虫二

浏览: 1603

作者:我为峰2014

链接:https://www.jianshu.com/p/e0d81b8d5c24

來源:简书

例子

爬取微博的评论

任务分析

1、抓包分析获得有规律的网址
2、使用cookie保持微博的登录状态
3、数据传输是json格式(类似于字典)
4、使用用正则表达式匹配出想要的评论文本
4、对文本数据的保存并分析

抓包分析

澎湃新闻网址
http://weibo.com/thepapernewsapp?refer_flag=1005055014_

点击这条新闻的评论,出现下图:

然后我们点击“查看更多”,弹出了另外一个网页
https://weibo.com/5044281310/FD4AvqzoT?filter=hot&root_comment_id=0
打开开发者工具,进行抓包分析,先点击‘查看更多’

可疑网址:https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page=4&filter=hot&sum_comment_number=2892&filter_tips_before=0&from=singleWeiBo&__rnd=1515391060977

掉不可用的部分,如下https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page=4&filter=hot

发现现在是在第五个页片,page=4

构造出base_url = 'https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page={page}&filter=hot'

cookie的使用

Cookie = {'Cookie':‘你的cookie’}
然后发请求
r = requests.get(url, cookies= Cookie)

json格式数据

这里首先要将str转换为dict,解决办法有两个:
方法一:
import json
Data = json.loads(r.text)
方法二:
直接使用requests的方法
Data = r.json()

正则匹配出评论文本

</a>:这几个月我跟我老公每天不做饭去我妈家吃每个月给我妈千块钱伙食费怎么办我好害怕我妈被罚款啊挖鼻挖鼻 </div>
</a>:严查黑恶势力的保护伞,公安系统没有保护伞,他们不会那么猖獗 </div>

我们发现评论内容前都出现了</a>,评论内容后出现</div>-----好像微博的评论都是这样的

那么我们可以构造一个正则表达式规律模板:
re.compile(r'</a>: (.*?) </div')

但是,评论中还是有杂质,如图片链接等,我们只要汉字内容!!!
那么我们这里再用一次正则,匹配出所有的汉字
汉字的正则表达式是
re.compile(r'[\u4e00-\u9fa5]')
多个汉字的表达式是
re.compile(r'[\u4e00-\u9fa5]+')
我们用多个(多于一个汉字)汉字的表达式,

保存

import os

获取当前代码所在的文件夹路径

path = os.getcwd()
filename = '辱母杀人评论.txt'
file = path + '/' + filename
f = open(file, 'a+', encoding='utf-8')

文本写入txt文件

f.write(comment)

分析

代码

import requests
import re
import os
import json
import time
import simplejson
Cookie = {'Cookie':'你自己的'}
headers = {
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}
base_url = 'https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4193124316332611&root_comment_max_id=143085129182685&root_comment_max_id_type=0&root_comment_ext_param=&page={page}&filter=hot'
#在base_url后面添加&currentPage=1就可以访问不同页码的评论


comment_pattern = re.compile(r'</a>:(.*?)</div>')
chinese_pattern = re.compile(r'[\u4e00-\u9fa5]+')


path = os.getcwd()
filename = '员工搭伙做饭被罚15万.text'
file = path + '/' + filename
f = open(file,'a+',encoding='utf-8')


print(os.getcwd())



#print(html)
requests_num = 1
#开始,介绍,每次增加的
for i in range(1,5,1):
if requests_num%100 == 0:
time.sleep(10)
elif requests_num%1000 == 0:
time.sleep(60)
elif requests_num%3000 ==0:
time.sleep(600)
url = base_url.format(page=i)
r = requests.get(url, headers=headers, cookies=Cookie)
Data = r.json()
print(type(Data))
data = Data['data']['html']

com_list = re.findall(comment_pattern,data)
requests_num+=1
for com in com_list:

comment = re.findall(chinese_pattern,com)
comment = ''.join(comment)+ '\n'
print(comment)
time.sleep(1)
f.write(comment)

f.close()


总结

其实这就已经是一个模板了,只要微博的评论没有改,你换你想要爬取的评论连接上去,一般就可以成功了,当然,你爬取的量太大的话还是会被封的。

推荐 0
本文由 Python爱好者社区 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册