问个问题,能否在不登录的前提下,爬取网页里面的数据?

0
已邀请:
0

calan0117 2018-06-29 回答

要看是爬去什么样子的数据了,有些页面上的数据如豆瓣的书评,在不登录豆瓣也可以看到,直接通过爬虫爬去网站页面,解析页面内容是可以获得到的。但是一些API或者一些需要带用户参数请求的内容,当然是需要登录的时候去爬去的。
0

ID王大伟 - 人生苦短,我选Python,转行之路如漫漫长夜,唯有不断学习充电保证不停机。 2018-06-30 回答

如果不登陆   可能会被重定向到登录页面  也就无法爬取内容了
登录可以有几种思路:
(1)post表单
(2)selenium
(3)cookies

要回复问题请先登录注册