RoboBrowser:轻量级爬虫、自动化测试库

浏览: 1673

Clipboard Image.png

这句话是RoboBrowser官方给出的简短介绍,意思“爬东西就跟去邻居串门一样,特别简单友好”

简单来说robobrowser是一个浏览器,没有界面的浏览器(Selenium也是一个浏览器,不过运行时你会看到电脑界面上启动了一个浏览器)。它调用了python的requestsBeautifulsoup库,如果你之前用过这两个库(写爬虫居家生活必备的库,没用过赶紧点击上面的链接看看中文的参考文档),你会觉得RoboBrowser忒简单,真TMD好用。
RoboBrowser可以打开网页,点击链接和按钮并且提交表单。嗯,看上去功能好像不强大,不过如果让你爬需要登录验证的网站时候,先用RoboBrowser登录验证,那么后面你想干啥都可以,爬数据soeasy。
具体可看虫师的博文
还没被玩坏的robobrowser(2)——安装及快速开始
还没被玩坏的robobrowser(3)——简单的spider
还没被玩坏的robobrowser(4)——从页面上抓取感兴趣的内容
还没被玩坏的robobrowser(5)——Beautiful Soup的过滤器
还没被玩坏的robobrowser(6)——follow_link
还没被玩坏的robobrowser(7)——表单操作

推荐 0
本文由 邓旭东HIT 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册