4
推荐
3085
阅读
使用Python爬取天猫店铺联系方式|思路与方法
1、获取商家信息很多初创公司为了获得客户资源，通常会有大量的可拜访客户信息的需求。如果是在以前，那么可以通过查看黄页上的企业信息数据，获得企业的联系方式，从而联系上企业负责人得以亲自拜访，获得业务上的扩展。而在互联网领域、电子商务领域，第一大的客户来源毫无疑问是属于淘系的。如果我们想要获取到这些天...
0
推荐
2110
阅读
从数据爬取到机器学习—标题党，你的标题值几何
一、前言：听说自媒体火了听说自媒体平台多了听说自媒体平台补贴高了听说搞自媒体的人都赚翻了……我也想不撸码，投身于自媒体行业去～(￣▽￣～)(～￣▽￣)～二、引子：前段时间拿到一个自媒体平台伪原创的采集器，嗯，长下面那样：按照阅读量排序进行采集，选择高阅读量的文章，稍加修改，就是一篇自己的伪原创文章了，赶...
5
推荐
1467
阅读
Python爬虫：100万以大学专业为关键词的职位信息爬取
一、系统环境：Windows 7+Python3.4+MongoDB二、爬取过程：（1）获取大学本科所有专业名称# 获取大学本科专业名称
def get_name():
url = 'http://yx.liexue.cn/zy/'
wbdata = requests.get(url,headers=header).content
soup = BeautifulSoup...
0
推荐
1891
阅读
爬取了20万淘宝店铺信息，我能干些什么？
下午，写了个简单的多进程爬虫，按照热门类目，爬取了淘宝C点的20多万条店铺信息。获取了店铺名、卖家昵称、店铺ID、店铺区域、店铺商品数量、店铺销量、店铺好评率、店铺等级等等信息。主要思路为：一、从淘宝店铺搜索页面获取热门的类目信息；def get_taobao_cate():
url = 'https://shopsear...
1
推荐
1430
阅读
一个简单的多进程爬虫（爬取某加盟创业网）
分享一个简单的多进程小爬虫，爬取某加盟创业网上所有加盟项目；使用requests请求页面，re和beautifulSoup解析网页，multiprocessing进行多进程，pymongo数据入库；（打开网站时发现密密麻麻、琳琅满目的加盟项目，但是爬完之后，发现数据也就只有那么一点点，甚至不到一千条数据，这就有点囧了）# coding:utf-8
...
1
推荐
1766
阅读
在Python中使用Phantomjs模拟登录QQ空间
在使用Python进行数据爬取的过程中，我们一般使用Selenuim自动化测试工具对需要进行登录验证和动态JS数据的站点进行爬取。而与Selenuim相对应的浏览器组件，为了方便起见，一般使用FireFox或Chrome。网上有一些关于模拟登录QQ空间的方法，都是使用Selenuim+Firefox或其他浏览器，例如郑晓的这篇：http://www.zh30.com/py...