0
推荐
3400
阅读
GitHub上超9Kstars的Python爬虫项目——pyspider（国人编写）
A Powerful Spider(Web Crawler) System in Pythonbinux/pyspider简介PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。特性python 脚本控制，可以用任何你喜欢的html解析包（内...
0
推荐
1516
阅读
爬虫三步走（二）解析源码
更优阅读体验爬虫三步走（二）解析源码=====================================================================上一期爬虫三步走（一）获取源码 讲了如何获取网页源码的方法，这一期说一说怎么从其中获得我们需要的和数据。解析网页的方法很多，最常见的就是BeautifulSoup和正则了，其他的像xpath、PyQuery等等，...
2
推荐
7450
阅读
爬虫杂谈（四）抓取微信公众号文章的轮子
介绍一些可以用来爬取微信公众号的轮子1、基于搜狗微信搜索的微信公众号爬虫接口地址：Chyroc/WechatSogou安装pip install wechatsogou
引用from wechatsogou import *
wechats = WechatSogouApi()
搜索公众号 - search_gzh_infofrom wechatsogou import *
wechats = WechatSogouApi()
name = 'Python'
wechat = wechat...
1
推荐
2278
阅读
爬虫杂谈（一）使用Selenium进行网页抓取
萌新要学习Selenium了，安装是个坑。还要下载相关配件，可以参考python 安装selenium环境。1、使用Firefox实例from selenium import webdriver
import time
firefox = webdriver.Firefox() #初始化Firefox浏览器
url = 'https://www.zhihu.com'
firefox.get(url) #调用get方法抓取
time.sleep(10) #10s用于观察
with ...
0
推荐
2218
阅读
转丨一键生成你的微信好友头像
看到好东西，忍不住分享一下原文地址：itchat+pillow实现微信好友头像爬取和拼接 - 知乎专栏只需要下载“wxImage.py”。。Python运行即可python wxImage.py
作者的requirements.txt有很多包。我自己安装过程中失败了，我只安装如下几个itchat、pillow、numpy
然后就生成图片了。快去朋友圈炫耀去吧！“找找你在哪！”别忘...
0
推荐
2311
阅读
PY交易（一）使用Pygame
也可以来我的博客看哦崔斯特的博客专栏1、使用Pygameimport pygame #导入Pygame
from pygame import * #导入Pygame中的所有常量
pygame.init() #初始化Pygame
screen = pygame.display.set_mode((600,500)) #创建窗口
myfont = pygame.font.Font(None,60) #创建字体对象
white = 255,255,255
blue = 0,0,255
textImage...
2
推荐
1746
阅读
为了找一份Python实习，我用爬虫收集数据
记录下爬取招聘网站上Python实习信息，为了找实习做好准备。======================================================================环境准备：Python3.5 PyCharmfake_useragent实习僧还是挺不错的网站，打开http://www.shixiseng.com/interns?k=Python 打算把职位名称、地点、公司、薪水和职位的URL爬取并保存下来对...
0
推荐
1435
阅读
基于bs4库的HTML内容查找方法
目标网址This is a python demo page主要使用BeautifulSoup的findall_all方法>>> import requests
>>> r = requests.get('http://python123.io/ws/demo.html')
>>> demo = r.text
>>> demo
'<html><head><title>This is a python demo page</title></he...
1
推荐
1814
阅读
编程无聊怎么办，边玩游戏边学习
学习编程是漫长的过程，有时候没有动力再继续学习，这个时候，玩玩游戏，岂不是美滋滋？1、CodinGame code game支持多种语言，平台的目标用户是和我一样的具备一定编程基础的人，建议大家可以尝试下。当然同时也为资深程序员提供了相应级别的进阶练习。有兴趣的朋友，可以去平台注册体验一番。2、Code Combat ...
1
推荐
1594
阅读
Python学习笔记 ——yield
经常看到大神写程序中使用yield，一直不明白这个的用法，现在好好记录下。1、迭代器迭代器是访问集合内元素的一种方式。迭代器对象从集合的第一个元素开始访问，直到所有元素都被访问一遍后结束。迭代器不能回退，只能向前进行迭代。Python中最常使用迭代器的场景是循环语句 for>>> for i in range(5): #range...
2
推荐
1895
阅读
震惊丨某男子自学Python7天后找到高薪工作
Happy April Fool's Day！没错，这是一个标题党。各位愚人节快乐~~我想表达的是，精通Python不可能一蹴而就，必须花很多时间来学习和敲代码。这里分享两个不错的爬虫项目1、zhihu_img，抓取指定知乎用户 followee 的头像地址：ipreacher/tricks 由@ipreacher 创作这是爬取轮子哥关注人的前3页的头像，个性域名...
3
推荐
1757
阅读
昨天看球时，球迷都说了啥——弹幕抓取与分析
推荐去我的博客阅读：昨天看球时，球迷都说了啥——弹幕抓取与分析数据来源：龙珠直播中国之队官方直播间直播间-龙珠直播,游戏直播平台本次弹幕记录（开始时间: 2017-03-23-19:43:34，结束21:29:33)，共记录20788条数据。使用OBS弹幕助手记录OBS弹幕助手 - OBS插件 - 小葫芦1、分析文件中含有时间记录，观众ID和送礼记录，...
6
推荐
2614
阅读
Python爬虫实战，爬取贴吧图片
优化阅读Python练习第九题，爬取贴吧图片一、问题：用 Python爬取妹子图片 :)杉本有美_杉本有美吧_百度贴吧二、分析贴吧网页源码打开网页杉本有美_杉本有美吧_百度贴吧，F12发现图片链接都在<img>标签中<cc>
<div...>
<img...>
<img...>测试发现，src中的链接就是图片...
6
推荐
2337
阅读
Python练习第七题，我要倒过来看
更舒适的阅读体验：Python联系第七题，我要倒过来看一、ChallengeUsing the Python language, have the function FirstReverse(str) take the str parameter being passed and return the string in reversed（颠倒的） order. For example: if the input string is "Hello World and Coders" then your progr...
3
推荐
2714
阅读
【Python爬虫实战】——爬取今日头条美女图片
笔者是头条的深度使用者，经常用头条完成“看片”大业。若不信的话可以试试在头条搜索街拍，返回的都是一道道靓丽的风景线。想把图片存下来，该怎么办呢？我们可以用Python爬虫啊。人生苦短，我用Python！1、工具Python3.5，Sublime Text，Windows 72、分析（第三步有完整代码）可以看到搜索结果默认返回了 20 篇文章，当...