python爬取糗事百科段子

初步爬取糗事百科第一页段子（发布人，发布内容，好笑数和评论数）

 #-*-coding:utf-8-*-

 import urllib

 import urllib2

 import re

 page = 1

url ='http://www.qiushibaike.com/hot/page/'+str(page)
 #第一页URL

 headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0'}
 #浏览器的headers ，模拟浏览器去访问

 request=urllib2.Request(url,headers=headers)
 #构建请求request

 response = urllib2.urlopen(request)
 #通过urlopen获取页面代码

 html=response.read()
#将获取的代码存入html变量 中

 #print(html)
# 到这里就把这一页的URL爬取下来了

 pattern=re.compile('
.*?title.*?
(.*?)
.*?
(.*?)
.*?
.*?number">(.*?).*?.*?number">(.*?)',re.S)
#挖出自己想要的内容

 items=re.findall(pattern,html)

 for item in items:

     print(item[0])#发布人

     print(item[1])#发布内容

    print(item[2])#好笑数

    print(item[3])#点赞数

对上面正则表达式略作解释：

（1）.*? 是固定搭配

（2）(.*?)代表一个分组，能将每一个括号里匹配的内容输出到终端。如第一个item[0]代表第一个分组即发布人。

（3）re.S代表在匹配时为点任意匹配模式

爬取部分结果如下：

正则表达式过于繁琐，对其进行简化

1 pattern=re.compile('.*?title.*?
(.*?)
.*?"content">(.*?).*?"stats">.*?number">(.*?).*?"dash">.*?number">(.*?)',re.S)