Scrapy第四篇：APP抓取 | 存储入MongoDB
咳咳，大家别误会哈，标题并不想搞什么大新闻，恰巧是“今日头条”爬虫而已。。
以前抓的都是网页端的数据，今天，我们来抓一抓手机App中的数据
道理其实非常简单，抓包调用Api，只不过依靠一个神器 — fiddler
我们要抓的是这个（其实也很巧，周五上课的时候偶尔刷刷看到的，评论2万多很惊讶） 但是查看后才发现，只显示两页数据，抓包结果也是如此，于是尝试App
基本配置：
Python: 2.7.13
Pycharm: pycharm-community-2016.3.2.exe
手机：Andriod系统
电脑：win8系统
一、首先用fiddler抓包
1、搜索fiddler并下载安装
2、一些设置
有点长就不啰嗦了，大家可以参考以下博文：
抓包工具Fidder详解(主要来抓取Android中app的请求)
Fiddler工具使用-抓取https请求
几个要点：
基本设置及https请求，获取本机ip地址用ipconfig命令，特别注意手机抓包需要勾选上 Allow remote computers to connect，安装证书，注意wifi连接是为了保证手机电脑连相同的网，手动设置代理服务器
还有一些地方可能根据手机型号不一样，设置不一的，大家自己灵活变通一下咯~
3、fiddler抓今日头条
其实平时不玩头条，所以先下载安装一个App，登录后并定位到该条新闻
定位到评论，下拉并抓包
然后就是下面这样
URL粘贴到浏览器，果然如此
由fiddler的response body部分，可以清晰地看到json数据的结构
通过抓包获取的URL是这样的：
http://lf.snssdk.com/article/v2/tab_comments/? group_id=6389542758708675073&item_id=6389542758708675073&aggr_type=1&count=20&offset=0&tab_index=0&iid=9659309930&device_id=25691803112&ac=wifi&channel=vivo&aid=13&app_name=news_article&version_code=609&version_name=6.0.9&device_platform=android&ab_version=116029%2C112577%2C120222%2C101786%2C120542%2C119380%2C110341%2C113607%2C119525%2C106784%2C113608%2C120243%2C119889%2C105610%2C120212%2C120459%2C104323%2C120641%2C112578%2C115571%2C120419%2C31646%2C121005%2C118216%2C114338&ab_client=a1%2Cc4%2Ce1%2Cf2%2Cg2%2Cf7&ab_group=100170&ab_feature=94563%2C102749&abflag=3&ssmix=a&device_type=vivo+V3Max+A&device_brand=vivo&language=zh&os_api=22&os_version=5.1.1&uuid=862545038604758&openudid=f96595e789672db8&manifest_version_code=609&resolution=1080*1920&dpi=480&update_version_code=6091&_rticket=1492784667138老长了呢，不过这个http://lf.snssdk.com确实和网页端不一样。tab_comments即评论，group_id和item_id为每一条新闻特殊地址代号。count容易理解，一页json数据包含20项评论。offset即为开始，后面就是一些乱七八糟的手机型号之类。
由上还可精简，去掉一些不必要的字段，最后变成这样：
url='http://lf.snssdk.com/article/v2/tab_comments/?group_id=6389542758708675073&offset='+str(i)
为了方便计数，开头设置一个全局变量Num
spiders部分这里就不贴代码了，单层次页面抓取，easy，你懂哒~
class Myspider(scrapy.Spider):
name='TouTiao'
allowed_domains=['snssdk.com']
Num=1
settings部分模拟手机抓的包，模拟请求，就像模拟浏览器一样
# -*- coding: utf-8 -*-
BOT_NAME = 'TouTiao'
SPIDER_MODULES = ['TouTiao.spiders']
NEWSPIDER_MODULE = 'TouTiao.spiders'
ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 16
DOWNLOAD_DELAY = 2
COOKIES_ENABLED = False
#headers填抓包的信息，特别是User_agent这一块
DEFAULT_REQUEST_HEADERS = {
'Accept-Encoding':'gzip',
'Connection':'keep-alive',
'User_agent':'Dalvik/2.1.0 (Linux; U; Android 5.1.1; vivo V3Max A Build/LMY47V)'}
ITEM_PIPELINES = {'TouTiao.pipelines.ToutiaoPipeline': 300}二、存储
1）首先存入Excel
既然我们上面已经设置了全局变量Num，在items里面添加一个item['Num']，简直完美(^_^)！
# -*- coding: utf-8 -*-
import xlwt
class ToutiaoPipeline(object):
def __init__(self):
self.book=xlwt.Workbook()
self.sheet=self.book.add_sheet('sheet', cell_overwrite_ok=True)
head=[u'名字', u'点赞', u'回复', u'评论']
i=0
for h in head:
self.sheet.write(0, i, h)
i += 1
def process_item(self,item,spider):
self.sheet.write(item['Num'],0,item['name'])
self.sheet.write(item['Num'],1,item['like'])
self.sheet.write(item['Num'],2,item['reply'])
self.sheet.write(item['Num'],3,item['text'])
self.book.save('TouTiao.xls')
结果就是这样：
说好的2.6万的评论呢，为什么只有1000多？
把App评论翻了个底儿朝天，仔细比对了下，没有错。把回复数量加上来也不对。
聪明的盆友可以告诉我一下为什么么。。。
2）存入Mongodb
存入excel确实简单，但数据量很大时打开会很卡，而且不是每次数据都这么规整呢。
也该学点新东西了，听说MongoDB这种非关系型数据库很不错，于是入坑。
首先官网下载（自己动手，丰衣足食~）
MongoDB基本语法可参考：
爬虫入门到精通-mongodb的基本使用
MongoDB安装配置可参考：
图解Windows下MongoDB的安装过程及基本配置_百度经验
踩过坑的人才知道，以上真的是最好的参考，没有之一
（我在这里辗转了加起来都快1天，说多了都是泪啊。。。）
安装配置过程几个坑，记录补充下：
输入如下命令，启动MongoDB
启动成功的几个标志：
1、看到 waiting for connections....
2、运行mongo.exe出现下面这样（而不是闪退）
3、在浏览器地址栏里输入http://127.0.0.1:27017,出现这样
最后配置windows出错
困扰了好一会儿，查到一个帖子：Mongodb安装后在cmd下无法启动，提示：服务名无效
改了一下，以管理员权限打开cmd(不懂的盆友自己百度吧~)
哎，感动，要哭，这一路bug太多了。。。
然后最后一步有些不一样，可能因为我是win8系统（教程是win10）
不需要新建，直接在Path的变量值那一栏，前面加上D:\MongoDB\bin 即可
然后pipelines部分代码就是这样：
# -*- coding: utf-8 -*-
#导入settings中各种参数
from scrapy.conf import settings
import pymongo
#不要忘记在settings中修改一下ITEM_PIPELINES
class MongoPipeline(object):
def __init__(self):
#pymongo.MongoClient连接到数据库
connection=pymongo.MongoClient(settings['MONGODB_HOST'],settings['MONGODB_PORT'])
# 创建数据库'db1'
db=connection[settings['MONGODB_NAME']]
# 连接到数据集'toutiao'，类型为dict
self.post=db[settings['MONGODB_DOCNAME']]
def process_item(self,item,spider):
#插入数据到数据库
#update方法实现有效去重
self.post.update({'text':item['text']},{'$set':dict(item)},upsert=True)
print u'插入成功!'
return item
结果就是这样：
这里借助了robomongo，一款MongoDB可视化软件，使用方法非常简单，大家也可以试试。由于抓取的时间不相同，存入excel和MongoDB，数据有些差异。
三、总结：
总结下本节我们都干了什么：
1、各种安装配置问题和基础知识：fiddler、MongoDB
2、Scrapy手机App数据抓取——fiddler抓包
3、存储：存入Excel，存入MongoDB
忘了说了，整个文件结构就是下面这样。
以存入MongoDB为主。存入excel的分别设置settings1、pipelines1，并置于与entrypoint同一目录（方便替换，不影响运行嘿嘿~）
本来还想数据分析一块讲的，发现太多了，留到下次啦~
完整版代码：github地址
本篇就是这样了~
