爬虫过程概述
爬取时间: 2017 年 4 月 27 日 -- 2017 年 4 月 28 日
1. 爬取 Twitter
Tweepy:由于 Twitter 平台限制,只爬取多 3100 多条记录,本来打算用 selenium 来爬取,发现并不可行,最早只能看到 2014 年 11 月 14 日的发推
注意:返回的发推时间均为格林尼治标准时间,但是请放心,文章中的时间均已经转换为北京时间
2. 爬取豆瓣小站
requests + bs4 + re
3. 爬取微博
selenium + bs4 + re
简书大事纪
2015 年发生了很多大事,希望 2017 年更多,:
简书 in Twitter年月周日时发帖量
简书在 Twitter,真的很努力
Tableau 仪表盘
总结分析
重要的事提前强调一下:Twitter 平台限制,爬取的信息不完整
Twitter 上的推文,转推的最大值为 70,喜欢的最大值为 31,表现不赖吧,毕竟是在 Twitter
2014 年以后发推量断崖式下跌,可能 Twitter 的引流效果有限,投入产出比较低,所以不愿意在 Twitter 上多费精力
从周发推量来看,简书的 Twitter 运营人员似乎没有明显的周末,很拼啊。通过 Tableau 仪表盘进行详细分析,很多时候周末的发推量大于周一~ 周五的发推量
从时发推量来看,晚上 22 点依然活跃,就算是 0~6 点,发推量还是明显波动的,而不是平滑向下的曲线,失眠?还是?
简书 in 豆瓣
简书在豆瓣小站发帖类型有 5 种:
推荐网址
写了新日记
发布了新作品
发布了新图片
上传了一张照片
发帖类型分布
年月周发帖量
简书在豆瓣上发帖逐年减少,是不是在豆瓣上越来越不活跃了呢?答案是否定的
年发帖量
月发帖量
周发帖量
详细分析
不加入发帖类型这个参数,分析就不那么有趣了
加入发帖类型
Tableau 仪表盘
不是简书不活跃了,而是它发的内容质量越来越高了,它处于一个良性发展中
简书 in 微博
年月周日时发微量
年发微量
月发微量
周发微量
时发微量
详细分析
Tableau 仪表盘
总结分析
2017 年 4 个月的微博获赞总量已经接近 2015 年全年的获赞总量了,说明简书的内容越来越受大家喜欢
微博被评论最多为 3295 次,内容的互动性不错,可以借鉴。微博被转发最多为 18886 次,微博被赞最多为 7004 个,所有的优质内容都可以深入学习
分析时发微量的规律,比 Twitter 上发推有规律多了,至少发微的人 0~7 点应该是在休息的。而且 10 点和 11 点是发帖量的高峰时段,一般晚上 21 点后发帖量逐减。关注简书微博的用户也是同频活跃么?还有 21 点后依然发微,这是人工发微博么?