利用简书首页文章标题数据生成词云

浏览: 2818

1.词云图

词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。

  • 先看几个词云图


    简书签约作者标签词云
    简书签约作者标签词云

全国政协常委会工作报告词云图

全国政协常委会工作报告词云图

2.推荐几个不错的词云图工具

Tagul云可以自定义字体、词云的形状(有爱心、BUS、雪人、人像、UFO等),颜色等,做出来的词云图很酷炫,为网站访问者提供良好的用户体验。用户可以在网站做好词云图,然后印在衣服、杯子、鼠标垫等地方,自己设计身边的物件,感觉很有成就感,很实用的网站。
Tagul云可以自定义字体、词云的形状(有爱心、BUS、雪人、人像、UFO等),颜色等,做出来的词云图很酷炫,为网站访问者提供良好的用户体验。用户可以在网站做好词云图,然后印在衣服、杯子、鼠标垫等地方,自己设计身边的物件,感觉很有成就感,很实用的网站。

这款国内的在线词频分析工具,在长文本自动分词并制作词云方面还是很出众的,而且也容易上手,还可以自定义定制图形模板:标准、微信、地图等,切换自如,用起来体验很不错。
这款国内的在线词频分析工具,在长文本自动分词并制作词云方面还是很出众的,而且也容易上手,还可以自定义定制图形模板:标准、微信、地图等,切换自如,用起来体验很不错。

这是一款数据可视化工具,除了词云,还有很多其他酷炫的图表,如GIS地图、漏斗图、瀑布图、桑基图等,来了解它们的词云。工具很容易上手,直接把词语这个数据拉到维度栏,再选择词云就瞬间呈现词云图表,BDP会自动算好词频,你可以设置颜色,快速实现词云可视化,特别简单。
这是一款数据可视化工具,除了词云,还有很多其他酷炫的图表,如GIS地图、漏斗图、瀑布图、桑基图等,来了解它们的词云。工具很容易上手,直接把词语这个数据拉到维度栏,再选择词云就瞬间呈现词云图表,BDP会自动算好词频,你可以设置颜色,快速实现词云可视化,特别简单。

  • Python的扩展包wordcloud也可构建词云。
    • 安装命令
#安装词云
pip install wordcloud

#安装jieba分词
pip install jieba

1、引入模块

from wordcloud import WordCloud
import matplotlib.pyplot as plt

2、实例化一个词云

wc = WordCloud()

3、导入文本

text = open(r"222.txt",encoding='utf-8').read()

4、生成词云

wc.generate(text)

5、显示词云

plt.imshow(wc)

#导入python画图的库,词云生成库和jieba的分词库
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

#读取txt格式的文本内容
text_from_file_with_apath = open('JsIndex.txt').read()

#使用jieba进行分词,并对分词的结果以空格隔开
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

#对分词后的文本生成词云
my_wordcloud = WordCloud().generate(wl_space_split)

#用pyplot展示词云图。
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

入门可以参考博客python词云 wordcloud 入门,安装的时候建议使用依赖包安装,我用命令安装了几次一直超时失败。

3.爬取数据,制作词云图

1.爬取简书首页推荐文章标题

  • 分析网页结构通过Xpath筛选我们想要的数据有两种方法
    通过谷歌商店的Xpath工具分析结构得到我们想要的数据
    通过谷歌商店的Xpath工具分析结构得到我们想要的数据

直接复制title的xpath,不过我们只能得到这一条数据,所以还要修改

直接复制title的xpath,不过我们只能得到这一条数据,所以还要修改

  • 编写代码
#-*- coding:utf-8 -*-

#creater 简书-_知几 2017.8.26

import urllib,urllib2,re
from lxml import etree

class CrawlJs:
#定义函数,爬取对应的数据
def getArticle(self,url):
print '█████████████◣开始爬取数据'
my_headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
}
request = urllib2.Request(url,headers=my_headers)
content = urllib2.urlopen(request).read()
return content

#定义函数,筛选和保存爬取到的数据
def save(self,content):
xml = etree.HTML(content)
datas = xml.xpath('//div[@class="content"]/a/text()')
print datas
for data in datas:
print data
with open('JsIndex.txt','a+') as f:
f.write(data.encode('utf-8')+ '\n')
print '█████████████◣爬取完成!'

#定义主程序接口
if __name__ == '__main__':
url = 'http://www.jianshu.com/'
js = CrawlJs()
content = js.getArticle(url)
js.save(content)

得到我们的数据

得到我们的数据

2.制作词云图

  • 工具 我使用的是TAGUL 一款在线词云制作工具,简单易上手,缺点只能分词英文,需要导入中文字体。

操作:

  • Import words , 可以直接粘贴导入文本数据,或者以web url的方式导入。文本数据包括关键词和size。
  • 选择形状shapes -- 也可自定义形状图片
    TAGUL提供了一些模板图形,左边是分类主题。
  • 分词技术
    推荐两个分词工具,一个是在线分词工具 基于深度学习的中文在线抽词-PullWord,另一个是结巴分词(jieba)。

简书首页推荐文章标题词云图

简书首页推荐文章标题词云图

推荐 2
本文由 一只写程序的猿 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

4 个评论

没有剔除停用词
当时写这个的时候还不知道要剔除停用词 _(:⁍」∠)_
我也觉得BDP个人版不错,最近做数据分析都在用~
之前了解过一点还是蛮不错的

要回复文章请先登录注册