R语言抓取《欢乐颂2》热闻

发表: 2017-06-07 浏览: 1555

函数 R语言

这篇博文给大家分享如何使用R语言抓取《欢乐颂2》的热门新闻，博文给出了一个封装的函数，只要输入关键词和页数就可把百度新闻中与该关键词有关的内容抓取出来。

需要加载的包

library(rvest)
library(stringr)
library(tidyverse)

热闻抓取函数

fun=function(keyword,page){
theme=author=date=href=NULL
for(i in 1:page){
    url=sprintf('http://news.baidu.com/ns?word=%s&pn=%s0&cl=2&ct=1&tn=news&rn=20&ie=utf-8&bt=0&et=0',
                keyword,i)
    web=read_html(url)
    theme=c(theme,web%>%html_nodes('h3')%>%html_text())
    txx=web%>%html_nodes('.c-author')%>%html_text()
    date=c(date,txx%>%
      str_extract_all('\\d{4}年\\d{1,2}月\\d{1,2}日 \\d{1,2}:\\d{1,2}|\\d{1,2}小时前|\\d{1,2}分钟前')%>%
      unlist())
    txx1=txx%>%str_split('\\d{4}年\\d{1,2}月\\d{1,2}日 \\d{1,2}:\\d{1,2}|\\d{1,2}小时前|\\d{1,2}分钟前')%>%
      unlist()%>%str_trim()
    author=c(author,txx1[txx1%>%str_length()>1])
    href=c(href,web%>%html_nodes('h3>a')%>%html_attr('href'))
}
dat = data.frame(新闻主题=theme, 新闻单位=author, 新闻日期=date,新闻链接=href,
                       stringsAsFactors = F)
return(dat)
}