一、简介:
我是一枚小白,师从零一老师,用师傅的一句话与大家共勉:"时间是不会辜负你的"
二、说明:
1.Excel Power Query爬取网页数据的强大之处不仅操作简单,而且后期只需要一键刷新即可实时更新
2.中间获取数据的时候,我是根据自己的需求来勾选数据
3.由于贝贝网的特卖宝贝每天都更新,所以会造成您做案例的时候和我做案例中的宝贝会不一样,忽略就好,只要过程没错,案例中的宝贝不影响最终的数据效果
4.按照此方法,可以获取贝贝网其他类目的销售情况,以及其他同类网站的数据
三、具体步骤如下:
(友情提示:操作步骤很详细,看起来有点繁琐,但只要你动手做,其实很简单)
1.打开贝贝官网:http://www.beibei.com/
2.对着网页鼠标右键,点击"检查"
3.点击"手机标志"
4.按F5刷新网页,右边列表区点击"Network",再点击"clear"
5.左边网页点击女装,左边网页往下拉直到底部,右边列表区点击 "JS" 出现数据
6.点击"1-15","preview","martshows"
7.右边列表区中的"1-15"、"2-15"..."17-15"中的数据均为左边网页女装类目中的内容
8.点击"Headers",复制"1-15"、"2-15"..."17-15"所有的Request URL发现,链接中只有页码在变化,其他都不变,所以页码就可以作为一个变量
9.桌面新建Excel,"数据","从表格",勾选"表包含标题"
10.页码列的格式换成文本
11.添加列,添加自定义列,复制"1-15"Request URL,点击确定
Json.Document(Web.Contents("http://sapi.beibei.com/martshow/search/"&[页码]&"-15-woman_dress--.html"))
12.点击"继续","公共"
13.展开自定义列,勾"martshows",点击确定 (取消勾选使用原始列名作为前缀)
14.接着展在"martshows",勾选"brand(品牌)","buying_info(正在购买人数)","mid(店铺id)",点击确定
15.把"mid(店铺id)"的格式改成文本
16.切换到网页,点击第一个宝贝
17.左边网页往下拉直到底部,右边列表区点击 "JS" 出现数据
18.点击"263710-1-20...","preview","martshow_items"
19.列表区中"1-20"..."17-20"的数据均为左边网页中的内容
(左边网页里的内容,能在右边列表区中找到,此URL就是我们要找的URL)
20.点击Header,复制Request URL
21.切换到excel,把复制好的URL复制到"自定义添加列"中去
Json.Document(Web.Contents("http://sapi.beibei.com/martshow/item/v3/"&[mid]&"-1-20-hot-0--0-0--0.html"))
用"mid(店铺id)"替换"263710"
22.展开"自定义列",勾选"martshow_items",点击确定
(取消勾选使用原始列名作为前缀)
23.接着展开"martshow_items",勾选"iid(商品id)","price(折扣价)","price_ori(原价)","sale_tip(折扣)",点击确定
24.把"iid(商品id)"的格式改成文本
25.切换到网页,点击第一个宝贝
26.左边网页往下拉直到底部,右边列表区"JS"出现数据
27.点击"183682...","preview",列表区的数据均为左边网页中的内容
(左边网页里的内容,能在右边列表区中找到,此URL就是我们要找的URL)
28.点击Header,复制Request URL
29.切换到excel,把复制好的URL复制到"自定义添加列"中
Json.Document(Web.Contents("http://sapi.beibei.com/item/detail/new/"&[iid]&".html"))
用"iid(商品id)"替换"18368838"
30.展开"自定义列",勾选"sold_num(销量)",点击确定
(取消勾选使用原始列名作为前缀)
31.点击"开始","关闭并上载至..."
32.加载到"表",点击确定
33.至此,贝贝网女装销售数据获取成功!