近年来互联网行业蓬勃发展,“大数据+”的风口下,数据分析的岗位缺口日渐增加,本章针对于自己数据分析技能的提升做了一个大致规划,同事也是比较适合小白童鞋们的哦~
数据分析,数据为一切工作的前提,那么首先介绍一下我获取数据的方法:
工具:八爪鱼爬虫软件,一款不需要代码就可以获取绝大多数网站数据的简单操作工具,免费注册,下载需要积分,可以通过微信公众号签到获取(每天30积分),目前有关注送礼包活动(仅限1次,2000积分),嫌麻烦也可以直接充值vip,几十元每月。八爪鱼公司不定期会安排免费培训,8次课左右,通过考核会有初级证书,电子版那种,我有幸参加了,但是考核没通过~
爬取模式分为简易模式和自定义模式,网站有各种网站爬取教程。简易模式内置了一些常用网站,例如拉钩、前程无忧、智联招聘、天猫、京东等等,通过设置搜索关键字即可爬取规则中的数据;自定义模式可以通过自己点选的方式获取需要数据,主要用于简易模式中不包含的网站或数据的爬取。以下为例:
本次介绍简易模式的使用:
1.注册后登陆
2.点击简易采集
3.鼠标移动至相应模板,点击显示出的蓝色框,框中显示选择字样,在点击选择相应模板下的开始使用,点击下图红色框中的采集参数预览查看参数设置规则,点击立即使用;
4.网址处填写相应网址,关键词为需要爬取的岗位名称,支持多个,1行1个,回车换行,点击保存并启动-启动本地采集即可开启本次任务;
5.采集结束后弹出采集完成对话框,如果暂时不需要可以稍后导出,不扣积分,如果需要点击导出数据,可以导出Excel、CSV、HTML和数据库形式。
本次爬取网站分别为拉勾网、前程无忧、智联招聘,爬取关键字为前端工程师、可视化工程师、BI工程师、数据分析、ETL工程师,均为简易模式采集,拉勾网通过自定义模式采集outer html采集工作地点经纬度以便后续分析使用。
数据量:拉勾网企业数据5200+,拉勾网职位信息3000+,前程无忧职位信息2900+。
毕业之初,做过保险公司讲师,做过银行大堂引导员,知道在某大型金融公司做了数据分析专员,一点一滴的积累,开拓了眼界也使我明确了自己的人生规划,对数据分析行业的喜爱日渐增加,从Excel到近期学习的SQL、H5、C3、JS、JQ、kettle、information、smartBI、tableau等等,掌握的越多发现想要学习的越多,期待自己走向更精进的数据分析之路。
我的学习计划:
1. 复习Excel、SQL、统计知识;
2. 学习业务知识;
3. 使用Tableau、BI工具制作一个可视化项目;
4. 完成一份数据分析报告;
5. 学习python的分析模型及可视化展现;
6. 学习推论性统计分析知识;
7. R;
8. 机器学习入门;