6
推荐
7331
阅读
用户画像—标签权重算法
感谢大家长期以来对专栏的关注，最近工作比较忙，好久没更新了。接下来的几篇文章想和大家分享下关于用户画像的一些东西。今天我们先从用户画像的标签权重开始聊起吧。用户画像：即用户信息标签化，通过收集用户社会属性、消费习惯、偏好特征等各个维度数据，进而对用户或者产品特征属性的刻画，并对这些特征分析统计挖...
7
推荐
2215
阅读
Python数据挖掘实践—KNN分类
1、最邻近算法KNN方法的简单描述：KNN方法用于分类，其基本思想如下。我们已经有一些已知类型的数据，暂称其为训练集。当一个新数据（暂称其为测试集）进入的时候，开始跟训练集数据中的每个数据点求距离，挑选与这个训练数据集中最近的K个点看这些点属于什么类型，用少数服从多数的方法将测试数据归类。图示：这里我用...
4
推荐
2493
阅读
建立爬虫代理ip池
在爬取网站信息的过程中，有些网站为了防止爬虫，可能会限制每个ip的访问速度或访问次数。对于限制访问速度的情况，我们可以通过time.sleep进行短暂休眠后再次爬取。对于限制ip访问次数的时候我们需要通过代理ip轮换去访问目标网址。所以建立并维护好一个有效的代理ip池也是爬虫的一个准备工作。网上提供免费代理ip的网...
5
推荐
2571
阅读
Python抓取淘宝女装信息（二）
继上周的淘宝女装连衣裙信息爬虫进一步完善，进行了次级页面信息的抓取、支持多进程。数据说明：本次爬取淘宝女装连衣裙共8个字段信息，包括：商品ID、店铺ID、店铺地址、店铺名称、商品名称、销量、价格、商品详情链接。其中商品ID设为数据库存储的主键，防止了存储重复信息。共抓取 20258条数据。淘宝连衣裙数据链接：...
8
推荐
3243
阅读
Python抓取淘宝女装信息（一）
本次实战案例以抓取淘宝上连衣裙信息为切入点，共抓取4356件连衣裙产品信息。在此基础上进行初步分析。这里首先感谢@大宇，后期的数据处理与图表制作全靠大神帮助。下面我们进入正式介绍环节。淘宝、京东、链家等大型网站都采取了一定反爬策略，这篇主要讲解下爬取过程中遇到的坑与处理办法。关键词：正则表达式、json、...
3
推荐
3187
阅读
8.7万条豆瓣电影数据分析
这篇文章主要分两部分来聊，第一部分讲数据的抓取，第二部分对电影数据进行一些简单的分析。好，我们这就进入正题...第一章：获取豆瓣电影信息1.构造链接我们在豆瓣电影分类标签下，根据电影类型的不同来构造链接，获得爬取的初始链接入口。初始的入口链接构造好了，如何把全部电影信息的链接都获取到呢？这里一般有两种...
3
推荐
2305
阅读
Python爬取豆瓣热门电影信息
万事开头难，知乎专栏申请下来一段时间了，但一直懒癌拖着没写，拖了又拖，终于在一个阴雨绵绵的周六的晚上提笔开始了第一篇爬虫文章。首先爬虫是啥，爬虫无非是用程序模拟人在浏览器上的行为，抓取网络信息用于分析，用爬虫的最大好处是能够批量、自动化地获取数据和处理信息。例如我们可以通过抓取淘宝、天猫、京东等...
2
推荐
4290
阅读
Python机器学习实践—决策树
这几期和大家聊聊使用Python进行机器学习题外话：之前一期 “ scrapy抓取当当网82万册图书数据 ” 的 Github 链接Python拥有强大的第三方库，使用Python进行科学计算和机器学习同样需要先配置运行环境。这里我们需要安装Anaconda，官方给出的下载链接太慢，而且经常下载到一半卡死，这里我提供我下载好的网盘链接，密码：p...
10
推荐
2969
阅读
Python面试指南
收拾了一下自己学习Python过程中的笔记，将Python面试过程中经常涉及到的一些问题整理出来。没有总结到的知识点，欢迎大家在评论里提出来，本文长期更新。1、Python基本语法1、@staticmethod 和 @classmethodPython中有三种方法，实例方法、类方法(@classmethod)、静态方法(@staticmethod)。类方法的第一个参数是cls，表...
6
推荐
6283
阅读
Python爬取链家北京二手房数据
今天分享一下前段时间抓取链家上北京二手房数据的项目。本次分享分为两部分，第一部分介绍如何使用scrapy抓取二手房数据，第二部分我将抓下来的数据进行了一些简单的分析和可视化。最后我会贴上数据，感兴趣的朋友可以深入分析Github地址：点这里1、使用scrapy抓取二手房数据文章目录结构D:.
│ run.py
│ scrapy.cfg
│ ...
4
推荐
2277
阅读
使用Python绘制图表
在使用Python绘制图表前，我们需要先安装两个库文件numpy和matplotlib。Numpy是Python开源的数值计算扩展，可用来存储和处理大型矩阵，比Python自身数据结构要高效；matplotlib是一个Python的图像框架，使用其绘制出来的图形效果和MATLAB下绘制的图形类似。下面我通过一些简单的代码介绍如何使用 Python绘图。一、图形绘...
9
推荐
3975
阅读
关于反爬虫的一些总结
1、爬取过程中的302重定向在爬取某个网站速度过快或者发出的请求过多的时候，网站会向你所在的客户端发送一个链接，需要你去验证图片。我在爬链家和拉钩网的过程中就曾经遇到过：对于302重定向的问题，是由于抓取速度过快引起网络流量异常，服务器识别出是机器发送的请求，于是将请求返回链接定到某一特定链接，大多是验...
2
推荐
3488
阅读
Scrapy抓取当当网82万册图书数据
今天主要分享一下使用Scrapy框架抓取当当网的图书数据。前言：scrapy框架自带twisted线程池，默认10个线程，在爬虫这种IO密集型任务中可充分利用请求返回的等待时间。本次爬虫单机运行，2小时抓取完82万条图书信息。Github地址：点这里当当图书数据 密码：dt1q文章目录结构：在Windows命令行下进入当前文件目录输入：t...