0
推荐
1127
阅读
pandas小册子（二）Dataframe
上一篇讲解了一下，pandas两个主要数据结构之一：用于存放一维数据的Series，本篇介绍一下存放二维数据的Dataframe。Dataframe（简称df）是pandas处理与分析数据的重要数据结构，df像关系型数据库的表，列是属性，行是记录，行列之间的数据处理方式较SQL来说更灵活多变，能够解决工作中大部分的数据处理任务。先讲一下Da...
1
推荐
1109
阅读
pandas小册子（一）Series
pandas是python做数据处理与分析的常用包，基于NumPy数组构建的，使得python做数据预处理、清洗、分析工作变得更加快捷。pandas有两个主要数据结构：Series和DataFrame，分别对应一维数据表、二维数据表。（当然还有三维数据表-Pannel，使用场景不多）今天先讲解一下Series：Series的创建方式及四个参数的含义如下：接下...
4
推荐
1712
阅读
面向集合的思维编写SQL（第九篇 --- “我说的是：苹果柿子李子栗子梨的那个橘子啊”）
max：屏幕前的同学，这个时候还在天善智能看博文，肯定是单身狗吧...猿同学：520是什么鬼，我的世界只有1024...大家好，距离上篇（面向集合的思想编写SQL的第八篇）已经过去N多个月了...一直想给大家呈现一个体系，然而写了这么多篇，我的状态是时而清楚，时而糊涂...生怕有理说不清啊今天先通过一个小案例让大家最直观...
0
推荐
1200
阅读
10分钟了解Python
Python是什么？龟叔（荷兰人吉多·范罗苏姆），在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。翻译翻译...什么叫Python，python英译汉是“大蟒蛇”...截至2019年，Python已经上升至世界编程语言排行榜第三位。Python能干什么？“人生苦短，我用Python！”是很多Python爱好者的一大信条，用最少的代码做事--...
2
推荐
1622
阅读
面向集合的思维编写SQL（8-行间数据比较）
早些时间写过一篇《Python与SQL对比实现：处理相邻记录的时间差》https://ask.hellobi.com/blog/Matthew112/15643面向的是工作中常见的一个业务场景：对基于时间顺序的业务数据集进行时间序列分析。现在我们有了集合思维的加持，面对相似的问题，又会如何处理呢？案例一1.场景与需求：如下图，是某公司一段时间内的销售...
0
推荐
1329
阅读
面向集合的思维编写SQL（7-量化万物的谓词-Exists）
1.什么是谓词何为SQL中的谓词，我们常见的比较（=，<,>）、between、like、in、is null、exist等都是谓词；我们可以将它看作一种特殊的函数，函数的返回值都是三值逻辑（true、false、unknow），用来判断“命题”的真假；而这些谓词常用在where子句中，我们可以视其为多个谓词的组合，从“命题”的集合中（表），找出...
1
推荐
1697
阅读
面向集合的思维编写SQL（6-关系除法运算之新世界篇）
不知道宅在家里的各位亲有没有追一部《谁是小红袄》的剧...当然这个“追”字有点不严谨...因为剧情的速度都赶不上大家推理的速度...即使你只看了第1集，然后直接跳到第40集，也毫无违和感...那么关系除法又是什么呢？这里我们抛开数据库原理的讲解，从应用的角度讲一下何为关系除法：前言：关系除法经过之前的几片文章，我...
0
推荐
1193
阅读
面向集合的思维编写SQL（5-数据去重）
1.场景与需求如下一张学生信息记录表，记录学生姓名、学生年级：数据中存在重复数据，需要清洗。2.SQL实现：（1）插入自增主键字段：处理结果如下：（2）使用except（3）使用not in
0
推荐
2307
阅读
RFM分析模型（Python）
RFM分析模型广泛应用于识别优质客户，依据RFM模型分析结果可以定制个性化的沟通和服务方案，并为营销决策提供有力支持。RFM分析模型属于探索性分析方法中的一种，即从海量数据中，依据R、F、M三个指标，获取高价值用户信息。R：Recency——用户最近一次交易时间的间隔。F：Frequency——客户最近一段时间内的交易次数。M：Mo...
1
推荐
1734
阅读
面向集合的思维编写SQL（4-筛选相同行为的用户）
1.场景与需求如下图，id记录用户的编号，name记录用户的行为；当前场景进行用户分类，将相同行为的用户查询出来。2.SQL实现：3.SQL解读：由于SQL的执行优先级： from > where > group by > having >select > order by ；所以where 筛选集合中的元素，group by 生成子集，having 专注于集合本身的性质，而...
1
推荐
1602
阅读
面向集合的思维编写SQL（3-手动实现except与intersect）
集合论虽然是SQL语言的基础之一，但是在早期的SQL 却不能很好的支持集合运算。受这点影响，各大数据库的支持程度也是参差不齐。SQL Server 从 2005版（关系型数据库已经发展20多年了...）才开始支持 INTERSECT 和 EXCEPT ，而同一时间点MySQL还不支持（还列在中长期发展计划中...）。用下面这个例子，看一下SQL的...
1
推荐
1598
阅读
面向集合的思维编写SQL（2-移动累积值）
上一篇初步的介绍了一下面向集合思维编写SQL实现开窗函数的功能；在这里也稍微介绍一下另外一种编写SQL的思维—面向过程，例如Oracle的PL/SQL，作为一种过程化的语言，以赋值、条件分支、循环等作为基本处理单元，并将系统整体分割成很多这样的单元的思维方式，在我看来，这更偏向于开发工作者。确实Oracle和MSSQL这两种...
0
推荐
2337
阅读
Apriori算法（Python）
关联规则挖掘是数据挖掘中最活跃的研究方法之一，最早是针对购物篮分析问题提出的，其目的是为了发现交易数据库中不同商品之间的联系规则，这些规则刻画了顾客购买行为模式，可以用来指导商家科学地安排进货，库存以及货架设计等。而Apriori算法是第一个关联规则挖掘算法，也是最经典的算法。以如下的场景为例，使用Pyth...
2
推荐
1991
阅读
面向集合的思维编写SQL（1-手动实现开窗函数）
第一部分：初试集合思维1.场景与需求我们有如下的一列价格数据，现在有这样一个需求，对其实现RANK()排序：2.SQL实现：我先展示代码：查询结果如下：3.SQL解读：现在返回头看代码，括号中的SQL是计算rank排名的核心，也是面向集合思维的运用，我们用一张图来展示一下：同理若要实现DENSE_RANK()，仅仅修改一处即可，即：...
6
推荐
2579
阅读
Python与SQL对比实现：处理相邻记录的时间差
文字标题看起来好拗口...的说...先来一个主题案例吧，方便大家理解：我有一家超市，运营两年了，系统存储了所有用户的购买记录，我想要分析一下每个用户进店的时间间隔是怎样的（比如A客户第一次进店与第二次进店间隔5天，第二次进店与第三次进店间隔7天......），咋办呢？(听到这里明白了吗...）我们用Python的pandas和...