公告
周五BI飞起来，每周一个主题，一场跟数据有关的行业、工具、技术的交流盛宴，锁定在每周五晚20:30，不见不散！未来几期的微信直播活动分享主题将包括基于数据挖掘的汽车行业客户行为特征分析、谈谈BI在生产企业的应用、据挖掘在人工智能的入门应用、互联网行业数据化运营最佳实践等，具体日期安排请关注天善智能问答社区活动版块https://www.hellobi.com/events
数据挖掘经典案例鉴赏
本期嘉宾介绍
易向军老师，《大嘴巴漫谈数据挖掘》图书系列作者，大数据及云计算领域创业者，dazui8.com创始人。在电信及互联网行业有多年从业经验，熟悉数据挖掘实际应用场景，具备丰富的一线实践经验。在运营分析、产品用户体验评测等方面有着深刻认识，致力于数据挖掘知识的宣传推广及相关技术的探索研发。新浪微博：@大嘴巴漫谈
《大嘴巴漫谈数据挖掘》 http://item.jd.com/1098061127.html
主持人：大家好，我是微信直播活动的主持人咖啡，每周一个主题，一场跟数据有关的行业、工具、技术的交流盛宴。我们的口号是“Friday BI Fly 周五BI飞起来”。
数据挖掘经典案例鉴赏
易老师：很高兴能和大家交流！感谢天善智能提供的机会！下面就正式开始今晚的分享。
哪些用户是产品的潜在用户？ 如何度量产品用户的粘性大小？产品用户规模庞大，如何细分用户，提供差异化的业务运营？ 产品A用户是否愿意订购和使用产品B？ 产品的哪些活跃用户最有可能流失？
如果要解决诸如此类的问题，就需要开展比常规运营更为深入的运营，我们称之为精细化运营。
运营是界于产品开发和营销之间的的一种运作形态，通过一次营销后的多次营销来提升用户活跃度和业务使用量，从而加大用户的价值贡献和延长用户的生命周期。
运营的本质目标是最小化用户获取成本，最大化用户生命周期价值，提高用户订购转化率,促进用户活跃及业务有效使用。
一般来说，随着业务运营进一步的深度发展，以经验型为主的粗放式运营必然转向以分析型为主的精细化运营。简单的说，粗放式运营就是以业务为主视角，记录业务的统计数据，颗粒度到业务、到月，关注业务发展的质量和用户使用业务的结果。
从字面上看，精细化运营主要是一个精，一个细。精就是指运营的对象从大众向小众、小众向微众和单体转变。对用户行为实时分析、对应用内容实时推送，通过智能分析，让用户做个快乐的“傻瓜”：所见即所得，所想即所得，所听即所得，这就要求运营支撑体系具有很高的精度。
细就是要以用户为主视角，关注用户与产品的关系，记录用户的行为数据，从业务级到用户明细级，颗粒度到用户、到功能点、到内容，到天，关注产品的用户体验和用户使用过程中的行为和感受。
精细化运营用一句话表示就是在合适的时间（Right Time），经由合适的地点（Right Place），通过合适的方式（渠道）（Right Way），向合适的人（Right Customer），推荐合适的应用内容或者是产品和服务（Right Content）！
那么什么是以用户为中心呢？进行用户行为分析的关键就是要时刻以用户为导向和主视角。在业务运营过程中，以用户为中心主要是把握以下三个方面：
1.用户是什么样的：是否能够深度挖掘用户行为数据，系统分析用户特征结构。
2.应用需求是什么：是否能够有效应对用户需求并及时满足用户需要。
3.营销怎样进行：如何针对用户的特点和偏好开展有效的营销活动。
总的来说，精细化运营的目标：通过实施精细化运营举措提高产品在目标用户群的渗透率，一是通过分析现有用户行为特征，发现潜在目标用户群； 二是通过数据挖掘方法，构建综合运营能力，促进用户活跃，提升业务使用量，从而实现业务量质并重，又快又好发展。；
如果从业务的发展阶段来看，主要分为三个阶段，第一阶段是构建基础支撑能力，挖掘和培育客户需求，将潜在用户转变为尝试用户；第二阶段是构建精细化运营能力，提高用户活跃度，塑造品牌价值，将尝试用户转变为活跃用户；第三阶段是完善价值提升能力，构筑用户忠诚，将活跃用户转变为忠诚用户；如果从一个完整的产品生命周期来看，还会有一个用户流失，产品退市阶段。精细化运营主要针对目前处于第二阶段当中的业务。
那么开展精细化运营，首先从用户行为出发，结合用户特征和用户接触习惯，更全面地把握用户需求。围绕用户识别、用户细分、用户接触三个环节，建设全面、系统、高效的精细化运营支撑体系。
用户识别就是聚焦用户基础属性、终端特性、内容偏好、生活轨迹、消费习惯等需求特征，构建特征标签库。基础属性：年龄 性别 职业；终端特性：硬属性：操作系统（ios 安卓 塞班）、型号、屏幕大小、内存和硬盘等；软属性：商务手机、老年手机、儿童手机、学生手机、摄影手机等；内容偏好：游戏 音乐 视频 小说 图片 新闻 理财；生活轨迹：学生、、白领公务员、自由职业，同学圈 朋友圈 同事圈等；消费习惯：流量、话费、ARPu值等。
用户细分这个环节主要是预警风险、定位机会，全面提升用户价值。重点监控高价值流失风险用户、中价值优质潜力用户、高价值稳定用户等三大用户群。建立常态化的用户价值监控、分析和通报的运营策略。对于高价值流失风险用户，可以聚焦用户偏好，推荐相关应用内容，引导用户回流。 对于中价值优质潜力用户，重在价值提升 ，推广精品内容业务，尽快转化为稳定高端用户。 对于高价值稳定用户，主要是制定长效机制和政策，重在维系并捆绑用户。
用户接触环节则是聚焦目标用户，从空间和时间两个维度开展智能引导和事件营销。针对不同的目标用户，对营销时机进行实时高效的精确管理，捕捉用户需求最大点作为最佳营销时机。
智能引导就是根据用户渠道偏好进行渠道匹配筛选和渠道资源协同，将目标用户分配至相应渠道，并做好资源调配、频次控制等。比如www wap 手机客户端 实体店 短信 外呼，微信微博
事件营销就是针对不同的目标用户， 分析用户在特定时段和场景下业务需求和兴趣的最大点，第一时间把握最佳营销时机。 通过实时获取用户的行为信息，设置营销触发场景，实时信息推送。
强化运营效果评估，通过跟踪评估，不断优化和完善精细化运营流程 ，改进流程中的问题。首先通过监控业务运营指标，以图表输出实时展示与业务相关的营销活动信息。然后根据定量分析客观描述营销效果，评估活动整体情况，并从业务使用和用户活跃等方面分析活动效果。接下来总结营销活动经验，及时分析并改进活动中存在的问题。最后强化运营效果评估，并不断优化和完善相关模型和业务运营流程。
闭环图：1构建各类数据挖掘模型，并根据模型筛选出有产品需求的目标用户群。2根据目标用户群特征，结合营销活动计划，设计针对性的营销方案。3根据策划好的方案开展针对性的营销活动，并根据定量分析客观描述营销效果。4对营销活动进行跟踪评估，根据实际情况调整营销策略，优化营销流程。
将来自各个生产系统及业务平台的明细数据按照应用主题多维轻度汇总后，并进一步归类。同时建立统一数据视图，包括用户视图、产品视图、渠道视图等，构筑企业级核心数据仓库存储中心，形成统一的数据分析模型，以此共同组成完整的企业级数据挖掘基础架构。
数据从明细级转变为汇总级和分析级，其中的主题可以是用户、产品、营销等。模型主要实现各类算法任务和专题规划，并将结果反馈给决策应用。
从工程的角度看，数据挖掘是一个需要反复迭代并验证的过程。为了能够系统化，工程化数据挖掘的流程和方法，人们提出了一些针对数据挖掘过程的模型和标准，以便借助这些过程模型宏观地指导数据挖掘工作。
一般地，数据挖掘过程模型并不局限于某个特定的工具和算法，其目的在于从技术和商业的角度建立一个可以实施数据挖掘的工作环境，是技术工具，业务经验和人力资源的密切协作和衔接。
CRISP-DM是跨行业数据挖掘过程标准，将商业目标与具体数据挖掘目标有效结合起来。
购物篮分析就是发现商品购买之间存在的某种联系，通过制定不同商品之间的商品组合，向购买老商品的用户销售新商品，是一种提升销售业绩的有效手段。1.挖掘现有用户商品购买习惯与组合购买模式，降低市场活动成本及用户流失，取得更好的营销效果。2. 预测新商品用户购买趋向，哪些商品是经常被一起购买的，购买与不购买某类商品的用户之间有什么区别。3. 提高用户忠诚度降低流失率，提高营销效率和企业利润，满足用户更多需求，发掘用户更大潜力和价值。
明确了业务需求以后，需要如下几类分析数据：即用户的个人信息，用户购买商品的信息。基础属性选取性别，年龄，收入，是否有房。购买信息包括蔬菜，鲜肉，牛奶，啤酒等。
数据预处理主要包括数据清理，数据集成，数据变换，数据归约等方法。这些数据处理技术在数据挖掘之前使用，大大提高了模型的质量，降低实际挖掘所需要的时间。
数据清理：补充缺失值、平滑噪声数据、识别或删除离群点并解决数据不一致性。
数据集成：将多个数据源中的数据整合起来并统一存储 。
数据变换 ：将数据转换成适用于挖掘的形式，例如属性规范化。
数据归约 ：通过压缩、聚集等方法减少数据存储空间，并保持模型结果与归约前几乎相同。
通过分析商品购买之间的频繁模式和分布规律（紧密程度），发现商品购买之间的可能的联系，根据关联结果针对商品交叉销售、商品捆绑营销和用户细分筛选提供有意义的分析结论。
商品捆绑营销 ：选择关联分析结果中支持度大的两项或多项商品开展捆绑营销；
商品交叉销售：选择关联分析结果中置信度和提升度都大的两项或多项商品开展交叉销售；
用户细分筛选：选取关联分析结果中具有强关联的用户群体，开展特定的营销活动；
通过关联规则分析商品购买之间的频繁模式和分布规律，并根据支持度、置信度和提升度三个指标来判断关联规则的优劣。
支持度：同时购买A和B两种商品项集的概率值。
置信度：购买A商品项集的条件下又购买B商品项集的概率值。
提升度：购买A商品项集的条件下，购买B商品项集的概率值(置信度)与没有任何前提条件的概率值之比。
通过采用关联规则分析方法，归纳商品购买之间的关联规则，发现一些商品中的强关联。在这个案例里，关联规则的支持度一般要求在10%以上；置信度要求在50%以上；提升度在1.5以上 。
通过相关性筛选，可以得到关联性比较大的几个商品，这些具有较强关联的商品组成了两个不同的关联组合，即某种类型的用户经常同时选择同一组合内的商品。
冷肉、罐头、啤酒 快食型
葡萄酒、糖果 个调型
通过关联分析得到了两个不同的细分用户群体以后，需要将这两类群体的特征提取并汇总，所用的为特征提取中比较常用的方法：决策树
决策树是一个类似于人们决策过程的树结构。从根节点开始，每个分枝代表一个新的决策事件，会生成两个或多个分枝，每个叶子代表一个最终判定所属的类别。决策树分类模型起到的作用就是把分类标识“是”和“否”的用户根据特征区分出来。
利用决策树能够构建具有预测功能的分类模型，并产生针对特征属性和分类结果之间的映射关系及逻辑策略。通过汇总用户特征，可以制定面向特定用户的商品组合，发现哪些商品经常被同类型的用户购买，购买与不购买某类商品的用户之间有什么区别。
购物篮分析模型的评估主要来自数据分析角度和业务开展效果。从数据分析角度评估购物篮分析模型中关联规则是否有意义，主要是由规则的支持度、置信度和提升度来判断。 模型输出结果与现实中业务开展效果进行对比，评估的关键指标包括利润指标、用户保有率、用户满意度和用户忠诚度等。
模型能够确定某种商品的潜在用户特征以及用户名单，并写回数据库，同时发布监测模型计划，形成最终分析报告。发布过程可以简单到产生一个报告，也可以复杂到在整个企业中执行一个可重复的数据挖掘过程。大部分情况下，是由客户来实施发布的，便于过程和结果以客户使用的方式重新组织和展现。
结束
自由讨论
问题一：来自 27群的问题 作为一个用户运营该利用好哪些数据，这些数据怎么获得?怎么锻炼从数据分析出具体现象的能力？以及在日常的工作中如何提高自己的数据敏感度？
易向军：首先是最基本的用户行为数据，通过量化用户行为，获取用户的偏好和习惯，进而可以开展差异化的运营和经销户的营销。数据就要从基础的业务系统获取。多做项目，多思考，多练习，数据敏感及直觉就会增强。
问题二：来自社区的问题：1、数据挖掘训练完后如何部署到线上系统上？一般有哪些思路，生成离线文件或者提供接口进行数据运算，常规的做法都有哪些？2、模型上线，如何做到数据的实时预测，一般都用什么工具做数据传输的啊？
易向军：部署到线上，会用到专门的工具，很多工具都可以实现，找一个自己熟悉的工具使用。
问题三：请问老师，构建标签库是不是只有多个标签共同能组成一个描述一个用户的立体形象，比如消费属性的，这个人多大买了什么偏好什么？另外想咨询下如何构建标签库的还有标签是如何构建的 谢谢。
易向军：构建标签，就像我刚才提到的，首先是基于最基本的用户行为数据，通过量化用户行为，获取用户的偏好和习惯，再结合用户的基本属性，形成用户特征，就可以给用户打标签了。
问题四：可以对渠道简单介绍下吗？不清楚渠道推广怎么做？什么渠道方式有效？我是p2p行业
易向军：渠道分线上线下，比如www， wap 手机客户端， 实体店 ，短信， 外呼，邮件，微信微博等
问题五：有个问题，这数据挖掘的成本，与做数据挖掘前后销售差异对比，在挖掘之前如何评估企业数据是否应做挖掘
易向军：评估企业数据是否应做挖掘，我觉得以后有数据的地方都会用到数据分析和挖掘，只是深和浅，多与少的问题。
问题六：老师，模型的维度怎样可以比较全面的确定呢？
易向军：数据模型中指标维度的确立，在于项目中商业理解及数据理解的部分，源于对业务的洞悉，才能构建出合适的指标体系，需要反复迭代验证。
问题七：通过把各种标签进行组合 指导广告 投放，效果总是很不好，为什么呢 毕竟之前已经构建了标签，应该来讲比以前更有方向更准确了，奇怪的是广告效果并没有想象的好，这种更多的是什么原因
易向军：如果广告效果还没有不打标签的效果好，就要验证模型的准确性了
问题八：大白问问是数据挖掘趋势待遇好还是数据分析师呢？
梁勇：说白了也就是两种岗位的区分，一个偏人工干预，一个偏向机器智能。
基础概念大概是这样：
数据分析师：要了解数据，从数据中找出一些有用的信息（可以使用各种分析手段，不一定需要固化），并通过一定的人为思考从分析的数据中得到一定的结论。
数据挖掘工程师：同样需要了解数据，并从中提炼一定的规则，在相应的业务场景进行建模，并通过挖掘算法进行模型的调整、或者机器自我学习，得到一个输入输出的模型函数。
我觉得这么解释比较直白，当然不能完全隔离数据分析师与数据挖掘工程师，毕竟还是有共通的地方，比如都需要熟悉一些算法，要了解业务场景，要得到一定的结论。
分析师更多接触业务，可能会更多的生产一些分析报告，直接为领导层所关注。
工程师更多的是在于实现一定的产品或者系统，更多偏向开发，当然开发一直被人所崇拜，以后机器智能崛起的话，就更高大上了。纯粹个人见解，希望对你有帮助。从社区找的，可以多去看看，学院上面视频也很多.数据分析与挖掘案例分析实践免费视频教程(持续更新ing)https://edu.hellobi.com/course/83 视频教程不分家
问题九：如何获得这本书?
易向军：大嘴巴漫谈数据挖掘 http://item.jd.com/1098061127.html
主持人：主持人：感谢老师耐心细致的回答，由于时间关系，咱们今天的活动要接近尾声了，大家还有疑问的，直接提问到https://ask.hellobi.com/question，老师会在社区上面给予回答
今天的微信直播活动到这里就结束了，喜欢天善智能的朋友们请继续关注我们，每周五晚8:30，我们不见不散哦！
每周 Friday BI Fly 微信直播参加方式，加个人微信：fridaybifly，并发送微信：公司+行业+姓名，即可参加天善智能微信直播活动。
天善智能 www.hellobi.com 是一个专注于商业智能BI、数据分析、数据挖掘和大数据技术的垂直社区平台。
问答社区和在线学院是国内最大的商业智能BI 和大数据领域的技术社区和在线学习平台，技术版块与在线课程已经覆盖 商业智能、数据分析、数据挖掘、大数据、数据仓库、Microsoft BI、Oracle BIEE、IBM Cognos、SAP BO、Kettle、Informatica、DataStage、Halo BI、QlikView、Tableau、Hadoop 等国外主流产品和技术。
线上活动：Friday BI Fly 每周五晚 20:30，技术和行业交流，30余个微信直播群互动交流。
线下活动：Saturday BI Fly 在全国各大城市巡回举办200人-500人规模的大数据沙龙交流活动，每月1-2次。
天善智能积极地推动国产商业智能 BI 和大数据产品与技术在国内的普及与发展
