数据
0
推荐
1384
浏览
Stata数据可视化
作者：Economicoder公众号：数据学徒1. 单个变量(1). 连续型histogram mpg, freqkdensity : 直方图，freq将频率改为频数，kdensity添加密度图kdensity mpg, title("核密度估计") :...
Economicoder 发表了文章 • 2021-02-24 15:55
0
推荐
880
浏览
Stata数据处理
作者：Economicoder公众号：数据学徒1. 快捷键Fn + F2 : 描述数据（describe）Fn + PgUp : 搜索先前命令Ctrl + 8 : 打开 data editor （browse）Ctrl + 9 : 新建do...
Economicoder 发表了文章 • 2021-02-06 14:48
0
推荐
1386
浏览
【开源免费】国产10万级etl作业调度软件 taskctl 6.0 永久授权
TASKCTL是成都塔斯克信息技术有限公司专为批量作业调度自动化打造的一款敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。TASKCTL通过将企业内部复杂的作业调度依赖关...
ETL批量调度-Taskctl 发表了文章 • 2020-07-10 15:04
4
推荐
1714
浏览
面向集合的思维编写SQL（第九篇 --- “我说的是：苹果柿子李子栗子梨的那个橘子啊”）
max：屏幕前的同学，这个时候还在天善智能看博文，肯定是单身狗吧...猿同学：520是什么鬼，我的世界只有1024...大家好，距离上篇（面向集合的思想编写SQL的第八篇）已经过去N多个月了...一直想给大家呈现一个体系...
Max_Leo 发表了文章 • 2020-05-20 21:50
0
推荐
1051
浏览
让最了解数据的人去掌握数据，联邦制药如何做到？
引言：近期，小麦有幸拜访了联邦制药集团信息中心总监喻锦飞先生，听他讲述联邦制药的BI系统建设之路。小麦将采访整理成文，以供欣赏。在采访之前，公司还收到了联邦制药寄来的感谢信，在文末也一起附上。大量报...
大麦 发表了文章 • 2019-12-31 17:02
0
推荐
2401
浏览
0
推荐
1173
浏览
5步实现数据指标增长
增长是一款产品或者一家公司从出生到死亡一直在经历的过程，产品从0-1的过程是业务增长、用户增长的关键时期，这决定了它最终能不能活下来；产品从1-N的过程是持续业务、用户、商业持续增长的时期，这决定了它能...
大麦 发表了文章 • 2019-08-29 10:05
0
推荐
1422
浏览
pandas札记10_数据清洗工作
数据处理之前需要对数据进行清理工作，包含：缺失值的去除drop缺失值的填充fillna删除重复数据duplicated()和drop_duplicates()数据转换索引重命名数据离散化或面元化缺失值的去除pandas处理缺失值pandas默认的处...
皮大大 发表了文章 • 2019-08-02 14:55
0
推荐
1244
浏览
MySQL札记7_DML（数据操作语言）
DML，data manipulation language，数据操作语言， 主要是对数据库中的表记录进行操作的语言，包含表中插入数据、表中数据的更新、表的删除等：表中插入数据表中数据更新删除表复习DDL创建表在对表中的数据进行操...
皮大大 发表了文章 • 2019-07-31 22:42
0
推荐
1693
浏览
如何建立数据驱动文化
是什么驱使企业建立成功的数据驱动文化？未必是数据本身。这是次要的。技术本身排在第三位。数据驱动决策才是第一位的。在向实施数据运维的数据驱动企业转变时，最重要也是最困难的是向数据心态的文化转变。这种...
大麦 发表了文章 • 2019-07-22 16:10
0
推荐
1991
浏览
关于产品、数据和人才的8条经验
引言：这是一篇经验帖，作者 Daniel Shenfeld 曾在 12 家创业公司工作过，这些公司覆盖金融科技、医疗、教育技术、生物技术等多个领域，所处的阶段也各有不同，从种子前（pre-seed）到收购后都有。Daniel 在不同...
大麦 发表了文章 • 2019-07-05 11:02
0
推荐
1571
浏览
Python3.6内置函数(18)——enumerate()
英文文档enumerate(iterable, start=0)Return an enumerate object. iterable must be a sequence, an iterator, or some other object which supports iteration. The __next__() method of the iterator return...
Airy 发表了文章 • 2019-06-30 23:45
0
推荐
1504
浏览
Python3.6内置函数(17)——divmod()
英文文档Take two (non complex) numbers as arguments and return a pair of numbers consisting of their quotient and remainder when using integer division. With mixed operand types, the rules for bina...
Airy 发表了文章 • 2019-06-30 23:44
0
推荐
1427
浏览
Python3.6内置函数(16)——dir()
英文文档dir([object])Without arguments, return the list of names in the current local scope. With an argument, attempt to return a list of valid attributes for that object.If the object has a metho...
Airy 发表了文章 • 2019-06-30 23:43
0
推荐
1621
浏览
Python3.6内置函数(15)——dict()
英文文档class dict(**kwarg)class dict(mapping, **kwarg)class dict(iterable, **kwarg)Create a new dictionary. The dict object is the dictionary class. See dict and Mapping Types — dict for documenta...
Airy 发表了文章 • 2019-06-29 15:42
两个思路：
1.是想办法把自己的队伍做起来。工作零散，没有专题，没有挖掘项目，去哪里都是这熊样子，地位是自己争取来的。
常见的战术是：把日常工作和专题分开，把日常工作的流程建起来，要提需求单，要排序，要有期望收货时间。所有只要一个数的需求都这么干。到半年或者... 显示全部 »
1.是想办法把自己的队伍做起来。工作零散，没有专题，没有挖掘项目，去哪里都是这熊样子，地位是自己争取来的。
常见的战术是：把日常工作和专题分开，把日常工作的流程建起来，要提需求单，要排序，要有期望收货时间。所有只要一个数的需求都这么干。到半年或者... 显示全部 »
两个思路：
1.是想办法把自己的队伍做起来。工作零散，没有专题，没有挖掘项目，去哪里都是这熊样子，地位是自己争取来的。
常见的战术是：把日常工作和专题分开，把日常工作的流程建起来，要提需求单，要排序，要有期望收货时间。所有只要一个数的需求都这么干。到半年或者一年的时候，把这些零散的需求分分类，集中打包提给上级，说：这里80%需求可以通过三个新报表搞掂。然后就为自己争取到第一个独立属于自己的项目，有了项目就能想办法招人，这样就慢慢把自己培养成领导。
同时，不要贪多，贪新，就深耕bi技术，对小公司没那么多专题，挖掘需求，bi才是正道。
专题类分析，和那些和你关系好的部门做。不鸟你的部门你也不鸟他，用数据为工具，帮自己在企业内拉盟友，找能为自己发声的业务部门。对于上项目非常有帮助。
这样能帮你，把一个人做成一个部门，越是小企业，越有这种机会。本质上，数据分析是个支撑岗位，总是需要领导岗位的，公司的数据部门领导拿的钱不比大公司专家岗少。
2.熟练python，跳槽去大公司，再锻炼两年。
再具体的建议得更多了解你个人情况。不过你目前这个简历其实并不非常出色，在bi和python上都显得浅，而零碎的活也不容易体现能力。集中一个方向深入一下哈
1.是想办法把自己的队伍做起来。工作零散，没有专题，没有挖掘项目，去哪里都是这熊样子，地位是自己争取来的。
常见的战术是：把日常工作和专题分开，把日常工作的流程建起来，要提需求单，要排序，要有期望收货时间。所有只要一个数的需求都这么干。到半年或者一年的时候，把这些零散的需求分分类，集中打包提给上级，说：这里80%需求可以通过三个新报表搞掂。然后就为自己争取到第一个独立属于自己的项目，有了项目就能想办法招人，这样就慢慢把自己培养成领导。
同时，不要贪多，贪新，就深耕bi技术，对小公司没那么多专题，挖掘需求，bi才是正道。
专题类分析，和那些和你关系好的部门做。不鸟你的部门你也不鸟他，用数据为工具，帮自己在企业内拉盟友，找能为自己发声的业务部门。对于上项目非常有帮助。
这样能帮你，把一个人做成一个部门，越是小企业，越有这种机会。本质上，数据分析是个支撑岗位，总是需要领导岗位的，公司的数据部门领导拿的钱不比大公司专家岗少。
2.熟练python，跳槽去大公司，再锻炼两年。
再具体的建议得更多了解你个人情况。不过你目前这个简历其实并不非常出色，在bi和python上都显得浅，而零碎的活也不容易体现能力。集中一个方向深入一下哈
regan 回答了问题 • 2017-08-30 10:23 • 2 个回复
spark从mysql读取数据，根据日期放在hive里面，产生了好多小文件，现在通过DataSet.coalesce()合并小文件，导致写入速度非常慢，各位大神有啥其他方法
你的目的是减少文件的个数，设置合理的分区数就可以了，例如设置分区数为5，对应5个文件。coalesce和repartitions都能设置分区数量，其底层原理有稍微的差别。从你的问题来看应该是设置的分区数太少，导致并行度不够，故写入速度慢。意见是尝试吧分区数调整... 显示全部 »
你的目的是减少文件的个数，设置合理的分区数就可以了，例如设置分区数为5，对应5个文件。coalesce和repartitions都能设置分区数量，其底层原理有稍微的差别。从你的问题来看应该是设置的分区数太少，导致并行度不够，故写入速度慢。意见是尝试吧分区数调整为5或10再试试
3
投票
3
已解决
6440
浏览
数据新人在独立一人负责数据时，如何抓住机遇，突破挑战，提升自己这份工作的价值？
- CCCUI 回复了问题 • 2018-01-08 10:27
0
投票
1
回答
2155
浏览
请问一个问题啊 我habse比如 原来1亿条数据，今天存入了1000W条数据。 怎么把它多的1KW条 增量加到 hive的那个内部表里面啊？ 已经存在了一个 关联表
贝克汉姆 回复了问题 • 2018-07-15 15:15
0
投票
2
已解决
3167
浏览
spark从mysql读取数据，根据日期放在hive里面，产生了好多小文件，现在通过DataSet.coalesce()合并小文件，导致写入速度非常慢，各位大神有啥其他方法
天桥下的郑成功 回复了问题 • 2018-03-03 14:55
3
投票
3
已解决
6440
浏览
数据新人在独立一人负责数据时，如何抓住机遇，突破挑战，提升自己这份工作的价值？
- CCCUI 回复了问题 • 2018-01-08 10:27
0
推荐
1384
浏览
Stata数据可视化
作者：Economicoder公众号：数据学徒1. 单个变量(1). 连续型histogram mpg, freqkdensity : 直方图，freq将频率改为频数，kdensity添加密度图kdensity mpg, title("核密度估计") :...
Economicoder 发表了文章 • 2021-02-24 15:55
0
推荐
880
浏览
Stata数据处理
作者：Economicoder公众号：数据学徒1. 快捷键Fn + F2 : 描述数据（describe）Fn + PgUp : 搜索先前命令Ctrl + 8 : 打开 data editor （browse）Ctrl + 9 : 新建do...
Economicoder 发表了文章 • 2021-02-06 14:48
0
推荐
1386
浏览
【开源免费】国产10万级etl作业调度软件 taskctl 6.0 永久授权
TASKCTL是成都塔斯克信息技术有限公司专为批量作业调度自动化打造的一款敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。TASKCTL通过将企业内部复杂的作业调度依赖关...
ETL批量调度-Taskctl 发表了文章 • 2020-07-10 15:04
4
推荐
1714
浏览
面向集合的思维编写SQL（第九篇 --- “我说的是：苹果柿子李子栗子梨的那个橘子啊”）
max：屏幕前的同学，这个时候还在天善智能看博文，肯定是单身狗吧...猿同学：520是什么鬼，我的世界只有1024...大家好，距离上篇（面向集合的思想编写SQL的第八篇）已经过去N多个月了...一直想给大家呈现一个体系...
Max_Leo 发表了文章 • 2020-05-20 21:50
0
推荐
1051
浏览
让最了解数据的人去掌握数据，联邦制药如何做到？
引言：近期，小麦有幸拜访了联邦制药集团信息中心总监喻锦飞先生，听他讲述联邦制药的BI系统建设之路。小麦将采访整理成文，以供欣赏。在采访之前，公司还收到了联邦制药寄来的感谢信，在文末也一起附上。大量报...
大麦 发表了文章 • 2019-12-31 17:02
0
推荐
2401
浏览
0
推荐
1173
浏览
5步实现数据指标增长
增长是一款产品或者一家公司从出生到死亡一直在经历的过程，产品从0-1的过程是业务增长、用户增长的关键时期，这决定了它最终能不能活下来；产品从1-N的过程是持续业务、用户、商业持续增长的时期，这决定了它能...
大麦 发表了文章 • 2019-08-29 10:05
0
推荐
1422
浏览
pandas札记10_数据清洗工作
数据处理之前需要对数据进行清理工作，包含：缺失值的去除drop缺失值的填充fillna删除重复数据duplicated()和drop_duplicates()数据转换索引重命名数据离散化或面元化缺失值的去除pandas处理缺失值pandas默认的处...
皮大大 发表了文章 • 2019-08-02 14:55
0
推荐
1244
浏览
MySQL札记7_DML（数据操作语言）
DML，data manipulation language，数据操作语言， 主要是对数据库中的表记录进行操作的语言，包含表中插入数据、表中数据的更新、表的删除等：表中插入数据表中数据更新删除表复习DDL创建表在对表中的数据进行操...
皮大大 发表了文章 • 2019-07-31 22:42
0
推荐
1693
浏览
如何建立数据驱动文化
是什么驱使企业建立成功的数据驱动文化？未必是数据本身。这是次要的。技术本身排在第三位。数据驱动决策才是第一位的。在向实施数据运维的数据驱动企业转变时，最重要也是最困难的是向数据心态的文化转变。这种...
大麦 发表了文章 • 2019-07-22 16:10
0
推荐
1991
浏览
关于产品、数据和人才的8条经验
引言：这是一篇经验帖，作者 Daniel Shenfeld 曾在 12 家创业公司工作过，这些公司覆盖金融科技、医疗、教育技术、生物技术等多个领域，所处的阶段也各有不同，从种子前（pre-seed）到收购后都有。Daniel 在不同...
大麦 发表了文章 • 2019-07-05 11:02
0
推荐
1571
浏览
Python3.6内置函数(18)——enumerate()
英文文档enumerate(iterable, start=0)Return an enumerate object. iterable must be a sequence, an iterator, or some other object which supports iteration. The __next__() method of the iterator return...
Airy 发表了文章 • 2019-06-30 23:45
0
推荐
1504
浏览
Python3.6内置函数(17)——divmod()
英文文档Take two (non complex) numbers as arguments and return a pair of numbers consisting of their quotient and remainder when using integer division. With mixed operand types, the rules for bina...
Airy 发表了文章 • 2019-06-30 23:44
0
推荐
1427
浏览
Python3.6内置函数(16)——dir()
英文文档dir([object])Without arguments, return the list of names in the current local scope. With an argument, attempt to return a list of valid attributes for that object.If the object has a metho...
Airy 发表了文章 • 2019-06-30 23:43
0
推荐
1621
浏览
Python3.6内置函数(15)——dict()
英文文档class dict(**kwarg)class dict(mapping, **kwarg)class dict(iterable, **kwarg)Create a new dictionary. The dict object is the dictionary class. See dict and Mapping Types — dict for documenta...
Airy 发表了文章 • 2019-06-29 15:42
