0
推荐
4759
阅读
Kettle之旅-carte集群搭建以及远程执行转换和作业
Kettle版本：8.3集群服务器环境：master节点：win10slave节点：CentOS 6.8/CentOS 7.4服务器个数：4一、 carter集群搭建1. 所有服务器安装JDK，我的版本是1.8.0.312. 所有服务器安装Kettle3. 配置文件：1）集群配置文件：Kettle安装目录下，pwd文件夹：a. carte-config-master-XXXX.xml 此处配置master节点...
0
推荐
1282
阅读
SQL Server DBA--数据库备份策略
备份方案1. 本地备份，一周备份一次全量，一周内按天备份增量，日志两小时备份一次2. 异地容灾备份，采用事物日志备份3. 本地容灾备份，采用镜像备份
1
推荐
2212
阅读
SQL Server DBA--数据库巡检
巡检方案1. 自动化运维，每天运行脚本自动检测，再使用邮件推送检测结果。2. 人工巡检，每周一和周四登录到数据服务器上检查，数据库巡检报告模板见附件自动化运维程序的运行状况磁盘存储状况，磁盘剩余容量不小于10G数据库备份机制运行情况数据库异地容灾机制的运行情况（需要同时登陆到主备机器上检查）查看服务器日志...
2
推荐
2287
阅读
kettle之旅--kettle/pdi从开发到部署完整案例
案例背景公司市场部门现在需要每月1号将财务预算导入到系统，进行数据计算和分析，因为该预算是总体预算，每个月需要根据实际进行微调，所以每次导入需要覆盖原有的数据，财务预算的文档是excel，待导入系统为mysql。导入设计思路根据市场部门提供的数据模板（如附件部门预算），在数据库中新建表budgetDROP TABLE IF EX...
0
推荐
2840
阅读
kettle之旅--安装启动kettle/pdi
安装环境准备kettle是基于java开发的，所以安装kettle之前需要配置好java运行环境即jre或jdk.支持的操作系统1. window2. linux3. ios kettle与Jdk的版本的对应注意，kettle的每一个版本的开发是基于不同的jdk去开发的，所以需要确认您所需要的版本和jdk是否完全能对应上，如果是kettle7.x，请选择jdk1.8。下载jdk官...
0
推荐
4044
阅读
kettle之旅--下载获取kettle/pdi
获取kettle，这个文章很多小伙伴都觉得没必要，其实我想说，既然研究这个解决方案，那知其然知其所以然。kettle源码kettle是开源的，所以开源的地址在哪里呢？当然是github: https://github.com/pentaho/pentaho-kettle编译源码获得可执行程序。这是最原始的方法，当然所有的开源软件都支持这样的模式，但是个人不建议这...
0
推荐
3013
阅读
kettle之旅--kettle/pdi的发展史简述
简述kettle（Pentaho Data Integratio）是一套开源的ETL解决方案，诞生于2003年（完成第一个版本的开发），由比利时BI工程师Matt Casters（马特.卡斯特）完成，后续被Pentaho公司收购（收购后改名），Matt同时加入该公司，并带领团队维护该项目至今。kettle是众多ETL解决方案中，在开源领域做的最好的一款，基于JAVA语言...
1
推荐
2875
阅读
Kettle作业/转换自动化方案——任务计划程序调用
前序：Kettle统一数据库管理配置最初用 Kettle的时候，为了方便不同环境用不同的数据库连接，在网上找了一个统一数据库管理配置的方案。大概是把配置文件夹放入自定义目录，通过配置环境变量让Kettle应用。在配置文件夹中实现资源库管理和数据库连接参数管理。详见： http://blog.csdn.net/xiezhongkai08/ar...
2
推荐
2034
阅读
Kettle作业/转换自动化方案——SQLAgent调用DOS命令（结果：方案无效）
背景：最近团队开始使用Kettle做ETL开发。网上通用的作业/转化自动化方案是依赖windows自身的任务计划程序实现的。鉴于任务计划程序的失败没有办法在执行失败时发出通知邮件，所以想尝试看是否能够用SQLAgent调用DOS命令的方式实现自动化。方案：1. 在SQLAgent中建立作业。添加类型为“操作系统（Cmdexec）”的作业步骤，...
0
推荐
1653
阅读
Window Server 2012 R2上安装SQL Server2016缺少补丁包KB2919355
操作如下：官网下载文件，链接如下点击下载1 点击下载2安装Windows8.1-KB2919442-x64.msu运行clearcompressionflag.exe安装Windows8.1-KB2919355-x64.msu安装Windows8.1-KB2932046-x64.msu安装Windows8.1-KB2959977-x64.msu安装Windows8.1-KB2937592-x64.msu安装Windows8.1-KB2938439-x64.msu安装Windows8.1-KB2934...
0
推荐
2408
阅读
数据库技术的发展历史简述
1. 引言数据库技术从诞生到现在，在不到半个世纪的时间里，形成了坚实的理论基础、成熟的商业产品和广泛的应用领域，吸引了越来越多的研究者加入。数据库的诞生和发展给计算机信息管理带来了一场巨大的革命。几十年来，国内外已经开发建设了成千上万个数据库，它已成为企业、部门乃至个人日常工作、生产和生活的基础设施...
0
推荐
4248
阅读
Mysql Binlog 文件读取解析
Maven 配置<dependency>
<groupId>com.github.shyiko</groupId>
<artifactId>mysql-binlog-connector-java</artifactId>
<version>0.13.0</version>
</dependency>Java文件import com.github.shyiko.mysql.binlog.BinaryLogFileReader;
import com.github.shyiko.my...
0
推荐
1506
阅读
0
推荐
5350
阅读
数据团队组织架构
随着近些年数据的发展，很多公司渐渐的形成了自己的数据团队。但是经过运营一段时间后，很多人开始疑惑，感觉管理上的问题开始渐渐突出，数据团队其实是一个独立性很强的团队，因为他们需要完成的事情很多，这其中包含从数据源开始到数据的输出，对研发而言，他们相当于纪检委，需要组织协调数据的周转，实现对数据的监...