hadoop点滴

flume其实没有集群概念,每个flume都是一个独立的个体,互相之间对数据流转进行协作一起直接写到一个hdfs目标会报错，一般最终汇总写到一个sink即可注意：节点间有数据流向的要实现无密码登陆实现无障碍通信，还有各机器防火墙最好关闭，不然部署过程会吃很多苦头(基于三节点z4,z5,z6部署，监控z5,z6文件夹，发现新文件则...

(注意：hadoop集群是启动的)1、syslog配置文件/etc/rsyslog.conf(1)打开以下注释以udp方式传输# Provides UDP syslog reception   $ModLoad imudp   $UDPServerRun 514(2)、此处配置不使用默认格式，是为了让header显示优先级# Use default timestamp format#$ActionFileDefaultTemplate RSYSLOG_Tr...

1、主从ssh无密码登陆配置及防火墙，hostname，ip配置 1.1 首先各节点修改认证配置文件 vi /etc/ssh/sshd_config  #RSAAuthentication yes  #PubkeyAuthentication yes  #AuthorizedKeysFile .ssh/authorized_keys 去掉注释#激活RSA认证 1.2 关闭防火墙 执行命令  service iptables stop &nb...