1)Flume简介
Flume是Cloudera提供的一个海量日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume还提供了对数据进行的简单处理,并写到各种数据接收方(可定制)的能力。Flume说白了就是一个融入Hadoop当中的分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
2)Flume安装
Flume提供了两种安装方式,第一种和普通的unix环境安装软件一样,使用apt-get install flume的形式实现;另外一种是下载tar包安装方式。因为对于Flume需要安装到多台机器上,一般不建议使用第一种安装,所以接下来就对tar安装方式进行说明:
然后,需要将$FLUME_CONF_DIR添加到环境变量中,也就是通过vim
/etc/profile:
- $FLUME_CONF_DIR = $FLUME_HOME/conf
最后,为了运行的便利,将flume安装路径以及zookeeper安装路径添加到环境变量中,之所以需要有zookeeper,是因为flume对其有所依赖。
- export FLUME_HOME=/usr/local/hadoop/flume-0.9.3
- export PATH=$FLUME_HOME/bin:$PATH
- export ZOOKEEPER=/usr/local/hadoop/zookeeper-3.3.4-cdh3u3
- export PATH=$ZOOKEEPER/bin:$PATH
这样,就完成了在一条机器上flume的安装,键入flume可以看到flume所有命令项参数:
- usage: flume command [args...]
- commands include:
- dump Takes a specified source and dumps to console
- node Start a Flume node/agent (with watchdog)
- master Start a Flume Master server (with watchdog)
-
version Dump flume build version information
- node_nowatch Start a flume node/agent (no watchdog)
- master_nowatch Start a Flume Master server (no watchdog)
- class <class> Run specified fully qualified class using Flume environment (no watchdog)
-
ex: flume com.cloudera.flume.agent.FlumeNode
- classpath Dump the classpath used by the java executables
- shell Start the flume shell
- killmaster Kill a running master
- dumplog Takes a specified WAL/DFO log file and dumps to console
3)Flume配置
进入$FLUME_HOME/conf目录,其中有3个文件,flume-conf.xml、flume-site.xml、log4j.properties ,第一个是flume默认配置文件,第二个是用户配置文件。有的版本没有flume-site.xml,这时候会有个模板文件,把它cat或是mv进flume-site.xml就okay了。下面是简要配置:
- <configuration>
- <property>
- <name>flume.master.servers</name>
- <value>hadoop-01</value> // 可以设置多个服务主节点,根据集群大小设置
- <description>This is the address for the config servers status
- server (http)
- </description>
- </property>
- <property>
- <name>flume.collector.event.host</name> // 也可以多个
- <value>hadoop-02</value>
- <description>
- This is the host name for default "remote" collector.
- </description>
- </property>
- <property>
- <name>flume.collector.port</name>
- <value>35853</value>
- <description>
- This is default tcp port that the collector listens to in order to receive events it is collecting.
- </description>
- </property>
- </configuration>
将配置好的flume整个目录通过scp -r copy到集群中其它节点上。这样在命令行中运行flume master启动主节点,键入flume node 启动其它节点。然而,在实际环境中,需要用户进行适当调整,这可以参考
http://archive.cloudera.com/cdh/3/flume/UserGuide/。
相关推荐
hadoop集群配置之————flume安装配置(详细版)
请解压后再用,flume-1.6.0-bin.tar 安装包,希望对大家有用。
《数据采集与预处理》教学教案—06Flume的安装和配置.docx
Flume1.8安装部署,包含目录结构为1、下载地址,安装环境工具下载地址 2、单个Flume安装 3、多个Flume安装及HA 4、应用场景 5、Flume-Ng组件概述
flume介绍及安装配置,如果有需要请点击
集群flume详细安装步骤,接收Kafka消息配置
第10章 Flume组件安装配置.pdf
1.flume是什么? 这里简单介绍一下,它是Cloudera的一个产品 2.flume是干什么的? 收集日志的 3.flume如何搜集日志? 我们把flume比作情报人员 (1)搜集信息 (2)获取记忆信息 (3)传递报告间谍信息
Flume1.6.0入门:安装、部署、及flume的案例
Flume-0.9.4中文安装手册,目前看来Flume-0.9.4比Flume-NG靠谱啊
第10章 Flume组件安装配置.docx
让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...
大数据运维技术第10章 Flume组件安装配置课件.pptx
Flume学习文档(2){Flume安装部署、Flume配置文件}。 记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
Flume安装的详细步骤哈
02_Flume的安装部署 03_Flume的测试运行 04_Flume中配置使用file channel及HDFS sink 05_Flume中配置HDFS文件生成大小及时间分区 06_Flume中配置Spooling Dir的使用 07_Flume中配置Spooling Dir的文件过滤 08...
flume的相关操作,flume的配置与整合
kafka对接flume,flume对接elasticSearch,flume配置样例
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...
flume-ng安装