1)启动flume master:bin/flume master ,这时你可以到master的web界面http://localhost:35871/查看flume集群信息,web界面如下:
从截图中可以看出,当前flume集群中没有node节点。
2)启动flume node节点:flume node_nowatch,你可以到http://localhost:35862/查看该节点的信息。
附注:启动flume节点有两种方式:a)flume node:以守护进程的方式运行node,无法通过console和用户进行交互;b)flume node_nowatch:使用户能够通过console和flume node进程进行交互
3)在成功启动flume node节点之后,刷新flume master的web界面:
可以看到flume 集群中已经新添加了一个节点。
4)通过master的web界面配置node节点:
从configure node中选择所要配置的节点,然后配置节点的source和sink,点击提交查询:
提交成功后,返回到主页,可以看到相关栏目已经更新:
5)测试配置是否成功,到运行flume node_nowatch的窗口输出,配置成功:
- thisistest
- hadoop07[INFOMonOct3107:34:21CST2011]thisistest
6)修改配置,将hadoop07的source修改为:tail("/etc/services")
,提交查询,等到十几秒之后运行flume node_nowatch的窗口输出了/etc/services
当前所有的内容。再次修改source:tail("/var/log/messages"),结果node节点报错,原因是运行flume的用户无法读取文件,将文件权限改为777后正常。将sink修改为:dfs("file:///tmp/var_log_messages.copy"),dfs
sink的输出为序列文件;将sink修改为:text("/tmp/var_log_messages.copy"),flume节点出现错误信息:
- 2011-10-3107:55:16,721[Checkconfig]ERRORagent.LogicalNode:Forcingdrivertoexituncleanly
- 2011-10-3107:55:16,723[logicalNodehadoop07-30]WARNtext.TailSource:nextunexpectedlyinterrupted:null
- java.lang.InterruptedException
- atjava.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:877)
- atcom.cloudera.flume.handlers.text.TailSource.next(TailSource.java:271)
- atcom.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:105)
- 2011-10-3107:55:16,723[logicalNodehadoop07-30]ERRORconnector.DirectDriver:Closingdownduetoexceptionduringappendcalls
- java.lang.InterruptedException
- atjava.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:877)
- atcom.cloudera.flume.handlers.text.TailSource.next(TailSource.java:271)
- atcom.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:105)
- 2011-10-3107:55:16,723[logicalNodehadoop07-30]INFOconnector.DirectDriver:ConnectorlogicalNodehadoop07-30exitedwitherror:null
- java.lang.InterruptedException
- atjava.util.concurrent.SynchronousQueue.poll(SynchronousQueue.java:877)
- atcom.cloudera.flume.handlers.text.TailSource.next(TailSource.java:271)
- atcom.cloudera.flume.core.connector.DirectDriver$PumperThread.run(DirectDriver.java:105)
- 2011-10-3107:55:16,725[Checkconfig]INFOagent.LogicalNode:Nodeconfigsuccessfullysettocom.cloudera.flume.conf.FlumeConfigData@1a5af9f
- 2011-10-3107:55:16,825[TailThread-3]ERRORtext.TailSource:Tailthreadnterrupted:sleepinterrupted
- java.lang.InterruptedException:sleepinterrupted
- atjava.lang.Thread.sleep(NativeMethod)
- atcom.cloudera.util.Clock$DefaultClock.doSleep(Clock.java:62)
- atcom.cloudera.util.Clock.sleep(Clock.java:88)
- atcom.cloudera.flume.handlers.text.TailSource$TailThread.run(TailSource.java:197)
- 2011-10-3107:55:16,826[TailThread-3]INFOtext.TailSource:TailThreadhasexited
- 2011-10-3107:55:16,826[logicalNodehadoop07-30]INFOhdfs.DFSEventSink:Closingfile:///tmp/var_log_messages.copy
- 2011-10-3107:55:16,828[logicalNodehadoop07-30]ERRORconnector.DirectDriver:ExitingdriverlogicalNodehadoop07-30inerrorstateTailSource|DFSEventSinkbecausenull
但是数据已经正确的写入到文件:/tmp/var_log_messages.copy,但文件格式不是原始的文件格式。将sink修改为:text( "/tmp/var_log_messages1.copy", "raw" ),警告:
- conf.FlumeBuilder:Deprecatedsyntax:Expectedaformatspecbutinsteadhada(String)raw
查看数据文件:/tmp/var_log_messages1.copy,文件已经和原始格式一致。
7)启动collector,注意:flume node_nowatch 会绑定35862端口,flume node_nowatch -n collector会绑定35863端口,所以查看节点信息时的端口依据于最先启动的程序。
flume node_nowatch -n collector
8)使用Configure multiple nodes进行配置,配置代码如下:
- hadoop07:console|agentSink("localhost",35853);
- collector:collectorSource(35853)|console;
配置失败,错误信息如下:
- com.cloudera.flume.conf.FlumeSpecException:Parsererror:unexpected'collector'atposition0line2:'hadoop07:console|agentSink("localhost",35853);collector:collectorSource(35853)|console;'
使用Configure a single node进行配置,最终配置信息如下:
测试配置,成功。
9)最终的master web界面:
分享到:
相关推荐
这是一本立足于企业真实的商用项目来讲解如何高效从事大数据实践的著作。技术层面,从全栈的角度系统梳理和详尽讲解了大数据的核心技术,包括Spark、Druid、Flume、Kafka等,让我们在纷繁复杂的技术中少走弯路......
flume的安装和实践
Flume大数据采集实践。Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单
Flume最佳实践手册,总结自自己的实战开发,分享给大家共通交流。
Flume日志收集与MapReduce模式
企业大数据处理:Spark、Druid、Flume与Kafka应用实践
根据实战安装步骤,详细描述hadoop3.2.1、hive3.1.2(包括mysql5.7)、zookeeper3.6、hbase2.2.4、flume1.90、sqoop1.4.7各组件安装步骤,记录过程中的各种坑,方便各位看官快速安装部署hadoop伪分布集群。
《Flume日志收集与MapReduce模式》
Flume日志收集与MapReduce模式.pdf
Flume1.6.0入门:安装、部署、及flume的案例
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...
flume-ng安装
尚硅谷大数据技术之Flume
flume集群环境搭建,详细讲解,图文并茂,包括flume信息监控和众多文章链接
flume支持RabbitMQ插件
flume官网下载太慢,请从这里下载,次文件是官方网站的1.8版本,也就是支持jdk1.8的,不支持jdk1.7,如果要支持jdk1.7的,请下载我的资源里面也有,flume1.7,
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...
让你快速认识flume及安装和使用flume1 5传输数据 日志 到hadoop2 2 中文文档 认识 flume 1 flume 是什么 这里简单介绍一下 它是 Cloudera 的一个产品 2 flume 是干什么的 收集日志的 3 flume 如何搜集日志 我们把...