★ yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意.
比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多资料可以参考
如何检查配置是否生效, 可以使用命令: storm localconfvalue 配置关键字
但是这个命令只能在nimbus上生效, 在supervisor看到的还是默认值. 不知道为什么
★ 在部署storm节点的时候需要安装jzmq和0qm, 在安装这两个依赖包之后, 需要执行sudo -u root ldconfig. 否则会出现异常:
java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open shared object file: No such file or
directory
at java.lang.ClassLoader$NativeLibrary.load(Native Method)
at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1803)
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1728)
at java.lang.Runtime.loadLibrary0(Runtime.java:823)
at java.lang.System.loadLibrary(System.java:1028)
at org.zeromq.ZMQ.<clinit>(ZMQ.java:34)
这里有相关的讨论:
http://groups.google.com/group/storm-user/browse_thread/thread/656fb21d7166574d
★ 关闭nimbus相关进程:
kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' | fgrep -v egrep | awk '{print $2}'`
★ 干掉supervisor上的所有storm进程:
kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print $2}'`
★ 目前storm貌似不支持动态加载log4j配置文件, 每一个supervisor节点需要修改log4j/storm.log.properties文件来调整日志输出.
★ 在打包toplogy工程的时候, 如果采用assembly方式, 对于相关的依赖的配置一般要这样:
- <dependencySets>
- <dependencySet>
- <outputDirectory>/</outputDirectory>
- <unpack>true</unpack>
- <excludes>
- <exclude>storm:storm</exclude>
- </excludes>
- </dependencySet>
- </dependencySets>
wiki上说可以用<scope>compile</scope>. 然后将storm依赖设置为runtime, 貌似不行. 另外就是所有的依赖包将全部解压, 然后将所有依赖的配置和class文件生成一个文件. 这个是通过<unpack>true</unpack>参数来控制的.
★ 有时候supervisor的conf/storm.yaml参数设置不合理, 会导致worker无法起来的现象, 比如我碰到的一个例子是. 定义了worker.childopts(给了一个不合理的jvm参数). 结果导致worker反复启动, 而均不成功, 这里的日志信息也不明确, 只是说无法start, 但是没有给更详细的上下文信息.
-0611-427a-8e23-84fe25047dbd 6701 d7f8354d-9ec0-4272-aa0d-9260f7b0042f
2012-02-24 14:24:27 supervisor [INFO]
a17ff23e-00b2-4e51-9001-74664413d2dd still hasn't started
2012-02-24 14:24:28 supervisor [INFO]
a17ff23e-00b2-4e51-9001-74664413d2dd still hasn't started
2012-02-24 14:24:28 supervisor [INFO]
a17ff23e-00b2-4e51-9001-74664413d2dd still hasn't started
2012-02-24 14:24:29 supervisor [INFO]
a17ff23e-00b2-4e51-9001-74664413d2dd still hasn't started
★ 有问题直接上storm-user搜索相关帖子或者问Storm的作者Nathan Marz. 此人回答问题非常热心. 从提问人的id来看, 貌似中国人在上面问问题的非常多^_^
★在提交topology的时候有时可能出现如下异常:
at backtype.storm.utils.NimbusClient.<init>(NimbusClient.java:30)
at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17)
at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:78)
at backtype.storm.StormSubmitter.submitJar(StormSubmitter.java:71)
at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50)
at com.taobao.kaleidoscope.storm.IcdbTopology.main(IcdbTopology.java:59)
但是启动nimbus是没有问题的, 这个主要以为内conf_dir路径设置不正确, 在bin/storm脚本中需要加上这样一句:
- CONF_DIR = STORM_DIR + "/conf"
★Q:如何知道一个tuple的来源?
A:tuple.getSourceStramId()
相关推荐
• BasicBolt • Storm 批处理 • Storm TOPN • Storm 流程聚合 • Storm DRPC • Storm executor、worker、task之间的关系和调优 • Storm异常解决
内容概要: • Storm 记录级容错原理 • Storm 配置详解 • Storm 批处理 • Storm TOPN • Storm 流程聚合 • Storm DRPC • Storm executor、worker、task之间的关系和调优 • Storm异常解决
Kafka2Storm异常订购DocumentsTopology
基于Storm的流计算框架,刘心光,,大数据时代的信息爆炸,使得对大数据的处理变得异常重要。各个行业尤其是互联网行业,每天都会产生TB级的服务数据,因此需要更大�
【资源说明】 1、该资源包括项目的全部源码,下载可以直接使用! 2、本项目适合作为计算机、数学...基于Storm+Esper架构实现的证券异常交易行为监控系统源码+项目说明(支持金证交易系统的指令拦截 、复制与解析).zip
logAnalytics-Storm #使用Storm分析日志数据中的错误/异常应用程序监视群集中的日志文件中是否存在任何类型的错误/运行时异常,并使用其电子邮件地址将其报告给用户。 ##拓扑: LogGrabberSpout通过http调用...
Beymani 由一组基于 Hadoop、Spark 和 Storm 的工具组成,用于异常值和异常检测,可用于欺诈检测、入侵检测等。 哲学 使用简单 CSV格式的输入输出 在简单的 JSON 文件中定义的元数据 极其可配置的大量配置旋钮 博客 ...
基于JavaScript+java实时检测异常账号数量项目+源码+文档,适合期末大作业、课程设计、项目开发。项目源码已经过严格测试,可以放心参考并在此基础上延申使用~ ...数据分析:Storm 数据存储:MySql 据可视化:Echart
【资源说明】 1、该资源内项目代码都是经过测试运行成功,功能正常的情况下才上传的,请放心下载使用。 2、适用人群:主要针对计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、...
这是 HDInsight 群集(在 Microsoft Azure 上)上的 Apache Storm 的基本 C# Storm 拓扑。 这演示了如何创建 spout 和 bolt,以及如何发出多个流。... 这似乎不适用于多个流,因为 SCP.NET 框架返回抱怨流的异常。
在Apache Storm中实现一个系统,该系统能够检测动态网络环境中的流网络数据异常。 该系统使用2004年Ide&Kashima论文“计算机系统中基于特征空间的异常检测”中说明的无监督机器学习技术作为其异常检测模块的基础。 ...
首先介绍流计算的基本概念和需求,分析了MapReduce框架为何不适合处理流数据;然后,阐述了流计算的处理流程和可应用的场景...接着介绍了流计算框架Storm的设计思想和架构设计;最后,通过实例来加深对Storm框架的了解
不要担心异常,worker 中未处理的异常不会使您的主进程崩溃,也不会影响其他正在运行的 worker,因为所有 worker 都在单独的进程中运行,如果 worker 出现异常,它将正常关闭。 你可以从盒子里得到很多东西,比如:...
且能够集成已有的分析工具支持实时的Telemetry搜索和跨Telemetry的匹配支持自动生成报告、和异常报警支持原数据包的抓取、存储、重组支持数据驱动的安全模型OpenSOC 官方文档介绍了以下五大优点:由思科全力支持,...
首先构建了卵母细胞体外正常成熟体系和原钒酸钠(SOV)作用下的异常成熟体系, 然后基于共聚焦显微技术和随机光学重建显微技术(STORM)两种荧光成像方法, 研究卵母细胞减数分裂过程中动力蛋白和微管蛋白的定位以及染色体...
包含java集合、多线程、异常;包含hadoop、hive、storm、spark、zookeeper、kafka、flume等技术;包括mysql数据库的查询及优化知识点;包括vue、react等前端框架;也包括部门机器学习相关知识;包括版本管理、管理...
Storm流计算能预计算固定的维度、粒度,但业务千变万化,突发事件很多,如何对任意维度的组合进行筛选、钻取、统计? 硬盘坏了,机器宕机,怎样做到数据可靠不丢失? 小型机太贵,我们买不起,怎么办? YDB特性 1...
Storm流计算能预计算固定的维度、粒度,但业务千变万化,突发事件很多,如何对任意维度的组合进行筛选、钻取、统计? 硬盘坏了,机器宕机,怎样做到数据可靠不丢失? 小型机太贵,我们买不起,怎么办? YDB特性 1...
Storm流计算能预计算固定的维度、粒度,但业务千变万化,突发事件很多,如何对任意维度的组合进行筛选、钻取、统计? 硬盘坏了,机器宕机,怎样做到数据可靠不丢失? 小型机太贵,我们买不起,怎么办? YDB特性 1. ...