caodaoxi
- 浏览: 526215 次
- 性别:
- 来自: 北京
-
最新评论
-
Tristan_S：
这个有点意思
ASM -
starryskydog：
程序修改detail band部分的样式 如内容字体大小 ...
使用jasperReport实现动态表头 -
samwong：
Good, so usefule
使用YUI Compressor压缩CSS/JS -
gc715409742：
能够告诉我怎么在web项目中使用YUI Compressor？ ...
使用YUI Compressor压缩CSS/JS -
JsonTeye：
您好！ 我看你的代码，我现在也在做动态报表，实现功能由用户自己 ...
使用jasperreport动态生成pdf,excel,html
文章列表
★ yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意. 比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多资料可以参考 如何检查配置是否生效, 可以使用命令: storm localconfvalue 配置关键字 但是这个命令只能在nimbus上生效, 在supervisor看到的还是默认值. 不知道为什么 ★ 在部署storm节点的时候需要安装jzmq和0qm, 在安装这两个依赖包之后, 需要执行sudo -u root ldconfig. 否则会出现异常:
引 ...
hadoop lzo
- 博客分类：
- hadoop
1.安装LZO
sudo apt-get install liblzo2-dev
或者下载lzo2[http://www.oberhumer.com/opensource/lzo/download/].
wget [http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz]
./configure \--enable-shared
make
make install
2.安装hadoop-lzo
wget [https://github.com/kevinweil/hadoo ...
概述
节点健康状况检测是YARN为每个NodeManager提供的机制，通过该机制，NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager，而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为 ...
- 2013-10-23 15:13
- 浏览 742
- 评论(0)
ResourceManager中的对象均被封装成服务和事件处理器，其中，封装成服务是为了统一管理，而所有事件处理器处理来自中央总调度器分配的事件，总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器，如此循环，构成了ResourceManager的整体架构。
（1）RM中的服务
YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两种：单一服务和组合服务，组合服务是将多个单个服务组合在一起。
单一服务需继承AbstractService抽象类，而组合服务需继承CompositeService抽象类。在ResourceManage ...
- 2013-10-23 15:09
- 浏览 679
- 评论(0)
YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp，本节将对这三个服务分别进行详细介绍。
1. ClientRMService
ClientRMService是为普通用户提供的服务，它会处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序，获取应用程序运行状态等。ClientRMService实现了 ClientRMProtocol协议，提供了丰富的RPC接口，以下是几个例子：
public GetNewApplicationResponse getNewApplication(
GetN ...
- 2013-10-23 15:08
- 浏览 834
- 评论(0)
在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。
ResourceManager主要由以下几个部 ...
- 2013-10-23 15:07
- 浏览 703
- 评论(0)
Hadoop2.0中已经将Protocol buffer（以面简称PB ，http://code.google.com/p/protobuf/ ）作为默认的序列化/反序列化框架，原来的自己实现的基于Writable的方式已经被淘汰了。来自Cloudera的Aaron T. Myers在邮件中这样说的“since PB can provide support
for ...
- 2013-10-23 15:06
- 浏览 707
- 评论(0)
在MRAppMaster中，记录日志是由服务JobHistoryEventHandler完成的，而作业恢复是由服务RecoveryService完成的。
同MRv1一样，MRv2也会对一些关键的事件记录日志，这主要有两个作用：（1）方便用户查看历史作业运行信息 （2）作业因故障重新启动后，可根据日志信息恢复之前已经运行完成的任务，以减少重新计算代价。
MRAppMaster采用的日志格式与MRv1一样，但有两个小的改动：
（1）实现方式不同。MRv1采用了同步记录日志的方式，也就是说，每发生一个行为，会记录一次日志，然后才可以执行下面的代码。由于YARN引入了基于事件的异步编程模型，因此， ...
- 2013-10-23 15:03
- 浏览 404
- 评论(0)
1. 背景
推测执行(Speculative Execution)是指在分布式集群环境下，因为程序BUG，负载不均衡或者资源分布不均等原因，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task（比如：一个job的某个task进度只有10%，而其他所有task已经运行完毕），则这些task拖慢了作业的整体执行进度，为了避免这种情况发生，Hadoop会为该task启动备份任务，让该speculative task与原始task同时处理一份数据，哪个先运行完，则将谁的结果作为最终结果。
推测执行优化机制采用了典型的以空间换时间的优化策略，它同时启动多个相同task ...
- 2013-10-23 15:01
- 浏览 789
- 评论(0)
ContainerLauncher负责与NodeManager通信，以启动一个container。在YARN中，运行Task所需的全部信息被封装到Container中，包括所需资源、依赖的外部文件、jar包、运行时环境变量、运行命令等。ContainerLauncher通过ContainerManager协议与NodeManager通信，该协议定义了三个RPC接口，具体如下：
StartContainerResponse startContainer(StartContainerRequest request) throws YarnRemoteException;//启动一个contai ...
- 2013-10-23 15:00
- 浏览 681
- 评论(0)
1. ContainerAllocator概述
ContainerAllocator负责与ResourceManager通信，为作业申请资源。作业的每个任务资源需求可描述为四元组<Priority, hostname，capability，containers>，分别表示作业优先级、期望资源所在的host，资源量（当前仅支持内 ...
- 2013-10-23 14:57
- 浏览 533
- 评论(0)
本节分析一个作业从开始运行到运行结束，所经历的整个过程，期间涉及到的各种事件和状态变化。
在正式讲解作业生命周期之前，先要了解MRAppMaster中作业表示方式，每个作业由若干干Map Task和Reduce Task组成，每个Task进一步由若干个TaskAttempt组成，Job、Task和TaskAttempt的生命周期均由一个状态机表示，具体可参考https://issues.apache.org/jira/browse/MAPREDUCE-279（附件中的图yarn-state-machine.job.png，yarn-state-machine.task.png和yarn-sta ...
- 2013-10-23 14:56
- 浏览 1072
- 评论(0)
MRAppMaster是MapReduce的ApplicationMaster实现，它使得MapReduce计算框架可以运行于YARN之上。在YARN中，MRAppMaster负责管理MapReduce作业的生命周期，包括创建MapReduce作业，向ResourceManager申请资源，与NodeManage通信要求其启动Container，监控作业的运行状态，当任务失败时重新启动任务等。
YARN使用了基于事件驱动的异步编程模型，它通过事件将各个组件联系起来，并由一个中央事件调度器统一将各种事件分配给对应的事件处理器。在YARN中，每种组件是一种事件处理器，当MRAppMaster启 ...
- 2013-10-23 14:55
- 浏览 593
- 评论(0)
1.什么是MRAppMaster？
我们知道，在MRv1中，JobTracker存在诸多问题，包括存在单点故障，扩展受限等，为了解决这些问题，Apache对MRv1进行了改进，提出了YARN，YARN将JobTracker中的作业控制和资源管理两个功能分开，分别由两个不同的进程处理，进而解决了原有JobTracker存在的问题。经过架构调整之后，YARN已经完全不同于MRv1，它已经变成了一个资源管理平台，或者说应用程序管理框架。运行于YARN之上的计算框架不只限于MapReduce一种，也可以是其他流行计算框架，比如流式计算、迭代式计算等类型的计算框架。为了将一个计算框架运行于YARN之上， ...
- 2013-10-23 14:53
- 浏览 629
- 评论(0)
1. 概述
本文介绍YARN自带的一个非常简单的应用程序编程实例—distributedshell，他可以看做YARN编程中的“hello world”，它的主要功能是并行执行用户提供的shell命令或者shell脚本。本文主要介绍distributedshell 的实现方法。
Distributedshell的源代码在文件夹
src\hadoop-yarn-project\hadoop-yarn\hadoop-yarn-applications\hadoop-yarn-applications-distributedshell下。
Distributedshell 的实现完全与文章“如 ...
- 2013-10-23 14:52
- 浏览 912
- 评论(0)