caodaoxi
- 浏览: 527254 次
- 性别:
- 来自: 北京
-
最新评论
-
Tristan_S：
这个有点意思
ASM -
starryskydog：
程序修改detail band部分的样式 如内容字体大小 ...
使用jasperReport实现动态表头 -
samwong：
Good, so usefule
使用YUI Compressor压缩CSS/JS -
gc715409742：
能够告诉我怎么在web项目中使用YUI Compressor？ ...
使用YUI Compressor压缩CSS/JS -
JsonTeye：
您好！ 我看你的代码，我现在也在做动态报表，实现功能由用户自己 ...
使用jasperreport动态生成pdf,excel,html
文章列表
Apache Hadoop是大数据处理与批处理的事实标准，而Twitter Storm则很快地成为实现大规模事件处理的一种标准。遗憾的是，直到最近，实现Storm和Hadoop所需要的集群在物理上仍然有所不同。上周，Yahoo!宣布开放运行在Hadoop集群上的Storm ...
- 2013-06-22 15:15
- 浏览 439
- 评论(0)
Apache Hadoop是大数据处理与批处理的事实标准，而Twitter Storm则很快地成为实现大规模事件处理的一种标准。遗憾的是，直到最近，实现Storm和Hadoop所需要的集群在物理上仍然有所不同。上周，Yahoo!宣布开放运行在Hadoop集群上的Storm ...
- 2013-06-22 15:15
- 浏览 367
- 评论(0)
一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其他缓存就失效了。
因此，引入了一致性哈希算法：
把数据用hash函数（如MD5），映射到一个很大的空间里，如图所示。数据的存储时，先得到一个hash值，对应到这个环中的每个位置，如k1对应到了图中所示的位置，然后沿顺时针找到一个机器节点B，将k1存储到B这个节点中 ...
- 2013-06-18 17:21
- 浏览 377
- 评论(0)
一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其他缓存就失效了。
因此，引入了一致性哈希算法：
把数据用hash函数（如MD5），映射到一个很大的空间里，如图所示。数据的存储时，先得到一个hash值，对应到这个环中的每个位置，如k1对应到了图中所示的位置，然后沿顺时针找到一个机器节点B，将k1存储到B这个节点中 ...
- 2013-06-18 17:21
- 浏览 220
- 评论(0)
consistent hashing算法早在1997年就在论文Consistenthashing and random trees中被提出，目前在cache系统中应用越来越广泛；
1基本场景
比如你有N个cache服务器（后面简称cache），那么如何将一个对象object映射到N个cache上呢，你很可能会采用类似下面的通用方法计算object的hash值，然后均匀的映射到到N个cache；
hash(object)%N
一切都运行正常，再考虑如下的两种情况；
1 一个cache服务器m down掉了（在实际应用中必须要考虑这种情况），这样所有映射到cache m的对象都会失效 ...
- 2013-06-18 17:01
- 浏览 523
- 评论(0)
consistent hashing算法早在1997年就在论文Consistenthashing and random trees中被提出，目前在cache系统中应用越来越广泛；
1基本场景
比如你有N个cache服务器（后面简称cache），那么如何将一个对象object映射到N个cache上呢，你很可能会采用类似下面的通用方法计算object的hash值，然后均匀的映射到到N个cache；
hash(object)%N
一切都运行正常，再考虑如下的两种情况；
1 一个cache服务器m down掉了（在实际应用中必须要考虑这种情况），这样所有映射到cache m的对象都会失效 ...
- 2013-06-18 17:01
- 浏览 317
- 评论(0)
hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限.
先编辑mapred-site.xml，修改配置如下(增加四个队列):
<property>
<name>mapred.queue.names</name>
<value>default,queue1,queue2,queue3,queue4</value>
<description>Com ...
- 2013-06-18 14:03
- 浏览 587
- 评论(0)
hadoop作业提交时可以指定相应的队列，例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不同的队列实现不同用户的提交权限.
先编辑mapred-site.xml，修改配置如下(增加四个队列):
<property>
<name>mapred.queue.names</name>
<value>default,queue1,queue2,queue3,queue4</value>
<description>Com ...
- 2013-06-18 14:03
- 浏览 1170
- 评论(0)
1. 介绍
本文介绍的Hadoop权限管理包括以下几个模块：
（1） 用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等
（2） 作业管理。包括作业提交权限控制，作业运行状态查看权限控制等。如：可限定可提交作业的用户；可限定可查看作业运行状态的用户；可限定普通用户只能修改自己作业的优先级，kill自己的作业；高级用户可以控制所有作业等。
想要支持权限管理需使用Fair Scheduler或者 Capacity Scheduler（作业管理需用到Hadoop的ACL(Access Contr ...
- 2013-06-18 14:00
- 浏览 495
- 评论(0)
1. 介绍
本文介绍的Hadoop权限管理包括以下几个模块：
（1） 用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等
（2） 作业管理。包括作业提交权限控制，作业运行状态查看权限控制等。如：可限定可提交作业的用户；可限定可查看作业运行状态的用户；可限定普通用户只能修改自己作业的优先级，kill自己的作业；高级用户可以控制所有作业等。
想要支持权限管理需使用Fair Scheduler或者 Capacity Scheduler（作业管理需用到Hadoop的ACL(Access Contr ...
- 2013-06-18 14:00
- 浏览 387
- 评论(0)
监控指标大致如下：<wbr></wbr><wbr></wbr>default.shuffleInput<wbr></wbr><wbr></wbr>dfs.datanode<wbr></wbr><wbr></wbr>
- 2013-06-17 13:54
- 浏览 531
- 评论(0)
监控指标大致如下：<wbr></wbr><wbr></wbr>default.shuffleInput<wbr></wbr><wbr></wbr>dfs.datanode<wbr></wbr><wbr></wbr>
- 2013-06-17 13:54
- 浏览 822
- 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文 ...
- 2013-06-17 13:37
- 浏览 397
- 评论(0)
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文 ...
- 2013-06-17 13:37
- 浏览 283
- 评论(0)