大阳阳
- 浏览: 104003 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
概述
Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统。现在已经是Apache Top项目。Github地址。同Flume相似的日志收集系统还有Facebook Scribe，Apache Chuwka，Apache Kafka(也是LinkedIn的)。Flume是后起之秀，本文尝试简要分析Flume数据流通过程中提供的组件、可靠性保证来介绍Flume的主要设计，不涉及Flume具体的安装使用，也不涉及代码层面的剖析。写博文来记录这个工具主要是觉得与最近开发的一个流式的数据搬运的工具在设计上有相似之处，想看看有没有可以参考的地方。在博文的基础上，还需要浏览一下源码。 ...
- 2014-10-09 10:57
- 浏览 203
- 评论(0)
转自：http://hot66hot.iteye.com/blog/2075819
写这篇wiki的目的:最近在调整Hbase的JVM,翻了些文档和wiki,想写点东西,给自己和想了解jvm日志和参数的同 学提供些帮助.
一:理解GC日志格式,读GC日志的方法
1:开启日志
-verbose:gc
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-Xloggc:/path/gc.log
-XX:+UseGCLogFileRotation 启用GC日志文件的自动转储 (Since Java)
-XX:NumberOfGClogFiles ...
- 2014-10-09 10:57
- 浏览 349
- 评论(0)
一、引言
1、简介
Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统。Avro 可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用，适合于远程或本地大规模数据的存储和交换。
2、特点
Ø 丰富的数据结构类型；
Ø 快速可压缩的二进制数据形式，对数据二进制序列化后可以节约数据存储空间和网络传输带宽；
Ø 存储持久数据的文件容器 ...
- 2014-10-09 10:57
- 浏览 259
- 评论(0)
在过去的十年中，计算世界已经改变。现在不仅在大公司，甚至一些小公司也积累了 TB 量级的数据。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。
一个解决方案是使用键值（Key-Value）存储数据库，这是一种 NoSQL（非关系型数据库）模型，其数据按照键值对的形式进行组织、索引和存储。KV 存储非常适合不涉及过多数据关系业务关系的业务数据，同时能有效减少读写磁盘的次数，比 SQL 数据库存储拥有更好的读写性能。
本文就为你介绍 9 种用于大数据处理的免费键值存储数据库。
1. Aerospike 社区版
Aerospike 是一个以分布 ...
- 2014-10-09 10:57
- 浏览 311
- 评论(0)
转自：http://www.ibm.com/developerworks/cn/aix/library/1203_weixy_aixio/
磁盘 I/O 的概念
I/O 的概念，从字义来理解就是输入输出。操作系统从上层到底层，各个层次之间均存在 I/O。比如，CPU 有 I/O，内存有 I/O, VMM 有 I/O, 底层磁盘上也有 I/O ...
- 2014-10-09 10:57
- 浏览 441
- 评论(0)
上一篇介绍中，我们将二进制文件(BLOB)保存为Base64编码的文本，这些文本可以内嵌在XML的标签中，因此二进制信息它可以随着XML文件被拷贝、下载而不用担心信息会缺失。这项技术也在email邮件中被广泛使用。浏览器对Base64的支持图像是最经常被使用的一种二进制文件。而现代的浏览器的进步日新月异，IE7，FireFox和其他浏览器为包括Base64在内各种编码的图像信息提供了很好的支持。因此图形信息可以以下面的形式呈现在页面中、
Java代码
<imgsrc="data:image/gif;base64,R0lGODlhDwAPAKECAAAAzMz ...
- 2014-10-09 10:56
- 浏览 589
- 评论(0)
细说Java IO相关
概述
在大部分的行业系统或者功能性需求中，对于程序员来说，接触到io的机会还是比较少的，其中大多也是简单的上传下载、读写文件等简单运用。最近工作中都是网络通信相关的应用，接触io、nio等比较多，所以尝试着深入学习并且描述下来。
io往往是我们忽略但是却又非常重要的部分，在这个讲究人机交互体验的年代，io问题渐渐成了核心问题。Java传统的io是基于流的io，从jdk1.4开始提供基于块的io，即nio，会在后面的文章介绍。
流
流的概念可能比较抽象，可以想象一下水流的样子。
- 2014-10-09 10:56
- 浏览 353
- 评论(0)
Java流操作有关的类或接口：
Java流类图结构：
流的概念和作用
流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操作。
IO流的分类
根据处理数据类型的不同分为：字符流和字节流
根据数据流向不同分为：输入流和输出流
字符流和字节流
- 2014-10-09 10:56
- 浏览 178
- 评论(0)
浅谈RAID写惩罚（Write Penalty）与IOPS计算
05/08. 2014
介绍
通常在讨论不同RAID保护类型的性能的时候，结论都会是RAID-1提供比较好的读写性能，RAID-5读性能不错，但是写入性能就不如RAID-1，RAID-6保护级别更高，但写性能相对 ...
- 2014-10-09 10:56
- 浏览 580
- 评论(0)
了解MySql必须牢牢记住其体系结构图，Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的。
1 Connectors指的是不同语言中与SQL的交互
2 Management Serveices & Utilities： 系统管理和控制工具
3 Connection Pool: 连接池。
管理缓冲用户连接，线程处理等需要缓存的需求
4 SQL Interface: SQL接口。
接受用户的S
- 2014-10-09 10:56
- 浏览 252
- 评论(0)
流式处理大数据简介
Storm 是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。了解 Twitter Storm、它的架构，以及批处理和流式处理解决方案的发展形势。
Hadoop（大数据分析领域无可争辩的王者）专注于批处理。这种模型对许多情形（比如为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助 Nathan Marz 推出的 Storm（现在在 Twitter 中称为 BackType）。Storm 不处理静态数据，但它处理预计会连续的流数据。考虑到 Twitter 用户 ...
- 2014-10-09 10:56
- 浏览 436
- 评论(0)
单点登录
单点登录（Single sign-on，SSO）是一种访问控制，在多个软件应用中，用户只需登录其中一个应用，就可以成功访问其他应用；同样，用户只需注销其中一个应用，就可以成功注销其他应用。
当一个公司产品线越来越复杂，做的东西越来越多，考虑到用户的便利性和业务的交集，单点登录也就变得越来越必然。譬如，阿里巴巴中的淘宝网，天猫，聚划算和一淘，考虑下面的场景：我们用户登录淘宝网购物，紧接着朋友打电话说出去玩，于是打开聚划算的时候你会发现，你已经登了聚划算！可能这些细节都被大多数人忽略了（被谁给惯坏了），但如果要让用户再次手动登录聚划算，用户体验可想而知。这种便利性就是单点登录所带来的 ...
- 2014-10-09 10:56
- 浏览 158
- 评论(0)
文/魏兴国
敌情篇 ——DDoS攻击原理
DDoS攻击基础
DDoS（Distributed Denial of Service，分布式拒绝服务）攻击的主要目的是让指定目标无法提供正常服务，甚至从互联网上消失，是目前最强大、最难防御的攻击之一。
按照发起的方式 ...
- 2014-10-09 10:56
- 浏览 242
- 评论(0)
现在先抛出问题，假设有一个主数据中心在北京M，然后有成都A，上海B两个地方数据中心，现在的问题是，假设成都上海各自的数据中心有记录变更，需要先同步到主数据中心，主数据中心更新完成之后，在把最新的数据分发到 ...
- 2014-10-09 10:56
- 浏览 324
- 评论(0)