管理Kafka的Consumer-Group信息

03 Jan 2016 本文阐述如何查看/删除Kafka的Consumer-Group信息。 1. 问题描述 由于consumer group的设置会影响到consumer读取数据的行为，因此需要知道如何确定一个group是否是新的，如果是已存在的，那么它会从那个偏移量（即哪一条数据）开始读取。如果想删除...

Kafka分配分区的机制

09 Jul 2015 本文阐述Kafka中Producer与Consumer分配分区的机制。 1. Consumer分区分配机制 分配partition的策略： range：对于每个topic，会将topic的partition编上序号排好序，然后consumer线程以字典序排序。然而把part...

hbck官方文档(中译)

10 May 2015 本文是HBase官方文档-hbck in depth一文的中文翻译。 0. 目录 1.运行hbck检测不一致性 2.不一致性 3.局部修复 4.region重叠修复 4.1.特例：Meta没有被正确分配 4.2.特例：HBase版本文件丢失 4.3.特例：Root和ME...

在Eclipse中使用Git

07 May 2015 本文介绍如何从Gitlab上将repo拷贝到本地并将Eclipse的多个项目与Gitlab上repo进行同步。 1. 创建新分支 首先，Gitlab上的repo会有master分支，假设这个分支上已经有了许多文件，如： 在reponetworkqualityanalyze的ma...

HBase数据导入的负载均衡策略

02 May 2015 本文阐述HBase数据导入时进行负载均衡的策略，以期达到最大的导入速率，主要为写多读少的业务服务。 1. 问题描述 由于在开始建表时，表只会有一个region，并随着region增大而拆分成更多的region，这些region才能分布在多个regionserver上从而使负载均分。...

YCSB官方文档-并行运行一个工作负载(中译)

26 Apr 2015 本文是YCSB-wiki-Running-a-Workload-in-Parallel一文的中文翻译。 1. 概述 从多个服务器上运行工作负载的事务阶段是简单明了的——只需要在不同服务器上启动客户端，每个客户端运行相同的工作负载。每个客户端会在完成时生成性能统计信息，你将需要把这些...

YCSB官方文档-实现新工作负载(中译)

26 Apr 2015 本文是YCSB-wiki-Implementing-New-Workloads一文的中文翻译。 1. 概述 一个工作负载代表一个给定的应用将加给数据库系统的负载。对于基准测试来说，相比真实应用，我们必须将工作负载定义得相对简单，这样我们才能更好地评估我们得到的基准测试的结果。然而，...