kafka一些基本操作
2016年05月31日 15:27:57 yilan1993 阅读数：1967
1. 查看某个topic各个分区的位置：

bin/kafka-topics.sh –topic test1349 –describe –zookeeper ip:2181

2. 创建某个topic：

bin/kafka-topics.sh –create –zookeeper ip:2181 –replication-factor 2 –partitions 10 –topic opstest

3. 查看创建的topic列表

bin/kafka-topics.sh –list –zookeeper ip:2181

4. 重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式：

1、generate模式，给定需要重新分配的Topic，自动生成reassignplan（并不执行）

2、execute模式，根据指定的reassign plan重新分配Partition

3、verify模式，验证重新分配Partition是否成功

4.1 首先定义一个json文件，topics-to-move.json 里面说明哪些topic需要重新分区，文件内容如下：

{“topics”: [{“topic”: “opstest”}],

“version”:1

}

4.2 利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh –zookeeper ip:2181 –topics-to-move-json-file topics-to-move.json –broker-list “1,2” –generate

4.3 然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中：new-topic-reassignment.json，然后执行操作：

bin/kafka-reassign-partitions.sh –zookeeper ip:2181 –reassignment-json-file new-topic-reassignment.json –execute

4.4 最后确认下执行结果

5. Kafka生成消息：

bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic topic001 –from-beginning
bin/kafka-console-consumer.sh –bootstrap-server localhost:9093 –topic topic001 –from-beginning
bin/kafka-console-consumer.sh –bootstrap-server localhost:9094 –topic topic001 –from-beginning

bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning

6.生产列表查看
bin/kafka-console-producer.sh –broker-list 172.18.0.6:9092,172.18.0.7:9093,172.18.0.8:9094 –topic topic001

参考文章；http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html

转载请注明：SuperIT » kafka一些基本操作