微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

kafka一些基本操作

kafka aide_941 20℃

kafka一些基本操作
2016年05月31日 15:27:57 yilan1993 阅读数:1967
1. 查看某个topic各个分区的位置:

bin/kafka-topics.sh –topic test1349 –describe –zookeeper ip:2181

2. 创建某个topic:

bin/kafka-topics.sh –create –zookeeper ip:2181 –replication-factor 2 –partitions 10 –topic opstest

3. 查看创建的topic列表

bin/kafka-topics.sh –list –zookeeper ip:2181

4. 重新把某个topic打到某几台机器上面

使用Kafka自带的kafka-reassign-partitions.sh工具来重新分布分区。该工具有三种使用模式:

1、generate模式,给定需要重新分配的Topic,自动生成reassignplan(并不执行)

2、execute模式,根据指定的reassign plan重新分配Partition

3、verify模式,验证重新分配Partition是否成功

4.1 首先定义一个json文件,topics-to-move.json 里面说明哪些topic需要重新分区,文件内容如下:

{“topics”: [{“topic”: “opstest”}],

“version”:1

}

4.2 利用kafka自带的kafka-reassign-partitions.sh工具生成reassign plan

bin/kafka-reassign-partitions.sh –zookeeper ip:2181 –topics-to-move-json-file topics-to-move.json –broker-list “1,2” –generate

4.3 然后把下面Proposed partitionreassignment configuration 信息保存到一个文件中:new-topic-reassignment.json,然后执行操作:

bin/kafka-reassign-partitions.sh –zookeeper ip:2181 –reassignment-json-file new-topic-reassignment.json –execute

4.4 最后确认下执行结果

5. Kafka生成消息:

bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic topic001 –from-beginning
bin/kafka-console-consumer.sh –bootstrap-server localhost:9093 –topic topic001 –from-beginning
bin/kafka-console-consumer.sh –bootstrap-server localhost:9094 –topic topic001 –from-beginning

bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning

6.生产列表查看
bin/kafka-console-producer.sh –broker-list 172.18.0.6:9092,172.18.0.7:9093,172.18.0.8:9094 –topic topic001

参考文章;http://www.iteblog.com/archives/1611

http://www.cnblogs.com/w1991/p/5161625.html

转载请注明:SuperIT » kafka一些基本操作

喜欢 (0)or分享 (0)