微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

安装kafka

kafka aide_941 24℃

安装kafka
2018年06月02日 15:05:55 lbl2018 阅读数:1497
参考官网教程:http://kafka.apache.org/quickstart

1. 从官网上获取下载地址并下载
wget http://mirrors.hust.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
1
2. 解压即安装
tar -xvf kafka_2.11-1.1.0.tgz
1
3. 启动zookeeper
kafka使用zookeeper管理集群,可以使用kafka中自带的zookeeper

./bin/zookeeper-server-start.sh ./config/zookeeper.properties
1
使用默认的配置文件启动zookeeper,此时zookeeper以单机模式运行,使用端口2181接收来自Client的请求。

4. 配置kafka
启动kafka之前先配置kafka

vim config/server.properties
1
增加以下两个配置

host.name=0.0.0.0
advertised.host.name=192.168.204.128
1
2
host.name表示kafka绑定到的ip上,此处设置为0.0.0.0,保证非本机的请求也能被接受
advertised.host.name表示kafka注册到zookeeper时,将告诉zookeeper自己的地址为192.168.204.128,当消费者向zookeeper询问kafka的地址时,将会返回192.168.204.128,消费者会直接连向192.168.204.128拉取数据。
端口号不作修改,默认都为9092
zk的连接也不作修改,默认为localhost:2181
如果要修改,可以自行配置

port=9092
advertised.port=9092
zookeeper.connect=localhost:2181
1
2
3
20180604更新:参数host.name/port/advertised.host.name/advertised.port在最新的官方文档标注为deprecated,应该为以下配置

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.204.128:9092
1
2
5. 启动kafka
./bin/kafka-server-start.sh ./config/server.properties
1
6. 创建topic
./bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic mykafka
1
此处不创建也可以,kafka默认是自动创建topic,当你尝试发送到topic或订阅topic时,会自动创建topic

7. 发送消息
./bin/kafka-console-producer.sh –broker-list localhost:9092 –topic mykafka
1
8. 接收消息
./bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic mykafka –from-beginning

转载请注明:SuperIT » 安装kafka

喜欢 (0)or分享 (0)