登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

 分类：kafka

优雅的使用Kafka Consumer

优雅的使用Kafka Consumer
如何消费数据 我们已经知道了如何发送数据到Kafka,既然有数据发送,那么肯定就有数据消费,消费者也是Kafka整个体系中不可缺少的一环 public class KafkaConsumerDemo { public static void main(String[] args)...

4个月前 (06-16) 7℃

kafka consumer配置详解

kafka consumer配置详解
1、Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Gro...

4个月前 (06-16) 3℃

Java kafka消息的发送与接收

Java kafka消息的发送与接收
　　在上节《kafka在windows上的安装、运行》中我们已在Windows上kafka环境搭建起来了，下面我们继续看我们用java如何调kafka发送和接收消息。 一.项目工程结构   二.详细代码 KafkaUtils.java package com....

4个月前 (06-16) 4℃

【Kafka】Producer配置

名称 描述 类型 默认值 bootstrap.servers kafka集群地址，ip+端口，以逗号隔开。不管这边配置的是什么服务器，客户端会使用所有的服务器。配置的列表只会影响初始发现所有主机。配置的格式应该是:ip:port,ip:port，因为配置的内容只是用...

4个月前 (06-16) 9℃

kafka认证和acl

kafka附带一个可插拔的ACL（Access Control List 访问控制列表），它使用zookeeper来存储。通过在server.properties中设置authorizer.class.name来启用： authorizer.class.name=kafka....

4个月前 (06-16) 3℃

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper
前者是老版本的用法，0.8以前的kafka，消费的进度(offset)是写在zk中的，所以consumer需要知道zk的地址。后来的版本都统一由broker管理，所以就用bootstrap-server了。bootstrap-server还可以自动发现其它的broker。 1.b...

4个月前 (06-16) 2℃

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群 前言 网上有很多介绍zookeeper和kafka的集群搭建方法，同时官网中也有相应的zookeeper和kafka的镜像，但是试了很多zookeeper和kafka分开...

7个月前 (03-27) 4℃

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群 简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器，在配置文件中，所有的容器通过service来定义，使用docker-compose启动，停止...

7个月前 (03-27) 5℃

实战Kafka ACL机制

1.概述 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker...

1年前 (2019-06-28) 37℃

Kafka彻底删除topic

Kafka删除topic 2016年08月21日 18:22:41 桃花惜春风 阅读数 9276  版权声明：本博客所有文章均为原创，如有转载，请注明原文地址，谢谢！—-桃花惜春风 https://blog.csdn.net/xiaoyu_BD/...

1年前 (2019-06-14) 26℃

删除kafka的consumer和topics

删除kafka的consumer和topics 作者: admin 时间: 2017-05-31 分类: 数据库,工具,数据 谨慎操作 kafka 版本 0.10 删除 consumers 原因: 重置 offset, 或者是强迫症想清空不用的 consumer 操作: #...

1年前 (2019-06-14) 31℃

Apache Kafka 入门 – Kafka命令详细介绍

Apache Kafka 入门 – Kafka命令详细介绍 2017年06月25日 18:17:16 isea533 阅读数 22333  版权声明：版权归博主所有，转载请带上本文链接！联系方式：abel533@gmail.com https:/...

1年前 (2019-06-14) 31℃

kafka命令（2.12版本）

kafka命令（2.12版本） 博客分类： kafka 创建主题： ./kafka-topics.sh –zookeeper localhost:12181 –create –topic lfwer –partitio...

1年前 (2019-06-14) 26℃

kafka消费者consumer,group基本操作

kafka消费者基本操作 1.消费消息 消费者以pull的方式获取消息， 每个消费者属于某一个消费组，在创建时不指定消费者的groupId,则该消费者属于默认消费组test-consumer-group ,在配置文件./consumer.properties中设置 同一消费...

1年前 (2019-06-14) 24℃

springboot kafka group.id多消费组配置

springboot kafka group.id多消费组配置
springboot kafka group.id多消费组配置 2018年10月24日 11:37:56 Garry1115 阅读数：3546  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zwx1992...

1年前 (2019-05-09) 40℃

kafka consumer group总结

kafka consumer group总结 2015年01月22日 21:58:41 cuidongdong1234 阅读数：23717 kafka消费者api分为high api和low api，目前上述demo是都是使用kafka high api，...

1年前 (2019-05-09) 25℃

Kafka查看topic、consumer group状态命令

Kafka查看topic、consumer group状态命令 2018年08月06日 11:08:23 Elliott_ZJ 阅读数：13108 原文链接：https://www.cnblogs.com/AcAc-t/p/kafka_topic_cons...

1年前 (2019-05-09) 27℃

storm从kafka消息队列读取数据进行读写操作

storm从kafka消息队列读取数据进行读写操作 2019年01月02日 17:04:29 Go Big Or Go Home 阅读数：7290更多 所属专栏： Kafka  版权声明：“假装、是个有灵魂的程序员” —— Go Big Or Go Hom...

1年前 (2019-05-03) 38℃

Kafka+Storm+Elasticsearch整合实时数据分析实践

Kafka+Storm+Elasticsearch整合实时数据分析实践
Kafka+Storm+Elasticsearch整合实时数据分析实践 2018年09月04日 10:46:46 tanwei_ 阅读数：1113  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u0129...

1年前 (2019-05-03) 23℃

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来
假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。 说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

1年前 (2019-05-03) 32℃

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总
nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多 个人分类： 服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

1年前 (2019-05-03) 23℃

Kafka学习笔记（二）：Partition分发策略

Kafka学习笔记（二）：Partition分发策略 kafka版本0.8.2.1 Java客户端版本0.9.0.0   为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partit...

2年前 (2019-04-28) 35℃

Kafka学习笔记（一）：概念介绍

Kafka学习笔记（一）：概念介绍 Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路...

2年前 (2019-04-28) 24℃

kafka在zookeeper上的节点信息和查看方式

kafka在zookeeper上的节点信息和查看方式 2018年06月03日 00:37:31 MakeGreatEffort 阅读数：4042 kafka在Zookeeper上的节点如下图： 该图片盗自大牛的博客http://blog.csdn.net...

2年前 (2019-04-28) 18℃