微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

标签:kafka

未分类

kafka 设置消费group为最新offset

下载依赖jar 包 kafka-tools-0.0.3.jar  kafka-tools-0.0.3-sources.jar (源码文件) 也可以通过maven下载 pom 文件配置 Expand source   使用example ...

2周前 (11-11) 3℃

未分类

rsyslog 接入权限认证的Kafka集群

说明: kafka权限接入包含两种方式,了解具体接入可参考 本案例使用kafka的第二种使用方式,案例如下: Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStreamingSQLKa...

2周前 (11-11) 2℃

kafka

kafka单条日志超过1M解决方案

一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M(压缩后),客户端会报出如下错误。 错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.common.errors...

2周前 (11-11) 1℃

kafka

kafka单独设置数据过期时间

kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup.policy=...

3周前 (11-09) 2℃

kafka

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群 简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器,在配置文件中,所有的容器通过service来定义,使用docker-compose启动,停止...

8个月前 (03-27) 5℃

hadoop

一键安装kafka,hadoop和spark集群

在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。 1. 下载脚本和安装包 (1)安装脚本的码云链接 (2)安装包的百度云盘链接 文件提...

8个月前 (03-27) 5℃

java

kafka在生产过程中的使用,新手教程(二)

acks=0:如果设置为0,生产者不会等待kafka的响应。   acks=1:这个配置意味着kafka会把这条消息写到本地日志文件中,但是不会等待集群中其他机器的成功响应。   acks=all:这个配置意味着leader会等待所有的follower同步完成...

9个月前 (02-22) 25℃

java

kafka在消费过程中的使用,新手教程(一)

当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据   没什么好说的,直接上代码:   import java.util.Arrays; import java.util.Properti...

9个月前 (02-20) 24℃

python

python操作kafka实践

python操作kafka实践
1、先看最简单的场景,生产者生产消息,消费者接收消息,下面是生产者的简单代码。 -------------------------------------------------------------------------------- #!/usr/bin/env ...

1年前 (2019-06-14) 30℃

elasticsearch

零门槛!使用Docker快速部署ES集群

零门槛!使用Docker快速部署ES集群 张戈 原文链接 发表于张戈的专栏订阅 2K 在这篇文章中: 一、整体架构 本文涉及的 IP 的角色属性清单: 二、Docker 资源 1、Docker 私有仓库搭建(针对内网环境) 2、所有服务器节点都安装要 docker,并开启私有仓库...

2年前 (2019-03-27) 20℃

kafka

kafka常用运维命令

kafka常用运维命令 2015年11月03日 16:06:54 huanggang028 阅读数:14119更多 个人分类: kafka 列出所有topic: bin/kafka-topics.sh –zookeeper localhost:2181 ̵...

2年前 (2019-03-26) 22℃

kafka

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数:1967 查看某个topic各个分区的位置: bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181 ...

2年前 (2019-03-26) 17℃

java

Kafka 生产者和消费者的笔记

Kafka 生产者和消费者的笔记 2016年12月23日 11:27:37 梦醉天下 阅读数:11306 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dreamsigel/article/details/53836427 M...

2年前 (2019-03-26) 24℃

java

Kafka java实例代码

Kafka java实例代码 2017年08月14日 15:15:30 _kairui 阅读数:5892 工程准备 1、首先搭建Kafka集群环境,这里我们kafka的集群环境已经搭建好的,详情参考: http://blog.csdn.net/liulihui1988/artic...

2年前 (2019-03-26) 21℃

java

关于Kafka 的 consumer 消费者手动提交详解

关于Kafka 的 consumer 消费者手动提交详解 前言 在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer...

2年前 (2019-03-26) 32℃

java

Java实现Kafka的生产者、消费者

Java实现Kafka的生产者、消费者 一、生产者 import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; ...

2年前 (2019-03-26) 24℃

kafka

Kafka java api-生产者代码、高性能吞吐

Kafka java api-生产者代码、高性能吞吐
Kafka java api-生产者代码、高性能吞吐 前面做过命令行让生产者发送消息,现在使用java api来进行消息的生产,以及解释kafka高性能是如何实现(来源于学习资料)。 使用shell创建topic和发送消息如下: #参数:zookeeper连接地址和端口号,副本数...

2年前 (2019-03-26) 25℃

kafka

kafka监控topic消费

kafka监控topic消费 2018年01月11日 17:52:33 老蔡Code 阅读数:3565 一、KafkaOffsetMonitor监控 安装 1.wget https://github.com/quantifind/KafkaOffsetMonitor/releas...

2年前 (2019-03-26) 20℃

未分类

#kafka shell脚本用法详解

#kafka shell脚本用法详解 2018年07月14日 21:18:51 阿飞Javaer 阅读数:4150更多 所属专栏: kafka 版权声明:本文为阿飞Javaer博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/feelwing13...

2年前 (2019-03-25) 22℃

kafka

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数:1967 1. 查看某个topic各个分区的位置: bin/kafka-topics.sh –topic test1349 –describe R...

2年前 (2019-03-24) 20℃

docker

docker 的常用参数和解析

docker 的常用参数和解析 2018年07月11日 01:36:54 yy61658720 阅读数:1408 Docker的应用场景 1.简化配置,同一Docker的配置可以在不同 环境中使用,降低了硬件要求和应用环境之间的耦合度. 2.代码的流水线管理.代码从开发者的假期到...

2年前 (2019-03-24) 24℃

kafka

Kafka系列(二)特性和常用命令

Kafka系列(二)特性和常用命令 Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有),备份的个数可以通过broker配置文件来设定(replic...

2年前 (2019-03-24) 18℃