标签：kafka

kafka-stack-docker-compose, Docker 编写文件以创建完全工作的Kafka 堆栈

docker compose files to create a fully working kafka stack 源代码名称:kafka-stack-docker-compose 源代码网址:http://www.github.com/simplesteph/kaf...

6个月前 (03-27) 4℃

kafka

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群前言网上有很多介绍zookeeper和kafka的集群搭建方法，同时官网中也有相应的zookeeper和kafka的镜像，但是试了很多zookeeper和kafka分开...

6个月前 (03-27) 4℃

kafka

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器，在配置文件中，所有的容器通过service来定义，使用docker-compose启动，停止...

6个月前 (03-27) 5℃

hadoop

一键安装kafka，hadoop和spark集群

在项目中，需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了，真的要吐了，所以决心写一个部署脚本，避免重复劳动。 1. 下载脚本和安装包（1）安装脚本的码云链接（2）安装包的百度云盘链接文件提...

6个月前 (03-27) 5℃

java

kafka在生产过程中的使用,新手教程(二)

acks=0：如果设置为0，生产者不会等待kafka的响应。 acks=1：这个配置意味着kafka会把这条消息写到本地日志文件中，但是不会等待集群中其他机器的成功响应。 acks=all：这个配置意味着leader会等待所有的follower同步完成...

7个月前 (02-22) 25℃

java

kafka在消费过程中的使用,新手教程(一)

当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据没什么好说的,直接上代码: import java.util.Arrays; import java.util.Properti...

7个月前 (02-20) 24℃

python

python操作kafka实践

1、先看最简单的场景，生产者生产消息，消费者接收消息，下面是生产者的简单代码。 -------------------------------------------------------------------------------- #!/usr/bin/env ...

1年前 (2019-06-14) 30℃

devops

大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark, flink等安装与配置

大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置） 2019年01月02日 13:10:12 原来浙小商啊阅读数：855 https://blog.csdn.net/pig2guang/ar...

1年前 (2019-04-15) 66℃

elasticsearch

大数据实战之Logstash采集->Kafka->ElasticSearch检索

2年前 (2019-03-28) 26℃

elasticsearch

零门槛！使用Docker快速部署ES集群

零门槛！使用Docker快速部署ES集群张戈原文链接发表于张戈的专栏订阅 2K 在这篇文章中：一、整体架构本文涉及的 IP 的角色属性清单：二、Docker 资源 1、Docker 私有仓库搭建（针对内网环境） 2、所有服务器节点都安装要 docker，并开启私有仓库...

2年前 (2019-03-27) 20℃

kafka

简单搭建kafka + zookeeper，附简单Java生产和消费客户端

简单搭建kafka + zookeeper，附简单Java生产和消费客户端 https://blog.csdn.net/adam_ling/article/details/56284448 2017年02月21日 15:28:12 TraitorousAdam 阅读数：7331 ...

2年前 (2019-03-26) 22℃

kafka

kafka常用运维命令

kafka常用运维命令 2015年11月03日 16:06:54 huanggang028 阅读数：14119更多个人分类： kafka 列出所有topic： bin/kafka-topics.sh –zookeeper localhost:2181 ̵...

2年前 (2019-03-26) 22℃

kafka

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 查看某个topic各个分区的位置： bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181 ...

2年前 (2019-03-26) 17℃

java

Kafka 生产者和消费者的笔记

2年前 (2019-03-26) 24℃

java

Kafka java实例代码

Kafka java实例代码 2017年08月14日 15:15:30 _kairui 阅读数：5892 工程准备 1、首先搭建Kafka集群环境，这里我们kafka的集群环境已经搭建好的，详情参考： http://blog.csdn.net/liulihui1988/artic...

2年前 (2019-03-26) 21℃

java

关于Kafka 的 consumer 消费者手动提交详解

关于Kafka 的 consumer 消费者手动提交详解前言在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。应用场景在上一篇kafka的consumer...

2年前 (2019-03-26) 32℃

java

Java实现Kafka的生产者、消费者

Java实现Kafka的生产者、消费者一、生产者 import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; ...

2年前 (2019-03-26) 24℃

kafka

Kafka java api-生产者代码、高性能吞吐

Kafka java api-生产者代码、高性能吞吐前面做过命令行让生产者发送消息，现在使用java api来进行消息的生产，以及解释kafka高性能是如何实现（来源于学习资料）。使用shell创建topic和发送消息如下： #参数：zookeeper连接地址和端口号，副本数...

2年前 (2019-03-26) 25℃

kafka

kafka监控topic消费

kafka监控topic消费 2018年01月11日 17:52:33 老蔡Code 阅读数：3565 一、KafkaOffsetMonitor监控安装 1.wget https://github.com/quantifind/KafkaOffsetMonitor/releas...

2年前 (2019-03-26) 20℃

未分类

#kafka shell脚本用法详解

2年前 (2019-03-25) 22℃

kafka

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 1. 查看某个topic各个分区的位置： bin/kafka-topics.sh –topic test1349 –describe R...

2年前 (2019-03-24) 20℃

docker

docker-compose部署zk集群、kafka集群以及kafka-manager，及其遇到的问题和解决

docker-compose部署zk集群、kafka集群以及kafka-manager，及其遇到的问题和解决 zk集群docker-compose.yml 1、新建网络 docker network create –driver bridge –subne...

2年前 (2019-03-24) 41℃

docker

docker 的常用参数和解析

docker 的常用参数和解析 2018年07月11日 01:36:54 yy61658720 阅读数：1408 Docker的应用场景 1.简化配置,同一Docker的配置可以在不同环境中使用,降低了硬件要求和应用环境之间的耦合度. 2.代码的流水线管理.代码从开发者的假期到...

2年前 (2019-03-24) 24℃

docker

docker-compose安装kafka集群和kafka-manager管理界面

2年前 (2019-03-24) 37℃

kafka

Kafka系列(二)特性和常用命令

Kafka系列(二)特性和常用命令 Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replic...

2年前 (2019-03-24) 18℃

kafka

Kafka的message存储数据结构

Kafka的message存储数据结构 Message存储： Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。每个Segment存储多个Message，Message的offset决定存储位...

2年前 (2019-03-24) 39℃

kafka

Kafka在zookeeper里面的存储结构详解

Kafka在zookeeper里面的存储结构详解 2018年09月03日 16:06:13 u010020099 阅读数：374 当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息。一、zookeeper存储结构总图 1.根...

2年前 (2019-03-24) 16℃

kafka

kafka manager的安装和使用

kafka系列二、kafka manager的安装和使用目录 1. Yahoo kafka manager介绍 2. 环境信息 4. 安装sbt0.13.9 5. 构建kafka manager包 1、下载项目包 2、解压、编译 3、安装 6、启动服务 7、编写服务启动脚本八...

2年前 (2019-03-24) 19℃

kafka

Kafka中Replicas复制备份机制

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指...

2年前 (2019-03-24) 20℃

kafka

Kafka系列(一)安装和配置说明

Kafka系列(一)安装和配置说明单机模式修改kafak安装文件中 …/kafka_2.9.2-0.8.1.1/config 下面的server.properties 配置文件 1、broker.id=0 [默认不用修改,该值在集群中需要唯一] 2、log.d...

2年前 (2019-03-24) 26℃