分类：kafka

Kafka+Storm+Elasticsearch整合实时数据分析实践

7年前 (2019-05-03) 26℃

nginx安装ngx_kafka_module插件直接对接kafka集群

安装环境： centos 6.5 64位所需软件版本： jdk1.8.0_171 nginx-1.12.2.tar.gz kafka_2.11-0.10.2.1.tgz zookeeper-3.4.5.tar.gz scala-2.11....

7年前 (2019-05-03) 56℃

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

7年前 (2019-05-03) 36℃

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多个人分类：服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

7年前 (2019-05-03) 28℃

Kafka学习笔记（二）：Partition分发策略

Kafka学习笔记（二）：Partition分发策略 kafka版本0.8.2.1 Java客户端版本0.9.0.0 为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partit...

7年前 (2019-04-28) 38℃

Kafka学习笔记（一）：概念介绍

Kafka学习笔记（一）：概念介绍 Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路...

7年前 (2019-04-28) 27℃

kafka在zookeeper上的节点信息和查看方式

kafka在zookeeper上的节点信息和查看方式 2018年06月03日 00:37:31 MakeGreatEffort 阅读数：4042 kafka在Zookeeper上的节点如下图：该图片盗自大牛的博客http://blog.csdn.net...

7年前 (2019-04-28) 22℃

kafka manager使用教程

kafka manager使用教程 2017年05月04日 10:39:39 LzwGlory 阅读数：23475 1. 前言市面上主流的kafka监控工具有： Kafka Web Conslole Kafka Manager KafkaOffsetM...

7年前 (2019-04-27) 30℃

zookeeper集群和kafka集群及nginx-kafka整合搭建

7年前 (2019-04-25) 26℃

centos7搭建EFK日志分析系统

centos7搭建EFK日志分析系统 96 Raye 0.2 2018.09.17 09:35 字数 1901 阅读 3658评论 0喜欢 15 前言 EFK可能都不熟悉，实际上EFK是大名鼎鼎的日志系统ELK的一个变种在没有分布式日志的时候，每次出问题了需要查询日志的时候...

7年前 (2019-04-03) 25℃

大数据实战之Logstash采集->Kafka->ElasticSearch检索

7年前 (2019-03-28) 31℃

简单搭建kafka + zookeeper，附简单Java生产和消费客户端

简单搭建kafka + zookeeper，附简单Java生产和消费客户端 https://blog.csdn.net/adam_ling/article/details/56284448 2017年02月21日 15:28:12 TraitorousAdam 阅读数：7331 ...

7年前 (2019-03-26) 26℃

kafka常用运维命令

kafka常用运维命令 2015年11月03日 16:06:54 huanggang028 阅读数：14119更多个人分类： kafka 列出所有topic： bin/kafka-topics.sh –zookeeper localhost:2181 ̵...

7年前 (2019-03-26) 29℃

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 查看某个topic各个分区的位置： bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181 ...

7年前 (2019-03-26) 21℃

java写kafka的生产者与消费者代码

java写kafka的生产者与消费者代码 2017年08月15日 18:37:22 nannan1232 阅读数：2360 1、环境说明： OS:redhat6.5 ,cloudera-mamager5.7 ，zookeeper-3.4.5 ,kafka-0.9.0 2、kaf...

7年前 (2019-03-26) 25℃

Kafka java api-生产者代码、高性能吞吐

Kafka java api-生产者代码、高性能吞吐前面做过命令行让生产者发送消息，现在使用java api来进行消息的生产，以及解释kafka高性能是如何实现（来源于学习资料）。使用shell创建topic和发送消息如下： #参数：zookeeper连接地址和端口号，副本数...

7年前 (2019-03-26) 30℃

kafka监控topic消费

kafka监控topic消费 2018年01月11日 17:52:33 老蔡Code 阅读数：3565 一、KafkaOffsetMonitor监控安装 1.wget https://github.com/quantifind/KafkaOffsetMonitor/releas...

7年前 (2019-03-26) 23℃

kafka落地端技术

flume rsyslog spark flink logstash filebeat python client php client java client Go client C/C++ client Lua client Storm/JStorm others 转载请注明...

7年前 (2019-03-25) 24℃

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 1. 查看某个topic各个分区的位置： bin/kafka-topics.sh –topic test1349 –describe R...

7年前 (2019-03-24) 24℃

docker-compose部署zk集群、kafka集群以及kafka-manager，及其遇到的问题和解决

docker-compose部署zk集群、kafka集群以及kafka-manager，及其遇到的问题和解决 zk集群docker-compose.yml 1、新建网络 docker network create –driver bridge –subne...

7年前 (2019-03-24) 44℃

Kafka 集群搭建 for mac

7年前 (2019-03-24) 25℃

Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager

Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager Laravel / 4个月前 / 1143 / 0 / 更新于 4个月前 Kafka 搭建: 建立Zookeeper容器: 这里我们用最简单的方式创建一个独立的Z...

7年前 (2019-03-24) 39℃

docker-compose安装kafka集群和kafka-manager管理界面

7年前 (2019-03-24) 40℃

Docker每次启动容器，IP及hosts指定

7年前 (2019-03-24) 238℃

Kafka系列(二)特性和常用命令

Kafka系列(二)特性和常用命令 Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replic...

7年前 (2019-03-24) 22℃

Kafka的message存储数据结构

Kafka的message存储数据结构 Message存储： Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。每个Segment存储多个Message，Message的offset决定存储位...

7年前 (2019-03-24) 42℃

Kafka在zookeeper里面的存储结构详解

Kafka在zookeeper里面的存储结构详解 2018年09月03日 16:06:13 u010020099 阅读数：374 当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息。一、zookeeper存储结构总图 1.根...

7年前 (2019-03-24) 19℃

kafka manager的安装和使用

kafka系列二、kafka manager的安装和使用目录 1. Yahoo kafka manager介绍 2. 环境信息 4. 安装sbt0.13.9 5. 构建kafka manager包 1、下载项目包 2、解压、编译 3、安装 6、启动服务 7、编写服务启动脚本八...

7年前 (2019-03-24) 27℃

Kafka中Replicas复制备份机制

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指...

7年前 (2019-03-24) 23℃

Kafka系列(一)安装和配置说明

Kafka系列(一)安装和配置说明单机模式修改kafak安装文件中 …/kafka_2.9.2-0.8.1.1/config 下面的server.properties 配置文件 1、broker.id=0 [默认不用修改,该值在集群中需要唯一] 2、log.d...

7年前 (2019-03-24) 29℃