登录
微信搜索superit|邀请体验：大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者：赞助作者

 分类：kafka

Kafka+Storm+Elasticsearch整合实时数据分析实践

Kafka+Storm+Elasticsearch整合实时数据分析实践
Kafka+Storm+Elasticsearch整合实时数据分析实践 2018年09月04日 10:46:46 tanwei_ 阅读数：1113  版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u0129...

5年前 (2019-05-03) 26℃

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来

nginx+lua+strom+kafka实现热点数据实时展示,实时统计热点数据展示出来
假设最近一段时间内有10万个请求过来，其中1万次请求访问商品1，2万次请求访问商品2，3万次请求访问商品3，其他商品被访问次数均匀。请实时统计热点数据展示出来。 说下主要的解决步骤： 1.分发层nginx将所有的请求hash分发到对应的应用层nginx，防止第一次请求落到了应用层...

5年前 (2019-05-03) 36℃

nginx+lua+kafka实现日志统一收集汇总

nginx+lua+kafka实现日志统一收集汇总
nginx+lua+kafka实现日志统一收集汇总 2016年08月18日 12:18:50 freeCalluo 阅读数：14691更多 个人分类： 服务器运维 [转载]原文出处:http://hot66hot.iteye.com/blog/22919...

5年前 (2019-05-03) 28℃

Kafka学习笔记（二）：Partition分发策略

Kafka学习笔记（二）：Partition分发策略 kafka版本0.8.2.1 Java客户端版本0.9.0.0   为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partit...

5年前 (2019-04-28) 38℃

Kafka学习笔记（一）：概念介绍

Kafka学习笔记（一）：概念介绍 Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路...

5年前 (2019-04-28) 27℃

kafka在zookeeper上的节点信息和查看方式

kafka在zookeeper上的节点信息和查看方式 2018年06月03日 00:37:31 MakeGreatEffort 阅读数：4042 kafka在Zookeeper上的节点如下图： 该图片盗自大牛的博客http://blog.csdn.net...

5年前 (2019-04-28) 22℃

kafka manager使用教程

kafka manager使用教程 2017年05月04日 10:39:39 LzwGlory 阅读数：23475 1. 前言 市面上主流的kafka监控工具有： Kafka Web Conslole Kafka Manager KafkaOffsetM...

5年前 (2019-04-27) 30℃

zookeeper集群和kafka集群及nginx-kafka整合搭建

zookeeper集群和kafka集群及nginx-kafka整合搭建 2018年09月01日 11:20:57 suveng 阅读数：5708更多 所属专栏： linux之路  版权声明：转载请附带本文链接;个人站点:https://suveng.gi...

5年前 (2019-04-25) 26℃

centos7搭建EFK日志分析系统

centos7搭建EFK日志分析系统 96 Raye 0.2 2018.09.17 09:35 字数 1901 阅读 3658评论 0喜欢 15 前言 EFK可能都不熟悉，实际上EFK是大名鼎鼎的日志系统ELK的一个变种 在没有分布式日志的时候，每次出问题了需要查询日志的时候...

5年前 (2019-04-03) 25℃

大数据实战之Logstash采集->Kafka->ElasticSearch检索

大数据实战之Logstash采集->Kafka->ElasticSearch检索 2018年06月22日 22:44:49 Supernova-X 阅读数：1584 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xin93/a...

5年前 (2019-03-28) 31℃

kafka常用运维命令

kafka常用运维命令 2015年11月03日 16:06:54 huanggang028 阅读数：14119更多 个人分类： kafka 列出所有topic： bin/kafka-topics.sh –zookeeper localhost:2181 ̵...

5年前 (2019-03-26) 29℃

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 查看某个topic各个分区的位置： bin/kafka-topics.sh --topic test1349 --describe --zookeeper ip:2181 ...

5年前 (2019-03-26) 21℃

java写kafka的生产者与消费者代码

java写kafka的生产者与消费者代码 2017年08月15日 18:37:22 nannan1232 阅读数：2360 1、环境说明： OS:redhat6.5 ,cloudera-mamager5.7 ，zookeeper-3.4.5 ,kafka-0.9.0 2、kaf...

5年前 (2019-03-26) 25℃

Kafka java api-生产者代码、高性能吞吐

Kafka java api-生产者代码、高性能吞吐
Kafka java api-生产者代码、高性能吞吐 前面做过命令行让生产者发送消息，现在使用java api来进行消息的生产，以及解释kafka高性能是如何实现（来源于学习资料）。 使用shell创建topic和发送消息如下： #参数：zookeeper连接地址和端口号，副本数...

5年前 (2019-03-26) 30℃

kafka监控topic消费

kafka监控topic消费 2018年01月11日 17:52:33 老蔡Code 阅读数：3565 一、KafkaOffsetMonitor监控 安装 1.wget https://github.com/quantifind/KafkaOffsetMonitor/releas...

5年前 (2019-03-26) 23℃

kafka落地端技术

flume rsyslog spark flink logstash filebeat python client php client java client Go client C/C++ client Lua client Storm/JStorm others 转载请注明...

5年前 (2019-03-25) 24℃

kafka一些基本操作

kafka一些基本操作 2016年05月31日 15:27:57 yilan1993 阅读数：1967 1. 查看某个topic各个分区的位置： bin/kafka-topics.sh –topic test1349 –describe R...

5年前 (2019-03-24) 24℃

Kafka 集群搭建 for mac

Kafka 集群搭建 for mac 2018年12月06日 20:35:25 oumuv 阅读数：102 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/oumuv/article/details/84862089 环境要求 ...

5年前 (2019-03-24) 25℃

docker-compose安装kafka集群和kafka-manager管理界面

docker-compose安装kafka集群和kafka-manager管理界面 2018年05月25日 10:04:17 TBC_博客 阅读数：4106 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_31908...

5年前 (2019-03-24) 40℃

Docker每次启动容器，IP及hosts指定

Docker每次启动容器，IP及hosts指定 2018年05月30日 12:41:40 淡淡的倔强 阅读数：20300 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012834750/article/details/805...

5年前 (2019-03-24) 149℃

Kafka系列(二)特性和常用命令

Kafka系列(二)特性和常用命令 Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replic...

5年前 (2019-03-24) 22℃

Kafka的message存储数据结构

Kafka的message存储数据结构   Message存储：     Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。     每个Segment存储多个Message，Message的offset决定存储位...

5年前 (2019-03-24) 42℃

Kafka在zookeeper里面的存储结构详解

Kafka在zookeeper里面的存储结构详解 2018年09月03日 16:06:13 u010020099 阅读数：374 当kafka启动的时候，就会向zookeeper里面注册一些信息，这些数据也称为Kafka的元数据信息。 一、zookeeper存储结构总图 1.根...

5年前 (2019-03-24) 19℃

kafka manager的安装和使用

kafka系列二、kafka manager的安装和使用 目录 1. Yahoo kafka manager介绍 2. 环境信息 4. 安装sbt0.13.9 5. 构建kafka manager包 1、下载项目包 2、解压、编译 3、安装 6、启动服务 7、编写服务启动脚本 八...

5年前 (2019-03-24) 27℃

Kafka中Replicas复制备份机制

Kafka中Replicas复制备份机制 kafka将每个partition数据复制到多个server上,任何一个partition有一个leader和多个follower(可以没有)，备份的个数可以通过broker配置文件来设定(replication-factor的参数配置指...

5年前 (2019-03-24) 23℃

Kafka系列(一)安装和配置说明

Kafka系列(一)安装和配置说明 单机模式 修改kafak安装文件中 …/kafka_2.9.2-0.8.1.1/config 下面的server.properties 配置文件 1、broker.id=0 [默认不用修改,该值在集群中需要唯一] 2、log.d...

5年前 (2019-03-24) 29℃