分类：大数据

docker快速部署kafaka集群-Deploy a multi-node, multi-server Kafka Cluster with Docker

What is Kafka? Essentially: Kafka is an open-source, very scalable, distributed messaging platform by Apache. It is designed to handle larg...

2周前 (09-08) 3℃ 0评论

logstash中文文档以及input,filter,output解析

发现一个很好很好的中文文档传送门致敬作者致敬大佬 input{ file{ #注意文件路径名需要绝对路径 path => "E:/nginx/logs/error.log" #如果想要监听多个...

3周前 (09-01) 2℃

Elasticsearch修改字段类型

1.设置索引t2为想要的数据类型 2.将t1 reindex到t2 3.数据reindex完成删除t1 4.设置索引t1为想要的数据类型 5.将t2 reindex到t1 PUT t1 { "settings": { "index": { "...

3周前 (09-01) 2℃

elasticsearch 修改mapping映射字段

首先，elasticsearch 并不支持修改mapping映射字段，无法直接修改，所以需要曲线救国。步骤一：新建一个索引，字段和原字段一致，只修改需要的字段。步骤二：把原数据给复制到新索引中。小规模数据可以直接用es内置的代码 POST _reindex { "...

3周前 (09-01) 1℃

es更改字段类型

我用的工具是kibana，所以用kibana来说吧；es不能直接更改字段类型的，（如有错误，欢迎指正）；所以，我一般是新建一张表，字段类型换乘想要修改的字段类型，把原表的数据传输到新表。然后删除原表，进行重建。是由点麻烦啊。。。。。用kibana举个例子； PUT...

3周前 (09-01) 1℃

zabbix3.4 监控网卡流量设置差量

自定义监控项的时候看里面预设的监控网卡下载流量的key是 net.if.in[if,<mode>] 这次可以监控流量了但是添加监控项的时候看网上别人的都是可以设置数值是每秒的差量出来的才是实时网速之前版本是这么设置的 3.4版本的z...

1个月前 (08-17) 1℃

hive函数必背大全

hive必背函数版权文章目录数字函数： round floor ceil rand exp pow sqrt abs pmod negative sign greatest least 集合函数 size map_keys map_values array_contains...

2个月前 (07-14) 2℃

优雅的使用Kafka Consumer

如何消费数据我们已经知道了如何发送数据到Kafka,既然有数据发送,那么肯定就有数据消费,消费者也是Kafka整个体系中不可缺少的一环 public class KafkaConsumerDemo { public static void main(String[] args)...

3个月前 (06-16) 7℃

kafka consumer配置详解

1、Consumer Group 与 topic 订阅每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Gro...

3个月前 (06-16) 3℃

Java kafka消息的发送与接收

　　在上节《kafka在windows上的安装、运行》中我们已在Windows上kafka环境搭建起来了，下面我们继续看我们用java如何调kafka发送和接收消息。一.项目工程结构二.详细代码 KafkaUtils.java package com....

3个月前 (06-16) 4℃

【Kafka】Producer配置

名称描述类型默认值 bootstrap.servers kafka集群地址，ip+端口，以逗号隔开。不管这边配置的是什么服务器，客户端会使用所有的服务器。配置的列表只会影响初始发现所有主机。配置的格式应该是:ip:port,ip:port，因为配置的内容只是用...

3个月前 (06-16) 9℃

kafka认证和acl

kafka附带一个可插拔的ACL（Access Control List 访问控制列表），它使用zookeeper来存储。通过在server.properties中设置authorizer.class.name来启用： authorizer.class.name=kafka....

3个月前 (06-16) 3℃

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper

前者是老版本的用法，0.8以前的kafka，消费的进度(offset)是写在zk中的，所以consumer需要知道zk的地址。后来的版本都统一由broker管理，所以就用bootstrap-server了。bootstrap-server还可以自动发现其它的broker。 1.b...

3个月前 (06-16) 2℃

Splunk安装教程（以4.3.4版本为例）

Splunk 分索引器和转发器。类似Server和client的概念。转发器将本地应用日志生成索引发往服务端。日志统一在服务器侧查看。 Splunk索引器（Server）设置接受splunk forwarder发送来的数据. 下载splunk软件包，并解压，直接启动即可。 t...

3个月前 (06-13) 4℃

美团spark面试题

文章目录 1、Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么问题发生? 2、driver的功能是什么？ 3、Spark中Work的主要工作是什么？ 4、Spark为什么比mapreduce快？ 5、Mapreduce和Spark的都是并...

3个月前 (06-10) 10℃

php正则解析nginx的access log,下面的是小批量的, 大批量就用gif+elk

php正则解析nginx的access log: 对于nginx的日志分析，awstats + jawstats 是一个很好的解决方案最近有个任务需要对接口的调用做二次分析统计，于是用php写了个正则解析日志，用Highcharts报表, nginx.conf 对log的默认...

4个月前 (05-17) 12℃

kibana操作

一、查询和查看。 #1.查询所有的数据 GET _search { “query”: { “match_all”:{} } } #2. 查看ES集群的健康状态 GET _cat/health # 查看详细信息 GET _cat/he...

4个月前 (05-14) 5℃

SparkSQL读取HBase数据

关键字： Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）. 本...

4个月前 (05-08) 5℃

SparkSQL读取HBase数据，通过自定义外部数据源

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource)，这样就可以通过API接口来实现自己的外部数据源。这里...

4个月前 (05-08) 4℃

Docker Storm开发环境搭建

Pasenger 发布于 2017/11/05 19:25 1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper ...

4个月前 (05-08) 4℃

阿里云Docker集群轻松部署Apache Storm(推荐)

Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署，The Joy Of Deploying Apache Storm On Doc...

4个月前 (05-08) 4℃

docker快速部署storm集群

Storm的部署虽然不是特别麻烦，但是在生产环境中，为了提高部署效率，方便管理维护，使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目，一个配置好了storm与mono环境的Docker镜像编排：storm-mono-docker。这个项目得益于http...

4个月前 (05-08) 7℃

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维，以及架构理念，比如Storm，Hive，Spark，ZooKeeper，HBase，Elasticsearch，等等 storm，在做热数据这块，如果要做复杂的热数据的统计和分析，亿流量，高并发的场景下，最合适的技术就是storm，没有...

4个月前 (05-07) 7℃

kafka-stack-docker-compose, Docker 编写文件以创建完全工作的Kafka 堆栈

docker compose files to create a fully working kafka stack 源代码名称:kafka-stack-docker-compose 源代码网址:http://www.github.com/simplesteph/kaf...

6个月前 (03-27) 4℃

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群前言网上有很多介绍zookeeper和kafka的集群搭建方法，同时官网中也有相应的zookeeper和kafka的镜像，但是试了很多zookeeper和kafka分开...

6个月前 (03-27) 4℃

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器，在配置文件中，所有的容器通过service来定义，使用docker-compose启动，停止...

6个月前 (03-27) 5℃

一键安装kafka，hadoop和spark集群

在项目中，需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了，真的要吐了，所以决心写一个部署脚本，避免重复劳动。 1. 下载脚本和安装包（1）安装脚本的码云链接（2）安装包的百度云盘链接文件提...

6个月前 (03-27) 5℃

ClickHouse系列教程四：允许远程连接 allow remote access

ClickHouse系列教程四：允许远程连接 allow remote access 原创zhangpeterx 发布于2019-07-08 14:23:06 阅读数 894 收藏展开 ClickHouse系列教程: ClickHouse系列教程先查...

9个月前 (12-11) 30℃

ClickHouse 系列教程五：多种连接方法

ClickHouse 系列教程五：多种连接方法原创zhangpeterx 发布于2019-07-08 14:56:19 阅读数 1144 收藏展开文章目录 clickhouse-client HTTP 接口 JDBC Python接口 ...

9个月前 (12-11) 32℃

Clickhouse 入门教程（二）—— Java 连接示例

Clickhouse 入门教程（二）—— Java 连接示例原创magicpenta 发布于2019-04-25 14:30:57 阅读数 2087 收藏展开文章目录一、JDBC 驱动二、代码示例 2.1 create table 2.2 ...

9个月前 (12-11) 23℃