微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

 分类:大数据

hive函数必背大全

hive必背函数 版权 文章目录 数字函数: round floor ceil rand exp pow sqrt abs pmod negative sign greatest least 集合函数 size map_keys map_values array_contains...

1个月前 (07-14) 2℃

优雅的使用Kafka Consumer

优雅的使用Kafka Consumer
如何消费数据 我们已经知道了如何发送数据到Kafka,既然有数据发送,那么肯定就有数据消费,消费者也是Kafka整个体系中不可缺少的一环 public class KafkaConsumerDemo { public static void main(String[] args)...

2个月前 (06-16) 7℃

kafka consumer配置详解

kafka consumer配置详解
1、Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中,逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Gro...

2个月前 (06-16) 3℃

Java kafka消息的发送与接收

Java kafka消息的发送与接收
  在上节《kafka在windows上的安装、运行》中我们已在Windows上kafka环境搭建起来了,下面我们继续看我们用java如何调kafka发送和接收消息。 一.项目工程结构   二.详细代码 KafkaUtils.java package com....

2个月前 (06-16) 4℃

【Kafka】Producer配置

名称 描述 类型 默认值 bootstrap.servers kafka集群地址,ip+端口,以逗号隔开。不管这边配置的是什么服务器,客户端会使用所有的服务器。配置的列表只会影响初始发现所有主机。配置的格式应该是:ip:port,ip:port,因为配置的内容只是用...

2个月前 (06-16) 9℃

kafka认证和acl

kafka附带一个可插拔的ACL(Access Control List 访问控制列表),它使用zookeeper来存储。通过在server.properties中设置authorizer.class.name来启用: authorizer.class.name=kafka....

2个月前 (06-16) 3℃

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper

Kafka系列之新旧版本区别和bootstrap-servers vs zookeeper
前者是老版本的用法,0.8以前的kafka,消费的进度(offset)是写在zk中的,所以consumer需要知道zk的地址。后来的版本都统一由broker管理,所以就用bootstrap-server了。bootstrap-server还可以自动发现其它的broker。 1.b...

2个月前 (06-16) 2℃

Splunk安装教程(以4.3.4版本为例)

Splunk 分索引器和转发器。类似Server和client的概念。 转发器将本地应用日志生成索引发往服务端。日志统一在服务器侧查看。 Splunk索引器(Server) 设置接受splunk forwarder发送来的数据. 下载splunk软件包,并解压,直接启动即可。 t...

2个月前 (06-13) 4℃

美团spark面试题

文章目录 1、Spark Application在没有获得足够的资源,job就开始执行了,可能会导致什么问题发生? 2、driver的功能是什么? 3、Spark中Work的主要工作是什么? 4、Spark为什么比mapreduce快? 5、Mapreduce和Spark的都是并...

2个月前 (06-10) 10℃

kibana操作

一、查询和查看。 #1.查询所有的数据 GET _search { “query”: { “match_all”:{} } } #2. 查看ES集群的健康状态 GET _cat/health # 查看详细信息 GET _cat/he...

3个月前 (05-14) 5℃

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

3个月前 (05-08) 5℃

SparkSQL读取HBase数据,通过自定义外部数据源

关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里...

3个月前 (05-08) 4℃

Docker Storm开发环境搭建 

Docker Storm开发环境搭建 
  Pasenger 发布于 2017/11/05 19:25 1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper ...

3个月前 (05-08) 4℃

阿里云Docker集群轻松部署Apache Storm(推荐)

阿里云Docker集群轻松部署Apache Storm(推荐)
Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署,The Joy Of Deploying Apache Storm On Doc...

3个月前 (05-08) 4℃

docker快速部署storm集群

Storm的部署虽然不是特别麻烦,但是在生产环境中,为了提高部署效率,方便管理维护,使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目,一个配置好了storm与mono环境的Docker镜像编排:storm-mono-docker。 这个项目得益于http...

3个月前 (05-08) 7℃

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有...

3个月前 (05-07) 7℃

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群 前言 网上有很多介绍zookeeper和kafka的集群搭建方法,同时官网中也有相应的zookeeper和kafka的镜像,但是试了很多zookeeper和kafka分开...

5个月前 (03-27) 4℃

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群 简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器,在配置文件中,所有的容器通过service来定义,使用docker-compose启动,停止...

5个月前 (03-27) 5℃

一键安装kafka,hadoop和spark集群

在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。 1. 下载脚本和安装包 (1)安装脚本的码云链接 (2)安装包的百度云盘链接 文件提...

5个月前 (03-27) 5℃

ClickHouse 系列教程五:多种连接方法

ClickHouse 系列教程五:多种连接方法
ClickHouse 系列教程五:多种连接方法 原创zhangpeterx 发布于2019-07-08 14:56:19 阅读数 1144  收藏 展开 文章目录 clickhouse-client HTTP 接口 JDBC Python接口 ...

8个月前 (12-11) 32℃

Clickhouse 入门教程(二)—— Java 连接示例

Clickhouse 入门教程(二)—— Java 连接示例 原创magicpenta 发布于2019-04-25 14:30:57 阅读数 2087  收藏 展开 文章目录 一、JDBC 驱动 二、代码示例 2.1 create table 2.2 ...

8个月前 (12-11) 23℃

ClickHouse 数据导出导入

1、导出 远程导出命令,默认分割符是tab: echo ‘select * from table_name’ | curl ip:8123?database=mybi -uroot:password -d @- > table_name.sql 2、...

1年前 (2019-08-15) 52℃

实战Kafka ACL机制

1.概述 在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker...

1年前 (2019-06-28) 37℃

Kafka彻底删除topic

Kafka删除topic 2016年08月21日 18:22:41 桃花惜春风 阅读数 9276  版权声明:本博客所有文章均为原创,如有转载,请注明原文地址,谢谢!—-桃花惜春风 https://blog.csdn.net/xiaoyu_BD/...

1年前 (2019-06-14) 26℃

删除kafka的consumer和topics

删除kafka的consumer和topics 作者: admin 时间: 2017-05-31 分类: 数据库,工具,数据 谨慎操作 kafka 版本 0.10 删除 consumers 原因: 重置 offset, 或者是强迫症想清空不用的 consumer 操作: #...

1年前 (2019-06-14) 31℃

Apache Kafka 入门 – Kafka命令详细介绍

Apache Kafka 入门 – Kafka命令详细介绍 2017年06月25日 18:17:16 isea533 阅读数 22333  版权声明:版权归博主所有,转载请带上本文链接!联系方式:abel533@gmail.com https:/...

1年前 (2019-06-14) 31℃

kafka命令(2.12版本)

kafka命令(2.12版本) 博客分类: kafka 创建主题: ./kafka-topics.sh –zookeeper localhost:12181 –create –topic lfwer –partitio...

1年前 (2019-06-14) 26℃