SuperIT 专业IT技术社区之后端大数据与Devops

kafka 设置消费group为最新offset

import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.kafka.tools.OffsetManager import java.{uti...

3年前 (2020-12-29) 7℃

rsyslog 接入权限认证的Kafka集群

说明： kafka权限接入包含两种方式，了解具体接入可参考本案例使用kafka的第二种使用方式，案例如下： Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStream...

3年前 (2020-12-29) 7℃

kafka单条日志超过1M解决方案

一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M（压缩后），客户端会报出如下错误。错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.commo...

3年前 (2020-12-29) 9℃

(强烈推荐)log+filebeat+kafka+logstash+es配置, filebeat连不上kafka原因解析!!!

# 通常架构 # filebeat=>kafka=>logstash=>elasticsearch=>kibana 1.filebeat的配置: # filebeat/config/filebeat.yml: ...

3年前 (2020-12-29) 6℃

logstash的各个场景应用（配置文件均已实践过）

场景： 1） datasource->logstash->elasticsearch->kibana 2） datasource->filebeat->logstash-> elasticsearch->kibana...

3年前 (2020-12-29) 5℃

日志采集

日志实时收集之FileBeat+Kafka

flume,logstash 都是基于jvm的,都比较耗资源,而filebeat是基于go的,把logstash的核心拿出来了,但是没有执行格式化,只是在端上采集,,,, 之前，我们的某一个业务用于实时日志收集处理的架构大概是这样的： http://rk700...

3年前 (2020-12-29) 5℃

kafka系列：设置日志数据保存过期时间（含某个topic）、日志策略

目录全局设置（h）某个Topic设置（ms）立刻删除（now）日志策略分段策略属性日志刷新策略日志保存清理策略参考全局设置（h） server.properties log.retention.hours=72 log...

3年前 (2020-12-29) 6℃

kafka单独设置数据过期时间

kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。全局设置修改 server.properties log.retention.hours=72 log.cleanup...

3年前 (2020-12-29) 7℃

日志采集

阿里Canal框架（数据同步中间件）初步实践-Java知音

思维导图本文章已收录到个人博客网站(我爱B站)：me.lovebilibili.com 前言我们都知道一个系统最重要的是数据，数据是保存在数据库里。但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Redis等等。这时我注意...

3年前 (2020-12-29) 7℃

linux

cobbler全自动批量安装部署linux

Cobbler的设计方式： Cobbler的配置结构基于一组注册的对象。每个对象表示一个与另一个实体相关联的实体（该对象指向另一个对象，或者另一个对象指向该对象）。当一个对象指向另一个对象时，它就继承了被指向对象的数据，并可覆盖或添加更多特定信息。以下对象类型的定义 Dist...

3年前 (2020-12-29) 7℃

python

用Python操作HBase之HBase-Thrift

玉米丛里吃过亏 2018-01-14 12:30:56 26252 收藏 18 分类专栏： python hbase 文章标签： hbase thrift hbase-thrift python 版权安装Thrift 安装Thrift的具体操作，请点击链接 ht...

3年前 (2020-12-29) 11℃

linux

windows和linux7双系统的启动顺序问题

ubantu用 grub linux7用到grub2了 grub2-set-default 0 设置第一个顺序为启动项 grub2-editenv list 1. vim /boot/grub2/grub.conf 手动调节menuentry项的顺序,比...

3年前 (2020-12-29) 7℃

hadoop

yarn编码获取application列表

1、新建maven工程 https://blog.csdn.net/a794922102/article/details/86632625 https://blog.csdn.net/nma_123456/article/details/51692721 2、编写代码 &nb...

3年前 (2020-10-28) 10℃

hive JDBC 进度和日志查看

hive JDBC 进度和日志查看 @(hive)[JDBC|进度|日志] hive的JDBC提供了java连接hiveserver2查询的能力，但是hive JDBC有别于关系型数据库，一个查询语句可能要在十几分钟到几十分钟才会返回结果，而hive JDBC...

3年前 (2020-10-28) 10℃

java

如何使用maven生成可以执行的jar? 不依赖任何外界包，maven如何生成可以执行的jar?

pom中不包含任何引用的情况下，只需要在pom中添加 maven-jar-plugin即可。解决过程新建项目，仅包含一个main函数类：Xixi.java，输出 Xixi Say: hello pom中配置为 <groupId>com.paxi</gro...

3年前 (2020-10-28) 8℃

hadoop

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表 2018-08-10阅读 2890 端口作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9...

3年前 (2020-10-28) 12℃

未分类

基础概念hive vs spark vs hive on spark

hive hive与hadoop关系：hive是基于Hadoop的一个数据仓库工具，Hive是建立在 Hadoop 上的数据仓库基础构架。通俗意义上的hive，就是hive on mr Step 1：UI(user interface) 调用 execu...

3年前 (2020-10-28) 8℃

Hive设置连接用户名和密码

Hive设置连接用户名和密码，操作相关步骤如下： Hive-site.xml,缺省为NONE。此处改为CUSTOM https://blog.csdn.net/lr131425/article/details/72628001 <property> <n...

3年前 (2020-10-27) 10℃

架构

GitHub开源的10个超棒后台管理面板

3年前 (2020-10-26) 7℃

Hive学习之路（十二）Hive SQL练习之影评案例

目录案例说明 https://www.cnblogs.com/qingyunzong/p/8727264.html 数据下载 https://files.cnblogs.com/files/qingyunzong/hive%E5%BD%B1%E8%AF%84%E6...

3年前 (2020-10-26) 12℃

hive优化常用手段

hive优化常用手段 1、好的模型设计事半功倍 2、解决数据倾斜问题 3、减少 job 数 4、设置合理的 MapReduce 的 task 数，能有效提升性能。(比如，10w+级别的计算，用 160个 reduce，那是相当的浪费，1 个足够) 5、了解数据分布，自己动手解决数...

3年前 (2020-10-26) 7℃

SQOOP 导出Hive数据到MySQL

基本知识： Sqoop导出的基本用法：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4 的10. sqoop-export 内容摘要：本文主要是对–update-mode参数的用法进...

3年前 (2020-10-26) 8℃

Hive学习之路（十二）Hive SQL练习之影评案例

目录案例说明数据下载解析 1、正确建表，导入数据（三张表，三份数据），并验证是否正确 2、求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数） 3、分别求男性，女性当中评分最高的10部电影（性别，电影名，影评分） 4、求movieid = 2116这部...

3年前 (2020-10-26) 8℃

spark

Spark项目实战

Spark项目之电商用户行为分析大数据平台之（十二）Spark上下文构建及模拟数据生成摘要：一、模拟生成数据 1 package com.bw.test; 2 3 import java.util.ArrayList; 4 import java.util.Arrays; ...

3年前 (2020-10-26) 7℃

Hive学习之路（十二）Hive SQL练习之影评案例

Hive学习之路（十二）Hive SQL练习之影评案例讨论QQ：1586558083 目录案例说明数据下载解析 1、正确建表，导入数据（三张表，三份数据），并验证是否正确 2、求被评分次数最多的10部电影，并给出评分次数（电影名，评分次数） 3、分别求男性...

3年前 (2020-10-26) 6℃

SQOOP 导出-Hive和MySQL数据导入导出

基本知识： Sqoop导出的基本用法：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4 的10. sqoop-export 一、sqoop导出hive表到mysql中: 实现语句： ...

3年前 (2020-10-26) 7℃

Sqoop学习之路（一）

Sqoop学习之路（一）讨论QQ：1586558083 目录一、概述二、工作机制三、安装 1、前提概述 2、软件下载 3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

3年前 (2020-10-26) 9℃