微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

最新发布 第5页

SuperIT专业IT技术社区之后端大数据与Devops

go

Golang开发新手常犯的50个错误

《50 Shades of Go: Traps, Gotchas, and Common Mistakes for New Golang Devs》 原文地址:http://devs.cloudimmunity.com/gotchas-and-common-mis...

3年前 (2020-12-29) 7℃

go

Golang build 填坑笔记

从一个bug说起 bug描述 在尝试用docker的alpine镜像运行从golang镜像中编译出来的可执行文件时出现如下的错误 standard_init_linux.go:211: exec user process caused "no such file...

3年前 (2020-12-29) 8℃

python

Python—在Django中使用Celery

Python—在Django中使用Celery
Python—在Django中使用Celery 一.Django中的请求   Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下:     http请求发起     经过中间件       http handling(reques...

3年前 (2020-12-29) 9℃

kafka

rsyslog 接入权限认证的Kafka集群

说明: kafka权限接入包含两种方式,了解具体接入可参考 本案例使用kafka的第二种使用方式,案例如下: Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStream...

3年前 (2020-12-29) 7℃

kafka

kafka单条日志超过1M解决方案

一、说明 kafka默认会丢弃超过单调日志超过1M的记录。如果单条日志超出1M(压缩后),客户端会报出如下错误。 错误日志 Icon java.util.concurrent.ExecutionException: org.apache.kafka.commo...

3年前 (2020-12-29) 9℃

日志采集

日志实时收集之FileBeat+Kafka

日志实时收集之FileBeat+Kafka
flume,logstash 都是基于jvm的,都比较耗资源,而filebeat是基于go的,把logstash的核心拿出来了,但是没有执行格式化,只是在端上采集,,,, 之前,我们的某一个业务用于实时日志收集处理的架构大概是这样的: http://rk700...

3年前 (2020-12-29) 5℃

kafka

kafka单独设置数据过期时间

kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据,如果遇到磁盘空间小,存放数据量大,可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup...

3年前 (2020-12-29) 7℃

日志采集

阿里Canal框架(数据同步中间件)初步实践-Java知音

阿里Canal框架(数据同步中间件)初步实践-Java知音
思维导图 本文章已收录到个人博客网站(我爱B站):me.lovebilibili.com 前言 我们都知道一个系统最重要的是数据,数据是保存在数据库里。但是很多时候不单止要保存在数据库中,还要同步保存到Elastic Search、HBase、Redis等等。 这时我注意...

3年前 (2020-12-29) 7℃

linux

cobbler全自动批量安装部署linux

cobbler全自动批量安装部署linux
Cobbler的设计方式: Cobbler的配置结构基于一组注册的对象。每个对象表示一个与另一个实体相关联的实体(该对象指向另一个对象,或者另一个对象指向该对象)。当一个对象指向另一个对象时,它就继承了被指向对象的数据,并可覆盖或添加更多特定信息。以下对象类型的定义 Dist...

3年前 (2020-12-29) 7℃

python

用Python操作HBase之HBase-Thrift

  玉米丛里吃过亏 2018-01-14 12:30:56 26252 收藏 18 分类专栏: python hbase 文章标签: hbase thrift hbase-thrift python 版权 安装Thrift 安装Thrift的具体操作,请点击链接 ht...

3年前 (2020-12-29) 11℃

linux

windows和linux7双系统的启动顺序问题

ubantu用 grub linux7用到grub2了 grub2-set-default 0 设置第一个顺序为启动项 grub2-editenv list   1. vim  /boot/grub2/grub.conf 手动调节menuentry项的顺序,比...

3年前 (2020-12-29) 7℃

hadoop

yarn编码获取application列表

1、 新建maven工程 https://blog.csdn.net/a794922102/article/details/86632625 https://blog.csdn.net/nma_123456/article/details/51692721 2、 编写代码 &nb...

3年前 (2020-10-28) 10℃

hive

hive JDBC 进度和日志查看

hive JDBC 进度和日志查看 @(hive)[JDBC|进度|日志] hive的JDBC提供了java连接hiveserver2查询的能力,但是hive JDBC有别于关系型数据库,一个查询语句可能要在十几分钟到几十分钟才会返回结果,而hive JDBC...

3年前 (2020-10-28) 10℃

未分类

基础概念hive vs spark vs hive on spark

基础概念hive vs spark vs hive on spark
hive hive与hadoop关系:hive是基于Hadoop的一个数据仓库工具,Hive是建立在 Hadoop 上的数据仓库基础构架。 通俗意义上的hive,就是hive on mr Step 1:UI(user interface) 调用 execu...

3年前 (2020-10-28) 8℃

hive

Hive设置连接用户名和密码

Hive设置连接用户名和密码
Hive设置连接用户名和密码,操作相关步骤如下: Hive-site.xml,缺省为NONE。此处改为CUSTOM https://blog.csdn.net/lr131425/article/details/72628001 <property> <n...

3年前 (2020-10-27) 10℃

架构

GitHub开源的10个超棒后台管理面板

作者: cheng 发布时间: 2019-09-29 浏览: 576 次编辑 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/m0_38106923/articl...

3年前 (2020-10-26) 7℃

hive

hive优化常用手段

hive优化常用手段 1、好的模型设计事半功倍 2、解决数据倾斜问题 3、减少 job 数 4、设置合理的 MapReduce 的 task 数,能有效提升性能。(比如,10w+级别的计算,用 160个 reduce,那是相当的浪费,1 个足够) 5、了解数据分布,自己动手解决数...

3年前 (2020-10-26) 7℃

sqoop

SQOOP 导出Hive数据到MySQL

SQOOP 导出Hive数据到MySQL
基本知识: Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4  的10. sqoop-export 内容摘要: 本文主要是对–update-mode参数的用法进...

3年前 (2020-10-26) 8℃

hive

Hive学习之路 (十二)Hive SQL练习之影评案例

目录 案例说明 数据下载 解析 1、正确建表,导入数据(三张表,三份数据),并验证是否正确 2、求被评分次数最多的10部电影,并给出评分次数(电影名,评分次数) 3、分别求男性,女性当中评分最高的10部电影(性别,电影名,影评分) 4、求movieid = 2116这部...

3年前 (2020-10-26) 8℃

spark

Spark项目实战

Spark项目之电商用户行为分析大数据平台之(十二)Spark上下文构建及模拟数据生成 摘要:一、模拟生成数据 1 package com.bw.test; 2 3 import java.util.ArrayList; 4 import java.util.Arrays; ...

3年前 (2020-10-26) 7℃

hive

Hive学习之路 (十二)Hive SQL练习之影评案例

Hive学习之路 (十二)Hive SQL练习之影评案例
Hive学习之路 (十二)Hive SQL练习之影评案例 讨论QQ:1586558083 目录 案例说明 数据下载 解析 1、正确建表,导入数据(三张表,三份数据),并验证是否正确 2、求被评分次数最多的10部电影,并给出评分次数(电影名,评分次数) 3、分别求男性...

3年前 (2020-10-26) 6℃

sqoop

SQOOP 导出-Hive和MySQL数据导入导出

SQOOP 导出-Hive和MySQL数据导入导出
基本知识: Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4  的10. sqoop-export   一、sqoop导出hive表到mysql中: 实现语句: ...

3年前 (2020-10-26) 7℃