微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

最新发布 第2页

SuperIT专业IT技术社区之后端大数据与Devops

日志采集

阿里Canal框架(数据同步中间件)初步实践-Java知音

阿里Canal框架(数据同步中间件)初步实践-Java知音
思维导图 本文章已收录到个人博客网站(我爱B站):me.lovebilibili.com 前言 我们都知道一个系统最重要的是数据,数据是保存在数据库里。但是很多时候不单止要保存在数据库中,还要同步保存到Elastic Search、HBase、Redis等等。 这时我注意...

3个月前 (12-29) 2℃

linux

cobbler全自动批量安装部署linux

cobbler全自动批量安装部署linux
Cobbler的设计方式: Cobbler的配置结构基于一组注册的对象。每个对象表示一个与另一个实体相关联的实体(该对象指向另一个对象,或者另一个对象指向该对象)。当一个对象指向另一个对象时,它就继承了被指向对象的数据,并可覆盖或添加更多特定信息。以下对象类型的定义 Dist...

3个月前 (12-29) 3℃

python

用Python操作HBase之HBase-Thrift

  玉米丛里吃过亏 2018-01-14 12:30:56 26252 收藏 18 分类专栏: python hbase 文章标签: hbase thrift hbase-thrift python 版权 安装Thrift 安装Thrift的具体操作,请点击链接 ht...

3个月前 (12-29) 3℃

linux

windows和linux7双系统的启动顺序问题

ubantu用 grub linux7用到grub2了 grub2-set-default 0 设置第一个顺序为启动项 grub2-editenv list   1. vim  /boot/grub2/grub.conf 手动调节menuentry项的顺序,比...

3个月前 (12-29) 3℃

hadoop

yarn编码获取application列表

1、 新建maven工程 https://blog.csdn.net/a794922102/article/details/86632625 https://blog.csdn.net/nma_123456/article/details/51692721 2、 编写代码 &nb...

5个月前 (10-28) 4℃

hive

hive JDBC 进度和日志查看

hive JDBC 进度和日志查看 @(hive)[JDBC|进度|日志] hive的JDBC提供了java连接hiveserver2查询的能力,但是hive JDBC有别于关系型数据库,一个查询语句可能要在十几分钟到几十分钟才会返回结果,而hive JDBC...

5个月前 (10-28) 4℃

未分类

基础概念hive vs spark vs hive on spark

基础概念hive vs spark vs hive on spark
hive hive与hadoop关系:hive是基于Hadoop的一个数据仓库工具,Hive是建立在 Hadoop 上的数据仓库基础构架。 通俗意义上的hive,就是hive on mr Step 1:UI(user interface) 调用 execu...

5个月前 (10-28) 3℃

hive

Hive设置连接用户名和密码

Hive设置连接用户名和密码
Hive设置连接用户名和密码,操作相关步骤如下: Hive-site.xml,缺省为NONE。此处改为CUSTOM https://blog.csdn.net/lr131425/article/details/72628001 <property> <n...

5个月前 (10-27) 3℃

架构

GitHub开源的10个超棒后台管理面板

作者: cheng 发布时间: 2019-09-29 浏览: 576 次编辑 版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/m0_38106923/articl...

5个月前 (10-26) 3℃

hive

hive优化常用手段

hive优化常用手段 1、好的模型设计事半功倍 2、解决数据倾斜问题 3、减少 job 数 4、设置合理的 MapReduce 的 task 数,能有效提升性能。(比如,10w+级别的计算,用 160个 reduce,那是相当的浪费,1 个足够) 5、了解数据分布,自己动手解决数...

5个月前 (10-26) 3℃

sqoop

SQOOP 导出Hive数据到MySQL

SQOOP 导出Hive数据到MySQL
基本知识: Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4  的10. sqoop-export 内容摘要: 本文主要是对–update-mode参数的用法进...

5个月前 (10-26) 3℃

hive

Hive学习之路 (十二)Hive SQL练习之影评案例

目录 案例说明 数据下载 解析 1、正确建表,导入数据(三张表,三份数据),并验证是否正确 2、求被评分次数最多的10部电影,并给出评分次数(电影名,评分次数) 3、分别求男性,女性当中评分最高的10部电影(性别,电影名,影评分) 4、求movieid = 2116这部...

5个月前 (10-26) 3℃

spark

Spark项目实战

Spark项目之电商用户行为分析大数据平台之(十二)Spark上下文构建及模拟数据生成 摘要:一、模拟生成数据 1 package com.bw.test; 2 3 import java.util.ArrayList; 4 import java.util.Arrays; ...

5个月前 (10-26) 3℃

hive

Hive学习之路 (十二)Hive SQL练习之影评案例

Hive学习之路 (十二)Hive SQL练习之影评案例
Hive学习之路 (十二)Hive SQL练习之影评案例 讨论QQ:1586558083 目录 案例说明 数据下载 解析 1、正确建表,导入数据(三张表,三份数据),并验证是否正确 2、求被评分次数最多的10部电影,并给出评分次数(电影名,评分次数) 3、分别求男性...

5个月前 (10-26) 2℃

sqoop

SQOOP 导出-Hive和MySQL数据导入导出

SQOOP 导出-Hive和MySQL数据导入导出
基本知识: Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4  的10. sqoop-export   一、sqoop导出hive表到mysql中: 实现语句: ...

5个月前 (10-26) 2℃

sqoop

Sqoop学习之路 (一)

Sqoop学习之路 (一)
Sqoop学习之路 (一) 讨论QQ:1586558083 目录 一、概述 二、工作机制 三、安装 1、前提概述 2、软件下载 3、安装步骤 四、Sqoop的基本命令 基本操作 示例 五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

5个月前 (10-26) 2℃

sqoop

Sqoop 之 数据迁移

Sqoop 之 数据迁移
文章目录 1.RDBMS到HDFS 1.1全部导入 1.2导入指定列 –columns 1.3导入指定行–where 1.4查询导入 1.5增量导入数据 1.6导入文件格式 2.RDBMS到Hive 3.RDBMS到Hbase 4.HIVE/H...

5个月前 (10-26) 1℃

linux

命令行时区选择

tzselect: 执行tzselect命令–>选择Asia–>选择China–>选择east China – Beijing, Guangdong, Shanghai, etc–>然后输入1 转...

6个月前 (10-22) 3℃

python

Python多进程-进程间数据的传递

Python多进程-进程间数据的传递
两个进程间的数据是独立的,要进行数据传递的话可通过几个方法 Queue 通过队列来进行进程间数据的传递 1 2 3 4 5 6 7 8 9 10 11 12 13 14 # -*- coding:utf-8 -*- __author__ = "MuT6...

6个月前 (10-21) 3℃

hadoop

安装CDH&CM

(推荐)https://www.xiaokunli.com/2019/03/25/CM-CDH6.1.0%E5%AE%89%E8%A3%85%E8%BF%87%E7%A8%8B%E8%AF%A6%E8%A7%A3/ (推荐)https://blog.csdn.net/weixin...

6个月前 (10-13) 4℃

spark

运行Spark官方提供的例子

运行Spark官方提供的例子
去spark官网把spark下载下来: https://spark.apache.org/downloads.html   解压,可以看下目录: 其中examples目录下提供了java,scala,python,R语言的各种例子。点进src目录可以看到源代码,如:...

6个月前 (10-12) 2℃

架构

大型云计算平台的搭建以及解决方案(超详细)

大型云计算平台的搭建以及解决方案(超详细)
需求分析 能接入 500 台以上的云终端,可以满足大型公司内各类员工的办公需求。公司员工用各自的账号能在公司内部的任何云终端上登录自己的远程桌面,实现公司内部移动办公;同时,要求出差在外的员工也能安全访问远程桌面,公司安全管理部门能监控到外发的电子文档资料。对于一家大型公司来说,...

6个月前 (10-12) 2℃

架构

中型云计算平台的搭建以及解决方案(超详细)

中型云计算平台的搭建以及解决方案(超详细)
需求分析 能满足 100~500 个用户日常办公的需要,每个用户分配一个账号,从而使其能在任何一台云终端上登录云端桌面,实现公司内部的移动办公。应用场所包括大型的阅览室、培训教室、中型公司、大型门柜业务等。 系统设计 我们继续在前面双机方案的基础上做纵向和横向扩展:首先,在纵向上...

6个月前 (10-12) 2℃

架构

小型云计算平台的搭建以及解决方案(超详细)

小型云计算平台的搭建以及解决方案(超详细)
需求分析 满足 60 个以内的终端用户(使用场合为办公、教学、多媒体阅览、门柜业务、家庭等),允许适度的不可用,要求满足若干个员工(如财务人员、老板)的高安全性。我们设计了单机和双机两种方案,大家可以根据自己的实际情况选择。 单机方案结构简单、成本低,建设和运维容易,适合对可用性...

6个月前 (10-12) 1℃

漏洞修复

漏洞危害列表

高危 1. sql注入 有回显的sqli(and or union) 真假页面注入-无回显 延时注入 错误信息注入 cookie 注入 sql错误信息泄漏(中危) 2.系统命令执行 3.代码注入 php/jsp/asp 代码注入 4.XXE-XML实体注入 5.CRLF注入 6....

6个月前 (10-12) 1℃