微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

 分类:hadoop

yarn编码获取application列表

1、 新建maven工程 https://blog.csdn.net/a794922102/article/details/86632625 https://blog.csdn.net/nma_123456/article/details/51692721 2、 编写代码 &nb...

3天前 2℃ 0评论

安装CDH&CM

(推荐)https://www.xiaokunli.com/2019/03/25/CM-CDH6.1.0%E5%AE%89%E8%A3%85%E8%BF%87%E7%A8%8B%E8%AF%A6%E8%A7%A3/ (推荐)https://blog.csdn.net/weixin...

3周前 (10-13) 4℃

一键安装kafka,hadoop和spark集群

在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。 1. 下载脚本和安装包 (1)安装脚本的码云链接 (2)安装包的百度云盘链接 文件提...

7个月前 (03-27) 5℃

Hadoop, HBase, Hive, ZooKeeper默认端口说明

Hadoop, HBase, Hive, ZooKeeper默认端口说明 组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 50075 dfs.da...

2年前 (2019-05-10) 22℃

HDFS基本文件常用命令

为了每次执行Hadoop的时候,不必须要前者加上hadoop的安装的绝对路径,要做的事情就是将其安装路径加入到PATH中,这样就可以直接执行hadoop命令。 如下: vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/h...

2年前 (2019-04-30) 18℃

Hadoop zookeeper高可用HA配置

Hadoop zookeeper高可用HA配置 2018年08月28日 13:21:30 iaMay_____ 阅读数:219 https://blog.csdn.net/iaMay_____/article/details/82145850 ** HDFS...

2年前 (2019-04-27) 28℃

hadoop+Zookeeper集群安装配置高可用-HadoopHA

hadoop+Zookeeper集群安装配置高可用-HadoopHA
hadoop+Zookeeper集群安装配置高可用-HadoopHA 2019年01月05日 00:28:30 sxjlinux 阅读数:39  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sunx...

2年前 (2019-04-26) 31℃

将数据通过shell脚本从hdfs导入到hive中

将数据通过shell脚本从hdfs导入到hive中 漏船载酒 2017-12-01 22:18:18 浏览1422 评论0 编程语言 PostgreSQL hdfs 模块 数据库 shell 脚本 string Hive sqoop 摘要: 在创建项目的时候 需要将数据导...

2年前 (2019-04-26) 35℃

hadoop3.0伪分布式集群搭建

hadoop3.0伪分布式集群搭建  大数据  2018-08-21  203 搭建环境:CentOS7+hadoop3.0.3+jdk8 前提准备 安装配置jdk 配置静态ip地址 修改主机名 配置主机名和ip地址映射 关闭防火墙,设置开机不自启动 注:以上操作...

2年前 (2019-04-21) 21℃

hadoop3.0全分布式集群搭建

hadoop3.0全分布式集群搭建  大数据  2018-08-21  676 hadoop3.0的全分布式搭建折腾了好久,因为网上基本上都是2.x的搭建教程,期间有好几个坑比较难弄,不过最后还是都解决了,下面简要记录笔者的搭建过程,以及遇到的坑。 搭建环境:Cen...

2年前 (2019-04-21) 19℃

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker
用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群(上)-快速上手Docker 如果想在一台电脑上搭建一个多节点的Hadoop集群,传统的方式是使用多个虚拟机。但这种方式占用的资源比较多,一台笔记本能同时运行的虚拟机的数量是很有限的。这个时候我...

2年前 (2019-04-20) 25℃