分类：hadoop

yarn编码获取application列表

1、新建maven工程 https://blog.csdn.net/a794922102/article/details/86632625 https://blog.csdn.net/nma_123456/article/details/51692721 2、编写代码 &nb...

11个月前 (10-28) 4℃

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表 2018-08-10阅读 2890 端口作用 9000 fs.defaultFS，如：hdfs://172.25.40.171:9...

11个月前 (10-28) 2℃

(推荐)https://www.xiaokunli.com/2019/03/25/CM-CDH6.1.0%E5%AE%89%E8%A3%85%E8%BF%87%E7%A8%8B%E8%AF%A6%E8%A7%A3/ (推荐)https://blog.csdn.net/weixin...

11个月前 (10-13) 4℃

常见端口汇总： Hadoop： 50070：HDFS WEB UI端口 8020 ：高可用的HDFS RPC端口 9000 ：非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalN...

12个月前 (09-23) 3℃

在项目中，需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了，真的要吐了，所以决心写一个部署脚本，避免重复劳动。 1. 下载脚本和安装包（1）安装脚本的码云链接（2）安装包的百度云盘链接文件提...

2年前 (2020-03-27) 5℃

Hadoop, HBase, Hive, ZooKeeper默认端口说明组件 Daemon 端口配置说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 50075 dfs.da...

2年前 (2019-05-10) 22℃

为了每次执行Hadoop的时候，不必须要前者加上hadoop的安装的绝对路径，要做的事情就是将其安装路径加入到PATH中，这样就可以直接执行hadoop命令。如下： vim /etc/profile中加入一句 export HADOOP_INSTALL=/usr/local/h...

2年前 (2019-04-30) 18℃

zookeeper集群的搭建以及hadoop ha的相关配置 https://www.cnblogs.com/learn21cn/p/6184490.html 1、环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 maste...

2年前 (2019-04-27) 143℃

Hadoop zookeeper高可用HA配置 2018年08月28日 13:21:30 iaMay_____ 阅读数：219 https://blog.csdn.net/iaMay_____/article/details/82145850 ** HDFS...

2年前 (2019-04-27) 28℃

2年前 (2019-04-26) 31℃

将数据通过shell脚本从hdfs导入到hive中漏船载酒 2017-12-01 22:18:18 浏览1422 评论0 编程语言 PostgreSQL hdfs 模块数据库 shell 脚本 string Hive sqoop 摘要：在创建项目的时候需要将数据导...

2年前 (2019-04-26) 35℃

hadoop3.0伪分布式集群搭建大数据 2018-08-21 203 搭建环境：CentOS7+hadoop3.0.3+jdk8 前提准备安装配置jdk 配置静态ip地址修改主机名配置主机名和ip地址映射关闭防火墙，设置开机不自启动注：以上操作...

2年前 (2019-04-21) 21℃

hadoop3.0全分布式集群搭建大数据 2018-08-21 676 hadoop3.0的全分布式搭建折腾了好久，因为网上基本上都是2.x的搭建教程，期间有好几个坑比较难弄，不过最后还是都解决了，下面简要记录笔者的搭建过程，以及遇到的坑。搭建环境：Cen...

2年前 (2019-04-21) 19℃

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（下）-搭建Hadoop集群 http://www.cnblogs.com/chengyujia/p/6860551.html 上篇：用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色...

2年前 (2019-04-20) 26℃

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（上）-快速上手Docker 如果想在一台电脑上搭建一个多节点的Hadoop集群，传统的方式是使用多个虚拟机。但这种方式占用的资源比较多，一台笔记本能同时运行的虚拟机的数量是很有限的。这个时候我...

2年前 (2019-04-20) 25℃

用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（上）-快速上手Docker http://www.cnblogs.com/chengyujia/p/6855436.html 用Docker在一台笔记本电脑上搭建一个具有10个节点7种...

2年前 (2019-04-20) 19℃