标签：集群

rsyslog 接入权限认证的Kafka集群

说明： kafka权限接入包含两种方式，了解具体接入可参考本案例使用kafka的第二种使用方式，案例如下： Icon SparkConf sparkConf = new SparkConf() .setAppName("JavaSparkStream...

2年前 (2020-12-29) 2℃

nginx

Nginx的集群和负载均衡

撸了今年阿里、腾讯和美团的面试，我有一个重要发现…….>> Nginx的集群和负载均衡负载均衡配置案例1 设置上游服务器: # 设置上游服务器: upstream imgserver{ #weight权重 maxfails错误次数 fail...

3年前 (2020-05-17) 5℃

docker

Docker swarm部署微服务及利用portainer管理集群

1.微服务部署在前面部署的集群上部署服务，以前通过docker run可以部署一个容器，通过docker-compose文件可以编排一组容器，现在可以利用docker service在swarm集群中通过服务下发任务到节点的方式部署容器副本集，甚至可以利用docker-com...

3年前 (2020-05-08) 6℃

docker

10_docker集群管理工具portainer

10_docker集群管理工具portainer 环境搭建 master:172.18.148.169 slave1:172.18.148.168 安装docker 1.13.1 参考文档安装：在特定环境中安装指定版本的Docker ubuntu14.04 修...

3年前 (2020-05-08) 30℃

docker

portainer 管理 docker swarm集群

Portainer提供可视化界面来管理docker swarm 集群。 portainer 是 C/S 架构，由管理端 portainer 镜像与代理 agent 组成，在 swarm 的manager 节点部署 portainer管理端，所有节点部署 agent 1...

3年前 (2020-05-08) 5℃

storm

阿里云Docker集群轻松部署Apache Storm(推荐)

Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署，The Joy Of Deploying Apache Storm On Doc...

3年前 (2020-05-08) 5℃

docker

docker搭建swarm集群管理工具partainer

管理端:192.168.1.10 客户端:192.168.1.11 安装社区版docker-ce 具体见另一篇文章一.管理端设置 1.开启管理端端口 firewall-cmd –permanent –add-port=2376/tcp fir...

3年前 (2020-04-15) 6℃

docker

Centos下安装Docker集群管理工具Shipyard

一、 Docker Shipyard是什么？ shipyard是一个开源的docker管理平台，其特性主要包括： 1 支持镜像管理、容器管理。 2 支持控制台命令 3 容器资源消耗监控 4 支持集群swarm，可以随意增加节点 5 支持控制用户管理权限，可以设置某个容...

3年前 (2020-04-15) 5℃

kafka

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群

Docker 使用 docker-compose 搭建 zookeeper 和 kafka 集群前言网上有很多介绍zookeeper和kafka的集群搭建方法，同时官网中也有相应的zookeeper和kafka的镜像，但是试了很多zookeeper和kafka分开...

3年前 (2020-03-27) 5℃

kafka

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器，在配置文件中，所有的容器通过service来定义，使用docker-compose启动，停止...

3年前 (2020-03-27) 6℃

hadoop

一键安装kafka，hadoop和spark集群

在项目中，需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了，真的要吐了，所以决心写一个部署脚本，避免重复劳动。 1. 下载脚本和安装包（1）安装脚本的码云链接（2）安装包的百度云盘链接文件提...

3年前 (2020-03-27) 6℃

elasticsearch

elasticsearch集群安装步骤的各个关键点,坑

对应ip: es1(最开始命名为master, 后来死活有问题就改了的,network.host不能用master命名,不知道为啥) -> 172.18.0.2 slave1 -> 172.18.0.3 slave2 -> 172.18.0.4 第一...

4年前 (2019-05-06) 68℃

docker

让Docker容器使用静态独立的外部IP（便于集群组建）

让Docker容器使用静态独立的外部IP（便于集群组建）需要使用Docker虚拟化Hadoop/Spark等测试环境，并且要可以对外提供服务，要求是完全分布式的部署（尽量模拟生产环境）。那么我们会遇到几个问题： Container IP 是动态分配的 Container IP ...

4年前 (2019-03-24) 22℃

kafka

zookeeper 和 kafka 集群搭建

zookeeper 和 kafka 集群搭建 2017年03月30日 17:35:08 my_bai 阅读数：25064 Kafka初识 1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews...

4年前 (2019-03-22) 20℃