微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

最新发布 第10页

SuperIT专业IT技术社区之后端大数据与Devops

kibana

kibana操作

一、查询和查看。 #1.查询所有的数据 GET _search { “query”: { “match_all”:{} } } #2. 查看ES集群的健康状态 GET _cat/health # 查看详细信息 GET _cat/he...

4年前 (2020-05-14) 10℃

spark

SparkSQL读取HBase数据

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读). 本...

4年前 (2020-05-08) 16℃

spark

SparkSQL读取HBase数据,通过自定义外部数据源

关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源 前面文章介绍了SparSQL通过Hive操作HBase表。 SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里...

4年前 (2020-05-08) 11℃

docker

Docker swarm部署微服务及利用portainer管理集群

Docker swarm部署微服务及利用portainer管理集群
1.微服务部署 在前面部署的集群上部署服务,以前通过docker run可以部署一个容器,通过docker-compose文件可以编排一组容器,现在可以利用docker service在swarm集群中通过服务下发任务到节点的方式部署容器副本集,甚至可以利用docker-com...

4年前 (2020-05-08) 10℃

docker

10_docker集群管理工具portainer

10_docker集群管理工具portainer 环境搭建 master:172.18.148.169 slave1:172.18.148.168 安装docker 1.13.1 参考文档安装:在特定环境中安装指定版本的Docker ubuntu14.04 修...

4年前 (2020-05-08) 47℃

docker

portainer 管理 docker swarm集群

Portainer提供可视化界面来管理docker swarm 集群。 portainer 是 C/S 架构,由 管理端 portainer 镜像 与 代理 agent 组成,在 swarm 的manager 节点部署 portainer管理端,所有节点部署 agent 1...

4年前 (2020-05-08) 9℃

storm

Docker Storm开发环境搭建 

Docker Storm开发环境搭建 
  Pasenger 发布于 2017/11/05 19:25 1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper ...

4年前 (2020-05-08) 11℃

storm

阿里云Docker集群轻松部署Apache Storm(推荐)

阿里云Docker集群轻松部署Apache Storm(推荐)
Apache Storm是一个非常常用的实时流计算框架。最近有客户来咨询如何在Docker中运行Apache Storm的问题。我之前读过一篇文章介绍Apache Storm在Docker环境的部署,The Joy Of Deploying Apache Storm On Doc...

4年前 (2020-05-08) 9℃

storm

docker快速部署storm集群

Storm的部署虽然不是特别麻烦,但是在生产环境中,为了提高部署效率,方便管理维护,使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目,一个配置好了storm与mono环境的Docker镜像编排:storm-mono-docker。 这个项目得益于http...

4年前 (2020-05-08) 14℃

storm

Storm大数据实时计算

大数据也是构建各类系统的时候一种全新的思维,以及架构理念,比如Storm,Hive,Spark,ZooKeeper,HBase,Elasticsearch,等等 storm,在做热数据这块,如果要做复杂的热数据的统计和分析,亿流量,高并发的场景下,最合适的技术就是storm,没有...

4年前 (2020-05-07) 12℃

linux

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)

WIN7下用EasyBCD引导Linux安装双系统(非常非常重要)
至此系统安装好了, 开机回到windows系统,打开EasyBCD,设置系统引导,这里说明windows引导ubuntu的方法。 添加新条目–>Linux/BSD,类型选GRUB2,名称随便填,驱动器选择刚才新建名为/boot的分区。大概190M(刚才分的200M,可能还有...

4年前 (2020-04-27) 10℃

linux

Linux 可视化桌面远程连接

原创itdaima 最后发布于2019-03-18 15:39:14 阅读数 5097 收藏 展开 Linux (一)防止系统文件修改导致DNS清空 chattr +i /etc/resolv.conf (二)安装vnc yum install -y tigervnc tiger...

4年前 (2020-04-27) 8℃

链接

互联网架构师之路

https://zhuanlan.zhihu.com/c_1154338539314573312 转载请注明:SuperIT » 互联网架构师之路...

4年前 (2020-04-21) 10℃

高并发

高并发系统下的缓存解决方案

高并发系统下的缓存解决方案
公号:互联网架构师之路 什么样的数据适合做缓存? 缓存和DB数据一致性在之前已讲过,详细可参考下面阅读推荐《如何保障mysql和redis之间的数据一致性》,我们这里讲一讲缓存穿透、缓存雪崩和击穿的三种场景解决方案。 缓存穿透 缓存穿透是...

4年前 (2020-04-21) 10℃

高并发

利用Redis锁解决高并发问题(OK)

PHP   这里我们主要利用Redis的setnx的命令来处理高并发。 setnx 有两个参数。第一个参数表示键。第二个参数表示值。如果当前键不存在,那么会插入当前键,将第二个参数做为值。返回 1。如果当前键存在,那么会返回0。 创建库存表 CREATE TA...

4年前 (2020-04-21) 12℃

git

git学习总结

git学习总结
总结了一点关于git的使用命令和遇到的问题,  文章中都是我用到过的命令, 一直在不断的添加, 最近一次修改: 2017-09-13 15:04:01 不对的地方欢迎指正 一、SVN与Git的最主要的区别? 说起git自然想到SVN,我刚接触到的版本控制工具是SVN,SVN...

4年前 (2020-04-20) 11℃

docker

docker搭建swarm集群管理工具partainer

管理端:192.168.1.10 客户端:192.168.1.11 安装社区版docker-ce 具体见另一篇文章 一.管理端设置 1.开启管理端端口 firewall-cmd –permanent –add-port=2376/tcp fir...

4年前 (2020-04-15) 12℃

docker

Centos下安装Docker集群管理工具Shipyard

Centos下安装Docker集群管理工具Shipyard
一、 Docker Shipyard是什么 ? shipyard是一个开源的docker管理平台,其特性主要包括: 1 支持镜像管理、容器管理。 2 支持控制台命令 3 容器资源消耗监控 4 支持集群swarm,可以随意增加节点 5 支持控制用户管理权限,可以设置某个容...

4年前 (2020-04-15) 10℃

linux

rsync 守护进程模式

5.20笔记整理 rsync 守护进程模式 Rsync daemon (rsyncd) Daemon为守护进程,rsyncd运行在服务器端 服务器端操作: 1. 添加虚拟用户 [root@backup ~]# useradd -s /sbin/nologin...

4年前 (2020-03-27) 10℃

kafka

centos环境下docker-compose部署kafka集群

centos环境下docker-compose部署kafka集群 简介:docker-compose使用配置文件(docker-compose.yml)配置管理多个docker容器,在配置文件中,所有的容器通过service来定义,使用docker-compose启动,停止...

4年前 (2020-03-27) 11℃

hadoop

一键安装kafka,hadoop和spark集群

在项目中,需要用Kafka做消息队列提供容灾。用Hadoop+HBase+Spark做分布式存储和计算。由于已经搭建过N次环境了,真的要吐了,所以决心写一个部署脚本,避免重复劳动。 1. 下载脚本和安装包 (1)安装脚本的码云链接 (2)安装包的百度云盘链接 文件提...

4年前 (2020-03-27) 14℃

持续集成

利用docker快速搭建redmine

利用docker快速搭建redmine,redmine认证利用openldap,同时利用phpadminldap管理openldap。 前提安装如下软件 docker:17.12.0-ce docker-compose:1.18.0 详细如下: root@s:...

4年前 (2020-03-12) 11℃