SuperIT 技术开发社区之后端大数据与Devops

同时运行多套 docker-compose up 的环境，不同网段相互隔离

shenyuan · 2017-11-05 11:08:02 +08:00 · 2284 次点击这是一个创建于 1049 天前的主题，其中的信息可能已经有所发展或是发生改变。目前的方法是写一个 docker-compose.yml 的模本文件，然后...

3天前 2℃ 0评论

从容器中获取宿主机IP地址,查看Docker容器环境变量，如何向容器传递环境变量

动态从容器中获取宿主机IP地址, 背景： docker 中的程序需要连接外部的程序，连接的过程中会告知外部程序自己的ip地址，然后外部的程序会回连docker中的程序。由于docker使用的是rancher中的托管模式，外部程序是没办法直接连接到容器中的，那么如何...

3天前 3℃ 0评论

解决云服务器docker swarm节点间无法通信问题

解决云服务器docker swarm节点间无法通信问题原因如果你的swarm运行在默认端口，那么你就可能和我一样遇到了VXLAN默认端口4789/udp被云服务厂商阻断的问题。比如阿里云在文档中提到了这点，链接->阿里云添加udp监听文档。解决方案 ...

5天前 2℃ 0评论

(推荐)docker快速部署swarm并使用traefik反向代理取代nginx隐藏ip和端口

目前所知好用的docker代理有两种:nginx traefik,各有优缺点,具体就不说了,下面直接介绍traefik的使用demo.给新手少走一些弯路初次使用swarm的同学注意开启转发,否则无法访问内部 ------------------创建网络------...

2周前 (09-08) 3℃ 0评论

docker快速部署kafaka集群-Deploy a multi-node, multi-server Kafka Cluster with Docker

What is Kafka? Essentially: Kafka is an open-source, very scalable, distributed messaging platform by Apache. It is designed to handle larg...

2周前 (09-08) 3℃ 0评论

git

git分支管理方案

Git分支管理新方案新方案注意项： 1、主分支控制权收回，个人无权提交至master分支 2、开辟一条新开发分支develop，用于测试环境提交，个人依然是无权限提交 3、个人依照develop分支建立自己的分支，并将本地已修改的或者待做的功能点提交到个人分支中 4、如...

3周前 (09-03) 3℃

logstash中文文档以及input,filter,output解析

发现一个很好很好的中文文档传送门致敬作者致敬大佬 input{ file{ #注意文件路径名需要绝对路径 path => "E:/nginx/logs/error.log" #如果想要监听多个...

3周前 (09-01) 2℃

Elasticsearch修改字段类型

1.设置索引t2为想要的数据类型 2.将t1 reindex到t2 3.数据reindex完成删除t1 4.设置索引t1为想要的数据类型 5.将t2 reindex到t1 PUT t1 { "settings": { "index": { "...

3周前 (09-01) 2℃

elasticsearch 修改mapping映射字段

首先，elasticsearch 并不支持修改mapping映射字段，无法直接修改，所以需要曲线救国。步骤一：新建一个索引，字段和原字段一致，只修改需要的字段。步骤二：把原数据给复制到新索引中。小规模数据可以直接用es内置的代码 POST _reindex { "...

3周前 (09-01) 1℃

es更改字段类型

我用的工具是kibana，所以用kibana来说吧；es不能直接更改字段类型的，（如有错误，欢迎指正）；所以，我一般是新建一张表，字段类型换乘想要修改的字段类型，把原表的数据传输到新表。然后删除原表，进行重建。是由点麻烦啊。。。。。用kibana举个例子； PUT...

3周前 (09-01) 1℃

jenkins

jenkins避免使用明文密码拉取gitlab, 走个人令牌的方式

1.到gitlab个人设置里添加: 个人访问令牌您可以为需要访问GitLab API的每个应用程序生成个人访问令牌。您还可以使用个人访问令牌通过HTTP进行Git验证。当您启用两步认证(2FA)时，它们将是唯一可接受的密码。 Add a personal access...

4周前 (08-27) 2℃

jenkins

jenkins pipeline避免使用明文密码

安装插件 Credentials Binding 创建凭证忽略已经存在的凭证这里以创建一个gitllab的账号密码为例注意这个ID可以不填保存后可以随机生成，此ID唯一添加后会到凭据页面即可看到测试创建一个流水线项目 node ('haimaxy-jnlp'){ ...

4周前 (08-27) 2℃

高并发及其处理方法

1.什么是高并发高并发是实用技术手段是系统可以并行处理很多请求。 2.常见的高并发处理方法缓存处理（Redis，Memcached等）硬件升级（调整服务器CPU，带宽，处理器）负载均衡（Nginx，Spring Cloud的注册中心等）性能优调（Mysql，Nginx，...

4周前 (08-27) 2℃

linux中root用户查看所有用户的历史操作命令

转载https://blog.csdn.net/qq_27786919/article/details/91353351 1.创建用户审计文件存放目录和审计日志文件； mkdir -p /var/log/usermonitor/ 2.创建用户审计日志文件； echo user...

4周前 (08-26) 2℃

linux服务器性能查看命令

4周前 (08-26) 2℃

Linux之TCPIP内核参数优化

　　本文以Ubuntu 12.04 LTS Desktop (x64)默认配置为例（机器的内存为4GB），推荐先阅读《TCP连接的状态与关闭方式，及其对Server与Client的影响》、《Windows系统下的TCP参数优化》，以了解TCP优化的相关知识。 /proc/sys...

4周前 (08-23) 2℃

Lniux内核参数的优化

三、关于内核参数的优化，在/etc/sysctl.conf文件内 1）timewait的数量，默认是180000。(Deven:因此如果想把timewait降下了就要把tcp_max_tw_buckets值减小) net.ipv4.tcp_max_tw_buckets = 600...

4周前 (08-23) 3℃

nginx open_file_cache指令影响静态文件更新时间

有这样的需求，客户上传图片，覆盖以前的图片，因为客户可能会频繁的换图片，上传覆盖完后，页面会自动请求刚才的图片，图片已经换掉，但是url并没有换，因为图片名字没改。因为更新的图要及时显示所以这个目录里的图片过期时间是 location ~ .*\path\.(jpg|p...

4周前 (08-23) 2℃

(推荐)linux下修改内核参数进行Tcp性能调优 — 高并发

业务起来了，并发上来了，高峰时期也达到1.6wrps了，长连接数量达到了5w，为了生存，才研究如何提高并发。 1. net.core.netdev_max_backlog net.core.netdev_max_backlog参数表示网卡接受数据包的队列最大长度，在阿里云服...

4周前 (08-23) 2℃

linux查看sysctl内核参数

查看sysctl内核参数：backlog ，somaxconn，file-max 和 nginx的backlog配置参数，ss -ln取最小值，发现为128，此时resv-q已经在129 ，请求被丢弃。将上述参数修改，并进行优化：检查sysctl内核参数：backlog，som...

4周前 (08-23) 3℃

(推荐)Nginx优化指南+LINUX内核优化+linux连接数优化+nginx连接数优化

Most setup guides for Nginx tell you the basics – apt-get a package, modify a few lines here and there, and you’ve got a web server...

4周前 (08-23) 2℃

(推荐)linux之nginx高并发配置及网络优化

一、网络优化（编辑/etc/sysctl.conf文件） vim /etc/sysctl.conf 内容如下： net.core.somaxconn=50000 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_tw_reuse=1 net....

4周前 (08-23) 1℃

Nginx + Tomcat 动静分离实现负载均衡

　　0.前期准备使用Debian环境。安装Nginx(默认安装)，一个web项目，安装tomcat(默认安装)等。　　1.一份Nginx.conf配置文件 1 # 定义Nginx运行的用户和用户组如果对应服务器暴露在外面的话建议使用权限较小的用户防止被入侵 ...

4周前 (08-23) 2℃

Nginx 单机百万QPS环境搭建

一、背景最近公司在做一些物联网产品，物物通信用的是MQTT协议，内部权限与内部关系等业务逻辑准备用HTTP实现。leader要求在本地测试中要模拟出百万用户同时在线的需求。虽然该产品最后不一定有这么多，但是既然要求到了就要模拟出来。MQTT用的是erlang的emqtt，这个已...

4周前 (08-23) 1℃

linux 查看机器cpu核数

linux 查看机器cpu核数 CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数查看CPU信息（型号） [root@AAA ~]# cat /proc/cpuinfo | grep na...

4周前 (08-23) 2℃

linux CPU使用率过高或负载过高的处理思路

1、查看系统CPU负载及使用率的命令为：top vmstat top 命令：查看进程级别的cpu使用情况。 vmstat 命令：查看系统级别的cpu使用情况。下面通过具体的图例来分析： 1.1 top 命令可以查看进程的CPU、内存等资源的使用情况。在to...

1个月前 (08-23) 2℃

Linux中CPU使用率低负载高

Linux中CPU使用率低负载高一、原因总结等待磁盘I/O完成的进程过多，导致进程队列长度过大，但是cpu运行的进程却很少，这样就导致负载过大，但cpu使用率低。二、场景分析 (1)磁盘读写请求过多就会导致大量I/O等待 cpu的工作效率要高于磁盘，而进程在...

1个月前 (08-23) 1℃