SuperIT 技术开发社区之后端大数据与Devops

logstash中文文档以及input,filter,output解析

发现一个很好很好的中文文档传送门致敬作者致敬大佬 input{ file{ #注意文件路径名需要绝对路径 path => "E:/nginx/logs/error.log" #如果想要监听多个...

3周前 (09-01) 2℃

Elasticsearch修改字段类型

1.设置索引t2为想要的数据类型 2.将t1 reindex到t2 3.数据reindex完成删除t1 4.设置索引t1为想要的数据类型 5.将t2 reindex到t1 PUT t1 { "settings": { "index": { "...

3周前 (09-01) 2℃

elasticsearch 修改mapping映射字段

首先，elasticsearch 并不支持修改mapping映射字段，无法直接修改，所以需要曲线救国。步骤一：新建一个索引，字段和原字段一致，只修改需要的字段。步骤二：把原数据给复制到新索引中。小规模数据可以直接用es内置的代码 POST _reindex { "...

3周前 (09-01) 1℃

es更改字段类型

我用的工具是kibana，所以用kibana来说吧；es不能直接更改字段类型的，（如有错误，欢迎指正）；所以，我一般是新建一张表，字段类型换乘想要修改的字段类型，把原表的数据传输到新表。然后删除原表，进行重建。是由点麻烦啊。。。。。用kibana举个例子； PUT...

3周前 (09-01) 1℃

jenkins

jenkins避免使用明文密码拉取gitlab, 走个人令牌的方式

1.到gitlab个人设置里添加: 个人访问令牌您可以为需要访问GitLab API的每个应用程序生成个人访问令牌。您还可以使用个人访问令牌通过HTTP进行Git验证。当您启用两步认证(2FA)时，它们将是唯一可接受的密码。 Add a personal access...

3周前 (08-27) 2℃

jenkins

jenkins pipeline避免使用明文密码

安装插件 Credentials Binding 创建凭证忽略已经存在的凭证这里以创建一个gitllab的账号密码为例注意这个ID可以不填保存后可以随机生成，此ID唯一添加后会到凭据页面即可看到测试创建一个流水线项目 node ('haimaxy-jnlp'){ ...

3周前 (08-27) 2℃

高并发及其处理方法

1.什么是高并发高并发是实用技术手段是系统可以并行处理很多请求。 2.常见的高并发处理方法缓存处理（Redis，Memcached等）硬件升级（调整服务器CPU，带宽，处理器）负载均衡（Nginx，Spring Cloud的注册中心等）性能优调（Mysql，Nginx，...

3周前 (08-27) 2℃

linux中root用户查看所有用户的历史操作命令

转载https://blog.csdn.net/qq_27786919/article/details/91353351 1.创建用户审计文件存放目录和审计日志文件； mkdir -p /var/log/usermonitor/ 2.创建用户审计日志文件； echo user...

3周前 (08-26) 2℃

linux服务器性能查看命令

3周前 (08-26) 2℃

Linux之TCPIP内核参数优化

　　本文以Ubuntu 12.04 LTS Desktop (x64)默认配置为例（机器的内存为4GB），推荐先阅读《TCP连接的状态与关闭方式，及其对Server与Client的影响》、《Windows系统下的TCP参数优化》，以了解TCP优化的相关知识。 /proc/sys...

4周前 (08-23) 2℃

Lniux内核参数的优化

三、关于内核参数的优化，在/etc/sysctl.conf文件内 1）timewait的数量，默认是180000。(Deven:因此如果想把timewait降下了就要把tcp_max_tw_buckets值减小) net.ipv4.tcp_max_tw_buckets = 600...

4周前 (08-23) 3℃

nginx open_file_cache指令影响静态文件更新时间

有这样的需求，客户上传图片，覆盖以前的图片，因为客户可能会频繁的换图片，上传覆盖完后，页面会自动请求刚才的图片，图片已经换掉，但是url并没有换，因为图片名字没改。因为更新的图要及时显示所以这个目录里的图片过期时间是 location ~ .*\path\.(jpg|p...

4周前 (08-23) 2℃

(推荐)linux下修改内核参数进行Tcp性能调优 — 高并发

业务起来了，并发上来了，高峰时期也达到1.6wrps了，长连接数量达到了5w，为了生存，才研究如何提高并发。 1. net.core.netdev_max_backlog net.core.netdev_max_backlog参数表示网卡接受数据包的队列最大长度，在阿里云服...

4周前 (08-23) 2℃

linux查看sysctl内核参数

查看sysctl内核参数：backlog ，somaxconn，file-max 和 nginx的backlog配置参数，ss -ln取最小值，发现为128，此时resv-q已经在129 ，请求被丢弃。将上述参数修改，并进行优化：检查sysctl内核参数：backlog，som...

4周前 (08-23) 3℃

(推荐)Nginx优化指南+LINUX内核优化+linux连接数优化+nginx连接数优化

Most setup guides for Nginx tell you the basics – apt-get a package, modify a few lines here and there, and you’ve got a web server...

4周前 (08-23) 2℃

(推荐)linux之nginx高并发配置及网络优化

一、网络优化（编辑/etc/sysctl.conf文件） vim /etc/sysctl.conf 内容如下： net.core.somaxconn=50000 net.ipv4.tcp_tw_recycle=1 net.ipv4.tcp_tw_reuse=1 net....

4周前 (08-23) 1℃

Nginx + Tomcat 动静分离实现负载均衡

　　0.前期准备使用Debian环境。安装Nginx(默认安装)，一个web项目，安装tomcat(默认安装)等。　　1.一份Nginx.conf配置文件 1 # 定义Nginx运行的用户和用户组如果对应服务器暴露在外面的话建议使用权限较小的用户防止被入侵 ...

4周前 (08-23) 2℃

Nginx 单机百万QPS环境搭建

一、背景最近公司在做一些物联网产品，物物通信用的是MQTT协议，内部权限与内部关系等业务逻辑准备用HTTP实现。leader要求在本地测试中要模拟出百万用户同时在线的需求。虽然该产品最后不一定有这么多，但是既然要求到了就要模拟出来。MQTT用的是erlang的emqtt，这个已...

4周前 (08-23) 1℃

linux 查看机器cpu核数

linux 查看机器cpu核数 CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数查看CPU信息（型号） [root@AAA ~]# cat /proc/cpuinfo | grep na...

4周前 (08-23) 2℃

linux CPU使用率过高或负载过高的处理思路

1、查看系统CPU负载及使用率的命令为：top vmstat top 命令：查看进程级别的cpu使用情况。 vmstat 命令：查看系统级别的cpu使用情况。下面通过具体的图例来分析： 1.1 top 命令可以查看进程的CPU、内存等资源的使用情况。在to...

4周前 (08-23) 2℃

Linux中CPU使用率低负载高

Linux中CPU使用率低负载高一、原因总结等待磁盘I/O完成的进程过多，导致进程队列长度过大，但是cpu运行的进程却很少，这样就导致负载过大，但cpu使用率低。二、场景分析 (1)磁盘读写请求过多就会导致大量I/O等待 cpu的工作效率要高于磁盘，而进程在...

4周前 (08-23) 1℃

磁盘和内存的区别

磁盘和内存的区别与联系： (磁盘--也叫硬盘--或是U盘--或是移动硬盘) 1、硬盘与内存都是存储器，一个是内部，一个是外部。 2、硬盘与内存的区别是很大的，这里只谈最主要的三点： 1）内存是计算机的工作场所，硬盘用来存放暂时不用的信息； 2）内存是半导体材料制...

4周前 (08-23) 1℃

Linux系统查看CPU使用率、内存使用率、磁盘使用率

一、查看CPU使用率 1. top 命令 [root@sss ~]# top top - 16:54:38 up 7 days, 5:13, 3 users, load average: 0.00, 0.01, 0.05 Tasks: 77 total, 2 runn...

4周前 (08-23) 2℃

php

PHP性能调优—PHP-FPM配置及使用总结

PHP-FPM配置及使用总结： php-FPM是一个PHP FastCGI的管理器，它实际上就是PHP源代码的补丁，旨在将FastCGI进程管理引进到PHP软件包中，我们必须将其patch到PHP源代码中，然后再行编译才能使用。而现在我们可以在PHP 5.3.2及更新版本...

4周前 (08-23) 1℃