微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

高并发及其处理方法

1.什么是高并发

高并发是实用技术手段是系统可以并行处理很多请求。

2.常见的高并发处理方法

缓存处理(Redis,Memcached等)

硬件升级(调整服务器CPU,带宽,处理器)

负载均衡(Nginx,Spring Cloud的注册中心等)

性能优调(Mysql,Nginx,Tomcat)

代码处理(设置策略,IP账号限制,验证码处理)

3.QPS(Query Per Second,每秒处理请求数)计算公式

QPS(TPS)= 并发数/平均响应时间

举个栗子:我们假设处理一个业务请求平均响应时间为100ms(0.1秒),同时,系统内有20台Apache的Web服务器,配置MaxClients为500个(表示Apache的最大连接数目)。

20*500/0.1 = 100000 (10万QPS)

4.怎么处理高并发(常见高并发的类型)

第一种:syn洪水攻击

什么是洪水攻击?

攻击者恶意访问让你的服务器资源耗尽,无法提供正常的服务,间接地拒绝。

怎么应对或处理洪水攻击?

情景一:黑客恶意攻击频繁使用假IP进行访问;

方法一:运用sysctl命令进行配置,针对SYN洪水攻击的防御措施.

方法二:利用安全狗,360安全卫士等杀毒软件,(软件有针对处理洪水攻击的策略)

情景二:用户频繁登录

方法一:代码优化处理,限制统一IP或统一账号,每秒访问次数,添加验证码策略,访问更新验证码加长用户操作时间。

第二种:硬件配置过低

情景一:CPU长期达到90%以上(升级CPU处理器)

情景二:CPU长期在40%左右带宽达到100%使用率。(升级带宽)

情景三:CPU与带宽正常物理内存处于占满状态。(升级物理内存)

第三种:SQL语句查询频繁,重复查询或SQL语句问题,导致接口处理时间过慢。

情景一:针对大量数据,sql语句过于简单,查询条件过少;

举个例子:一个数据库中有表为activityTable 我想查询用户在什么时间领取到什么产品;查询语句为

  1. SELECT * FROM activityTable where user = “小红”
  2. // 处理少量数据时可能没什么问题,但是处理大量数据时他就会发生查询处理时间过长等问题。
  3. // 正确处理sql应该为加索引等优化
  4. create index index_name on activityTable(phone) ;
  5. select user from activityTable where phone = 123456;

序号ID 用户名User , 活动 activity,手机号 phone,产品 product ,领取时间 updatetime。

情景二:查询sql过多,导致接口处理时间过长,用户操作界面处于等待;

方法一:利用缓存处理(Redis,Memcached等)将查询数据缓存到Redis数据库中,(Nosql数据库处理时间小于Mysql处                          理时间)

方法二:加大服务器硬件,调整CPU,带宽,处理器等(不推荐,有钱除外。)

第四种:用户量过大,CPU,处理器,带宽正常,但是仍旧过卡。

情景一:Apache的Web服务器只有运行一个时

方法一:性能优调(Mysql,Nginx,Tomcat)负载均衡处理

mysql的myini文件优化

mysql的my.cof文件优

Tomcat性能优化

Nginx的nginx.conf文件配置

  1. #定义Nginx运行的用户和用户组
  2. user www www;
  3. #
  4. #nginx进程数,建议设置为等于CPU总核心数.
  5. worker_processes 8;
  6. #
  7. #全局错误日志定义类型,[ debug | info | notice | warn | error | crit ]
  8. error_log /var/log/nginx/error.log info;
  9. #
  10. #进程文件
  11. pid /var/run/nginx.pid;
  12. #
  13. #一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数(系统的值ulimit -n)与nginx进程数相除,但是nginx分配请求并不均匀,所以建议与ulimit -n的值保持一致.
  14. worker_rlimit_nofile 65535;
  15. #
  16. #工作模式与连接数上限
  17. events
  18. {
  19. #参考事件模型,use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型,如果跑在FreeBSD上面,就用kqueue模型.
  20. use epoll;
  21. #单个进程最大连接数(最大连接数=连接数*进程数)
  22. worker_connections 65535;
  23. }
  24. #
  25. #设定http服务器
  26. http
  27. {
  28. include mime.types; #文件扩展名与文件类型映射表
  29. default_type application/octet-stream; #默认文件类型
  30. #charset utf-8; #默认编码
  31. server_names_hash_bucket_size 128; #服务器名字的hash表大小
  32. client_header_buffer_size 32k; #上传文件大小限制
  33. large_client_header_buffers 4 64k; #设定请求缓
  34. client_max_body_size 8m; #设定请求缓
  35. # 开启目录列表访问,合适下载服务器,默认关闭.
  36. autoindex on; # 显示目录
  37. autoindex_exact_size on; # 显示文件大小 默认为on,显示出文件的确切大小,单位是bytes 改为off后,显示出文件的大概大小,单位是kB或者MB或者GB
  38. autoindex_localtime on; # 显示文件时间 默认为off,显示的文件时间为GMT时间 改为on后,显示的文件时间为文件的服务器时间
  39. sendfile on; # 开启高效文件传输模式,sendfile指令指定nginx是否调用sendfile函数来输出文件,对于普通应用设为 on,如果用来进行下载等应用磁盘IO重负载应用,可设置为off,以平衡磁盘与网络I/O处理速度,降低系统的负载.注意:如果图片显示不正常把这个改成off.
  40. tcp_nopush on; # 防止网络阻塞
  41. tcp_nodelay on; # 防止网络阻塞
  42. keepalive_timeout 120; # (单位s)设置客户端连接保持活动的超时时间,在超过这个时间后服务器会关闭该链接
  43. # FastCGI相关参数是为了改善网站的性能:减少资源占用,提高访问速度.下面参数看字面意思都能理解.
  44. fastcgi_connect_timeout 300;
  45. fastcgi_send_timeout 300;
  46. fastcgi_read_timeout 300;
  47. fastcgi_buffer_size 64k;
  48. fastcgi_buffers 4 64k;
  49. fastcgi_busy_buffers_size 128k;
  50. fastcgi_temp_file_write_size 128k;
  51. # gzip模块设置
  52. gzip on; #开启gzip压缩输出
  53. gzip_min_length 1k; #允许压缩的页面的最小字节数,页面字节数从header偷得content-length中获取.默认是0,不管页面多大都进行压缩.建议设置成大于1k的字节数,小于1k可能会越压越大
  54. gzip_buffers 4 16k; #表示申请4个单位为16k的内存作为压缩结果流缓存,默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果
  55. gzip_http_version 1.1; #压缩版本(默认1.1,目前大部分浏览器已经支持gzip解压.前端如果是squid2.5请使用1.0)
  56. gzip_comp_level 2; #压缩等级.1压缩比最小,处理速度快.9压缩比最大,比较消耗cpu资源,处理速度最慢,但是因为压缩比最大,所以包最小,传输速度快
  57. gzip_types text/plain application/x-javascript text/css application/xml;
  58. #压缩类型,默认就已经包含text/html,所以下面就不用再写了,写上去也不会有问题,但是会有一个warn.
  59. gzip_vary on;#选项可以让前端的缓存服务器缓存经过gzip压缩的页面.例如:用squid缓存经过nginx压缩的数据
  60. #开启限制IP连接数的时候需要使用
  61. #limit_zone crawler $binary_remote_addr 10m;
  62. ##upstream的负载均衡,四种调度算法(下例主讲)##
  63. #虚拟主机的配置
  64. server
  65. {
  66. # 监听端口
  67. listen 80;
  68. # 域名可以有多个,用空格隔开
  69. server_name ably.com;
  70. # HTTP 自动跳转 HTTPS
  71. rewrite ^(.*) https://$server_name$1 permanent;
  72. }
  73. server
  74. {
  75. # 监听端口 HTTPS
  76. listen 443 ssl;
  77. server_name ably.com;
  78. # 配置域名证书
  79. ssl_certificate C:WebServerCertscertificate.crt;
  80. ssl_certificate_key C:WebServerCertsprivate.key;
  81. ssl_session_cache shared:SSL:1m;
  82. ssl_session_timeout 5m;
  83. ssl_protocols SSLv2 SSLv3 TLSv1;
  84. ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
  85. ssl_prefer_server_ciphers on;
  86. index index.html index.htm index.php;
  87. root /data/www/;
  88. location ~ .*.(php|php5)?$
  89. {
  90. fastcgi_pass 127.0.0.1:9000;
  91. fastcgi_index index.php;
  92. include fastcgi.conf;
  93. }
  94. # 配置地址拦截转发,解决跨域验证问题
  95. location /oauth/{
  96. proxy_pass https://localhost:13580/oauth/;
  97. proxy_set_header HOST $host;
  98. proxy_set_header X-Real-IP $remote_addr;
  99. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  100. }
  101. # 图片缓存时间设置
  102. location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ {
  103. expires 10d;
  104. }
  105. # JS和CSS缓存时间设置
  106. location ~ .*.(js|css)?$ {
  107. expires 1h;
  108. }
  109. # 日志格式设定
  110. log_format access $remote_addr$remote_user [$time_local] “$request” ‘
  111. $status $body_bytes_sent$http_referer” ‘
  112. ‘”$http_user_agent$http_x_forwarded_for;
  113. # 定义本虚拟主机的访问日志
  114. access_log /var/log/nginx/access.log access;
  115. # 设定查看Nginx状态的地址.StubStatus模块能够获取Nginx自上次启动以来的工作状态,此模块非核心模块,需要在Nginx编译安装时手工指定才能使用
  116. location /NginxStatus {
  117. stub_status on;
  118. access_log on;
  119. auth_basic “NginxStatus”;
  120. auth_basic_user_file conf/htpasswd;
  121. #htpasswd文件的内容可以用apache提供的htpasswd工具来产生.
  122. }
  123. }
  124. }

 

 

 

 

转载请注明:SuperIT » 高并发及其处理方法

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!