SuperIT 专业IT技术社区之后端大数据与Devops

场景：

1） datasource->logstash->elasticsearch->kibana

2） datasource->filebeat->logstash-> elasticsearch->kibana

3） datasource->filebeat->logstash->redis/kafka->logstash-> elasticsearch->kibana

4） kafka->logstash-> elasticsearch->kibana

5） datasource->filebeat->kafka->logstash->elasticsearch->kibana(最常用)

6） filebeatSSL加密传输

7） datasource->logstash->redis/kafka->logstash->elasticsearch->kibana

8） mysql->logstash->elasticsearch->kibana

上述主要是对下面传输处理场景的一个概括，从数据源开始，如何采集，用什么工具采集，采集到哪里，经过怎样的处理过滤，传输到哪里，怎样进行展示

 

输入、输出、过滤主要通过插件实现（包含多类型插件），插件教程参考官网

https://www.elastic.co/guide/en/logstash/current/index.html

【安装部署这种官网或者社区已经很完善，此处不做赘述，可自行去官网查看】

ps【redis集群安装文档前面已经说明过，可自行查看】

 

前提条件

1） java环境：jdk8；

2） elk已搭建完毕；

3） elasticsearch、kibana、logstash版本最好保持一致，目前环境是5.6.10版本

4） logstash建议使用root用户（拥有足够权限去搜集所需日志文件）；

5） elasticsearch使用普通用户安装，新版本已限制不允许root安装；

6） filebeat安装完毕

启动命令：

7） logstash启动命令：

nohup ./bin/logstash -f ***.conf –config.reload.automatic >/dev/null 2>/dev/null &

8） filebeat启动命令： nohup ./filebeat -e -c filebeat.yml>/dev/null 2>/dev/null &

9）elasticsearch启动命令：./elasticsearch -d  

10）kibana启动命令：nohup ./bin/kibana & 

 

Logstash启动命令：–config.reload.automatic自动重新加载配置文件，无需重启logstash

filebeat启动命令：-e参数指定输出日志到stderr，-c参数指定配置文件路径

 

场景介绍

一、 简单模式：以logstash作为日志搜索器

架构：logstash采集、处理、转发到elasticsearch存储，在kibana进行展示

特点：这种结构因为需要在各个服务器上部署 Logstash，而它比较消耗 CPU 和内存资源，所以比较适合计算资源丰富的服务器，否则容易造成服务器性能下降，甚至可能导致无法正常工作。

 

Demo1：

test1.conf：

控制台输入，不经过任何处理转换（仅传输），输出到控制台（或者elasticsearch、文件—-自行选择）：

#控制台输入

input { stdin { } }

output {

     #codec输出到控制台

stdout { codec=> rubydebug }

#输出到elasticsearch

elasticsearch {

        hosts => “node18:9200”

        codec => json

        }

#输出到文件

file {

    path => “/usr/local/logstash-5.6.10/data/log/logstash/all.log” #指定写入文件路径

    flush_interval => 0                  # 指定刷新间隔，0代表实时写入

    codec => json

    }

}

二、 安全模式：beats（Filebeat、Metricbeat、Packetbeat、Winlogbeat等）作为日志搜集器

Packetbeat（搜集网络流量数据）；

Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；

Filebeat（搜集文件数据）——-最常用

Winlogbeat（搜集 Windows 事件日志数据）。

架构：

工作模式：Beats 将搜集到的数据发送到 Logstash，经 Logstash 解析、过滤后，将其发送到 Elasticsearch 存储，并由 Kibana 呈现给用户；

模式特点：这种架构解决了 Logstash 在各服务器节点上占用系统资源高的问题。相比 Logstash，Beats 所占系统的 CPU 和内存几乎可以忽略不计。另外，Beats 和 Logstash 之间支持 SSL/TLS 加密传输，客户端和服务器双向认证，保证了通信安全。

因此这种架构适合对数据安全性要求较高，同时各服务器性能比较敏感的场景