微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

filebeat+ELK+kafka集群搭建(一:简介)

日志采集 aide_941 26℃

filebeat+ELK+kafka集群搭建(一:简介)

橡皮24 

 0.3 2018.06.06 10:18* 字数 563 阅读 1555评论 0

环境介绍:

安装软件 主机名 IP地址 系统版本
Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0 es-1 192.168.205.155 centos7.5.1804
Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0 es-2 192.168.205.156 centos7.5.1804
Elasticsearch5.6/zookeeper2.11-1.1.0/kafka_2.11-1.1.0 es-3 192.168.205.157 centos7.5.1804
Logstash5.6.9 logstash 192.168.205.152 centos7.5.1804
kibana5.6.9 kibana 192.168.205.161 centos7.5.1804
Filebeat5.6.7 filebeat 192.168.205.152 centos7.5.1804

搭建架构:

相关地址:

官网地址:https://www.elastic.co

官网搭建:https://www.elastic.co/guide/index.html

Kafka集群搭建:http://blog.51cto.com/seekerwolf/2095137

各组件介绍

Elasticsearch:

是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

Logstash:

主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具,你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。

Kibana:

是一个优秀的前端日志展示框架,它可以非常详细的将日志转化为各种图表,为用户提供强大的数据可视化支持。

Kafka:
  • 1.发布和订阅记录流,类似于消息队列或企业消息传递系统。
  • 2.以容错持久的方式存储记录流。
  • 3.处理记录发生的流。
Filebeat: 隶属于Beats。目前Beats包含四种工具:
  • 1.Packetbeat(搜集网络流量数据)
  • 2.Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。通过从操作系统和服务收集指标,帮助您监控服务器及其托管的服务。)
  • 3.Filebeat(搜集文件数据)
  • 4.Winlogbeat(搜集 Windows 事件日志数据)
安装部署详见:

filebeat+ELK+kafka集群搭建(二:filebeat部署)
filebeat+ELK+kafka集群搭建(三:kafka集群部署)
filebeat+ELK+kafka集群搭建(四:logstash部署)
filebeat+ELK+kafka集群搭建(五:Elasticsearch集群部署)
filebeat+ELK+kafka集群搭建(六:kibana部署)

转载请注明:SuperIT » filebeat+ELK+kafka集群搭建(一:简介)

喜欢 (0)or分享 (0)