[单master节点k8s部署]21.EFK日志收集平台介绍

目前 Beats 包含六种工具：

1、Packetbeat：网络数据（收集网络流量数据）

2、Metricbeat：指标（收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）

3、Filebeat：日志文件（收集文件数据）

4、Winlogbeat：windows 事件日志（收集 Windows 事件日志数据）

5、Auditbeat：审计数据（收集审计日志）

6、Heartbeat：运行时间监控（收集系统运行时的数据）

Filebeat 是用于转发和收集日志数据的轻量级传送工具。Filebeat 监视你指定的日志文件或位置，收集日志事件，并将它们转发到 Elasticsearch 或 Logstash 中。 
Filebeat 的工作方式如下：启动 Filebeat 时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于 Filebeat 所找到的每个日志，Filebeat 都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到 libbeat，libbeat 将聚集事件，并将聚集的数据发送到为Filebeat 配置的输出。

logstash是一个开源的数据收集和处理工具，主要用于数据的采集、转换和传输，可以从文件、TCP/UDP、Kafka、数据库等源获取数据，并 将处理后的数据发送到一个或多个目的地。但是重要的是它的转换功能， 将来自不同源的数据统一为一致的格式，便于后续分析和存储。

假设以下是收集的apache和json格式的日志：

192.168.1.1 - - [18/Aug/2024:10:00:00 +0000] "GET /index.html HTTP/1.1" 200 1234 "http://example.com" "Mozilla/5.0"

{"timestamp": "2024-08-18T10:05:00", "level": "INFO", "message": "User login successful", "user_id": 12345}

通过logstach的功能进行转换，就可以转换为一致的格式：

input {file {path => "/var/log/apache/access.log"type => "apache"}file {path => "/var/log/app/application.log"type => "application"}
}filter {if [type] == "apache" {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}date {match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]target => "@timestamp"}mutate {add_field => { "event_type" => "web_access" }}}else if [type] == "application" {json {source => "message"}date {match => [ "timestamp", "ISO8601" ]target => "@timestamp"}mutate {add_field => { "event_type" => "app_log" }}}
}output {elasticsearch {hosts => ["localhost:9200"]index => "unified_logs-%{+YYYY.MM.dd}"}
}

这个配置做了以下工作:

1. 定义两个输入源,分别读取Apache日志和应用日志。

2. 对于Apache日志:

   • 使用grok过滤器解析Combined Log Format。
   • 将日期字符串转换为标准时间戳。
   • 添加一个"event_type"字段,值为"web_access"
   • Logstash 能够动态地转换和解析数据，不受格式或复杂度的影响： 1、利用 Grok 从非结构化数据中派生出结构 2、从 IP 地址破译出地理坐标 3、将 PII 数据匿名化，完全排除敏感字段 ，整体处理不受数据源、格式或架构的影响

3. 对于应用日志:

   • 使用json过滤器解析JSON格式的日志。
   • 将ISO8601格式的时间戳转换为标准时间戳。
   • 添加一个"event_type"字段,值为"app_log"。

4. 最后,将处理后的数据输出到Elasticsearch,使用统一的索引模式，如下：

{"@timestamp": "2024-08-18T10:00:00.000Z","event_type": "web_access","client_ip": "192.168.1.1","request": "/index.html","response_code": 200,"user_agent": "Mozilla/5.0"
}{"@timestamp": "2024-08-18T10:05:00.000Z","event_type": "app_log","level": "INFO","message": "User login successful","user_id": 12345
}