40-可观测性与运维平台 / ELK Stack

ELK Stack

围绕 Elasticsearch、Logstash、Kibana 与 Filebeat 的日志采集、处理、检索和可视化实践。

01-ELK Stack 简介与架构

ELK Stack 最初指 Elasticsearch、Logstash、Kibana 三个组件：Elasticsearch 负责存储、搜索和分析，Logstash 负责采集和处理数据，Kibana 负责查询和可视化。后来 Beats、Elastic Agent、Integrations。

上一篇讲架构，这一篇只做一件事：把 Elasticsearch 作为 ELK 的存储和查询底座稳定装起来，并留下生产化配置的判断框架。安装本身不难，难的是不要把一个临时单节点误当生产集群，也不要跳过安全、系统参数、数据目录、证书、密码、分片和生命周期这些后面一定会影响 Logstash。

前一篇把 Elasticsearch 装起来，并明确了数据流、模板、权限和生命周期。本文接着处理中间层：Logstash。它不是所有日志链路都必须出现的组件，但当日志来源复杂、字段需要治理、解析失败需要复盘、写入前需要脱敏或路由时，Logstash 仍然是 ELK Stack 里最适合承。

Kibana 不是一个“漂亮报表工具”这么简单。它是 Elastic Stack 面向人的操作界面，承担三类职责：第一，帮助工程师探索 Elasticsearch 里的原始文档；第二，把字段、查询、聚合转换成图表和仪表板；第三，作为运维、安全、可观测性、告警、空间、权限等功能的入口。

在少量服务器上，管理员可以用 scp、定时脚本或共享目录集中日志。但当主机数量增加、日志持续轮转、网络偶尔中断、应用产生多行异常堆栈时，简单复制很快失效。真正的日志采集需要解决一组状态问题：