本文作者 B. Cameron Gain 是 ReveCom Media 的创始人和首席分析师。他对计算机的痴迷始于 1980 年代初，他热衷于撰写关于 IT 和技术的文章，其作品曾出现在《Wired》、《PC World》、《CIO》、《Technology Review》、《Popular Science》和《Automotive News》等知名媒体上。
原文链接：Observability Without a Data Lake Might No Longer Work - The New Stack
数据湖已成为许多企业在业务分析、产品执行和可观测性方面的重要组成部分。随着企业意识到数据湖对可观测性的重要性，那些能够充分发挥数据湖潜力的企业与无法做到的企业之间，正逐渐形成一道越来越大的鸿沟。
统一采集，打破数据壁垒
创建一个数据湖不意味着企业必须完全重新设计其数据流，并为数据湖开发单独的入口和 API，以适应需要的遥测数据的独立数据流。一个可观测性数据湖应能够接受来自整个应用堆栈的数据，并将这些不同数据集的集成结合起来，以创建上下文。没有数据湖所提供的广泛数据收集，便缺乏灵活性，无法从整个应用堆栈中的遥测数据源获取数据。
用户可能依赖 Prometheus 获取指标，Jaeger 获取链路，以及 Loki 获取日志。借助数据湖，所有的遥测数据都被合并，而无需单独重新配置和管理数据源。数据存储在后端，当用户运行查询或使用仪表板时，用户可以同时访问追踪数据、日志和指标。Pod_Name = ‘XX’ 在所有三个流中是相同的，因此用户在故障排查时，可以更直接地找到根本原因，而不需要通过三条不同的 SQL 查询将遥测数据合并起来。
几十年来，已经投资于插桩的企业不愿意重新为其应用程序和基础设施进行插桩。这就是为什么数据湖必须能够容纳各种类型的数据，而不需要预定义的结构。“可观测性数据湖不应该需要任何重新插桩。要求重新插桩是一个巨大的工作量，” Kloudfuse 的联合创始人兼 CEO Pankaj Thakkar 表示。“相反，数据湖应该是开放的，能够读取所有现有的代理，无论是 Datadog 代理、New Relic 代理还是 OpenTelemetry 代理。”
数据在采集之前不需要被结构化或解析——不需要 Grok 脚本，也不需要花费数小时对数据进行预处理（或标记），然后才能用于可观测性。理论上，任何数据类型都可以被传输并存储在数据湖中。用户应该能够将其收集器指向数据湖，数据在其中被解析并集成。整合所有可观测性流涉及统一遥测数据，将相关的数据集映射和链接在一起。所有遥测数据都存储在一个数据湖中，使用开放的查询语言和一致的 UI，便于更快地进行关联和故障排查。
正如 Gartner 分析师 Miraz 和 Edjlali 所写，数据湖庞大的源数据存储库支持广泛、灵活和无偏的数据探索，这是数据挖掘、统计学、机器学习和其他分析技术的前提条件。数据湖还可以提供可扩展的高性能数据采集、准备和处理，或者将数据提炼并加载到数据仓库中，或者在数据湖中进行处理，Miraz 和 Edjlali 补充道。
相反，依赖多个工具来监控和观察堆栈某一部分的组织，如果没有数据湖，就需要多个后端来管理指标、链路和日志，创建更多的工程负担。不同数据流的分析必须手动集成，这会导致更慢的故障排查过程和额外的工程成本。
消灭数据孤岛，实现全链路数据关联
数据湖能够去除数据孤岛。没有数据孤岛后，实体之间的关系被创建，比如链路、日志、指标等。用户可以询问关于其分布式系统中的相互依赖关系的任何问题。他们可以快速从用户会话（RUM/前端可观测性）钻取到服务、指标，然后切换到日志，同时保持上下文，这样用户在故障排查时可以更快地获得洞察。
本地部署，显著节约成本
在本地部署的可观测性数据湖可以随着数据湖中数据的扩展提供显著的成本节省，客户可以得到固定费用（而不是根据他们对供应商的使用或调用收费）。没有超额费用。例如，不需要为将数据通过网络传输到可观测性 SaaS 供应商而支付出口费用。
这对成本限制至关重要，因为每个分析和查询都很昂贵，尤其是对于按使用量收费的 SaaS 平台，如 DataDog。许多组织在将数据发送到 Datadog 进行观测之前，会先进行数据裁剪。日志和链路通常占用了大量数据，通常被称为高基数数据。
“内部数据湖使您能够动态选择何时使用大量数据进行深入分析——例如在故障排查期间——以及何时依赖聚合数据以最小化计算和存储成本。这种方法还使您能够利用 AWS 或 GCP 等提供商提供的云折扣。” Kloudfuse 的联合创始人兼 CTO Ashish Hanwadikar 表示。
不仅仅是存储，更是高效可观测性引擎
与专有的可观测性解决方案不同，使用数据湖的可观测性允许数据存储由低成本的对象存储（如 Amazon S3）处理，从而节省存储成本。随着数据量的增长，它可以扩展而无需支付额外费用。没有单点故障；例如，当文件配置为复制时，如果某个节点发生故障，集群仍然能够继续处理查询。为了实现横向扩展，当工作负载增加时，可以通过添加新节点来扩展集群。
数据湖屋，融合数据湖与仓库的创新架构
对于可观测性，实时分析和异常检测至关重要。当数据偏离既定模式时，必须及时识别这些差异，以确保采取主动响应。
可观测性数据湖提供了一个统一的存储平台，支持多种数据类型，并具有强大的数据处理和分析能力，能够加快检索速度和查询性能。
这就是所谓的“数据湖屋”（Data Lakehouse）的概念，它将摄取和存储多样化数据集的灵活性（带来快速加载速度）与传统数据仓库中结构化数据组织典型的快速查询响应时间和高效处理分析相结合。然而，与传统数据仓库不同，数据湖屋适应更广泛的数据格式，同时提供大规模的分析和查询性能。
实时 OLAP 设计（更接近数据湖屋概念）可以实现实时分析、监控和告警。实时数据湖屋能够处理大量数据和多个并发查询，查询延迟非常低。查询可以是超低延迟、高查询并发性，或者具有高数据新鲜度（数据流在摄取后立即可供查询）。
定制化可观测性，数据湖不是“现成的”
可观测性的数据湖由一个集中式的遥测数据相关性存储库组成，这是一个可观测性提供商应该提供的功能。还需要将其他公共或私有数据源集成，以创建针对特定用例量身定制的 AI 代理，如根因分析、故障排查、预测、基础设施即代码支持以及来自 Copilot、Cursor 等的建议。然而，一个现成的 OLAP 或不符合这一标准的数据湖不能准确地被描述为可观测性数据湖。虽然数据湖可以促进实时处理并帮助满足扩展需求，但它们缺乏可观测性能力，因为它们没有内置的知识产权，使其专门为该用例设计。
必须提供无模式摄取和实时分析。因此，尽管 OLAP 或数据湖本身可以作为一个坚实的起点，但没有来自开源或供应商特定遥测代理的无模式摄取，它们无法作为可观测性数据湖，无法使数据为实时监控和告警准备好，如可观测性用例所需。
除了实时摄取数据而无需预处理外，可观测性数据湖还需要支持快速查询性能和超低查询延迟。这对于高查询并发工作负载、根因分析和故障排查模式至关重要。合适的可观测性数据湖应该提供为查询和分析开发的索引。
此外，为了管理存储和高基数及维度遥测数据，可观测性数据湖应该提供存储和计算解耦，以及聚合、去重和压缩技术，以确保可观测性数据的体积得到适当存储。
工作流和 AI 辅助故障排查
部署在 VPC 中的数据湖对于实现数据安全、隐私、安全性和驻留至关重要。这些安全的数据湖非常适合用于代理工作流，以支持 AI 辅助故障排查。可以构建代理 AI 故障排查应用程序，它们可以生成并执行查询，而无需任何数据离开组织的边界，从而确保完全的数据隐私和合规性。
组织还不需要将数据从昂贵的专有可观察性数据中提取出来，以构建这些工作流。想象一下，您需要支付费用从 Datadog 中提取数据（并支付相关费用），以构建自定义代理工作流，将可观察性数据与其他来源集成，以创建自定义工作流。第三，AI 代理依赖于大规模、高质量的数据集才能有效，数据湖正是提供了这样的数据。
LLM 可观测性，为智能应用构建强大数据支撑
数据湖对 LLM 可观测性至关重要，有两个原因：使用 aRAG 架构，LLM 应用程序由多个/链式的调用组成，一些调用到 LLM 模型，一些调用到外部函数、数据库、知识库等，在数据层连接所有这些部分需要一个强大的后端数据湖。与传统的可观测性类似，这些调用通过追踪和跨度进行跟踪，识别不同调用的延迟和性能，并将故障与其他遥测数据（如日志和准确的用户监控）关联起来。数据湖可以将所有这些数据集联系在一起，以提供完整的上下文和故障排查。
此外，许多调用是为了增强 LLM 的响应准确性或领域知识，而一般目的的 LLM 不提供这些知识。通过 LLM 可观测性，用户可以不断直接评估模型和 RAG 的质量和可靠性，因为使用数据湖中的数据——这些数据仅供组织访问——这在没有数据湖的情况下不一定是这样。当添加数据以微调 LLM 应用程序时，组织不希望将模型评估发送到组织的零信任安全层之外。
不仅仅是可观测性
使用一个集中存储库的数据湖，已经成为改善可观测性的重要方式。AI 和 LLM 的出现进一步扩展和增强了可观测性的范围和能力。当企业意识到这一点时，能够通过数据湖实现强大可观测性的企业与无法实现的企业之间的差距正在扩大。AI、LLM 和数据库技术及其在可观测性中的应用也将继续发展。其影响将使数据湖成为企业实现其运营和业务目标的必要条件。
观测云，海纳百川的可观测性数据湖
观测云深刻理解数据湖在可观测性中的核心作用，因而在平台中集成了强大的相关功能。观测云不仅支持对多源异构数据的高效存储和管理，还通过先进的数据分析和可视化工具，帮助企业高效地管理和分析海量数据，提升故障排查和性能优化的效率。
通过观测云的解决方案，企业能够：
- 集中管理多样化数据：整合日志、指标、追踪等数据，消除信息孤岛，提升数据利用效率。
- 实时分析与预警：借助实时数据处理和智能预警机制，及时发现系统异常，降低故障影响。
- 优化资源配置：基于全面的数据分析，合理分配系统资源，提升整体运营效率。
面对数据量的激增和系统复杂度的提升，企业需要更为先进的可观测性解决方案。观测云作为一款面向全技术栈的监控观测一体化产品，能够帮助企业轻松构建完整的监控观测体系。其核心模块贯穿数据流动的各个环节，提供实时数据监测、日志与指标管理、应用性能监测等功能。通过统一的数据采集、全面的数据监控和无缝的关联分析，观测云为企业提供更快、更轻松、更全面的监控观测平台。