12月21日,2024 ACDU·中国行在南京圆满收官,本次活动分为三个篇章——回顾历史、立足当下、展望未来,为线上线下与会观众呈现了一场跨越时空的技术盛宴,吸引了众多业内人士的关注。云和恩墨副总经理熊军出席此次活动并发表了主题演讲,深度剖析了国产数据库发展现状下SQL管理的重要性与关键点。
当前,国产数据库蓬勃发展,成为信息技术领域的重要力量。然而,其快速发展往往也体现在版本的频繁更迭上。熊军在演讲中指出,国产数据库在实际应用中面临着一系列亟待解决的问题。一方面,在高负载生产环境中常出现研发环节未暴露的问题,需原厂介入解决;另一方面,快速的技术更新使得运维人员需要不断追赶技术变革的步伐。而SQL语句作为负载的关键因素,其性能表现仍然是一个主要矛盾,对此数据库管理员应尽力减少因SQL语句产生影响数据库性能的负载。
因此,熊军强调了SQL管理的重要性,并通过SQL语句指标的度量和理解、TOP SQL语句计划性主动管理和SQL开发规范前置化管理三个层面分享了SQL管理的多元数据库通用经验。他指出,SQL语句的执行时间和buffer gets(逻辑读)是衡量其性能的关键指标,前者关乎应用在数据库端的时间消耗和响应时间,后者则体现执行效率和资源消耗程度。此外,CPU消耗时间、IO时间、物理读等指标也不容忽视。熊军指出尽管不同数据库可能存在一些指标上的差异,但基本上都可以找到对应的指标和视图。通过对这些指标的精准把握,可有效评估SQL语句质量,为后续优化管理提供有力依据。
在SQL语句的日常管理中,熊军认为应重点关注TOP SQL语句和性能衰变的SQL语句。对于TOP SQL语句,可依据buffer gets、执行时间和CPU time等核心指标进行排序定义,同时借助自动化工具将高频执行但单条资源消耗低的SQL语句归一化处理,以便更精准地识别潜在问题。针对性能衰变的SQL语句,熊军分享了一种基于基线计算的管理算法,即将该SQL过去一段时间内执行的buffer gets平均值作为基线(需要去掉噪点数据),结合最近一次运行该SQL得出的buffer gets变化绝对值与百分比来全面评估SQL语句是否衰变,及时发现并处理性能下降问题,确保核心业务系统稳定运行。
zCloud 图形化监控界面
关于SQL语句的监控周期,熊军认为应根据业务特性灵活调整,对于证券行业等高时效性业务需每日监控,避免系统故障影响交易。同时,他提倡借助工具化手段,如可视化界面和告警系统,实现对SQL语句的实时监测与预警,确保问题及时发现与解决。对此,云和恩墨自研的 zCloud 产品是专为多元数据库设计的智能管理平台,在 zCloud 上能够打破商业、国产、开源数据库之间的技术壁垒,实现一键纳管多种类型的数据库,实时预警、告警数据库性能问题。
此外,前置化SQL管理也是规避很多SQL性能问题的重要手段。熊军表示,数据库领域的专家们在 Oracle 数据库时代总结了很多经验,这其中很多的经验在国产数据库里面同样适用,如避免隐式转换、避免对列使用函数、谨慎使用 '%xxx%'等等,因此熊军呼吁在数据库开发阶段便引入审核机制,通过培训让开发人员掌握SQL编写优化技巧,从源头提升SQL语句质量。
在数字化浪潮汹涌澎湃的今天,数据库技术作为企业数字化转型的核心支撑,其重要性不言而喻。随着数据库技术的不断演进,如何在日益复杂的业务环境中确保数据库的高效稳定运行,将成为行业内持续探索与实践的重要课题。相信在众多行业专家的引领、后辈的不断钻研下,国产数据库必将在数字化时代的浪潮中乘风破浪,为推动各行业的数字化转型提供坚实的数据基石,助力企业实现更高质量的发展与创新。
关注云和恩墨公众号,回复“SQL管理”,收看本演讲回放。
数据驱动,成就未来,云和恩墨,不负所托!
云和恩墨创立于2011年,是业界领先的“智能的数据技术提供商”。公司以“数据驱动,成就未来”为使命,致力于将创新的数据技术产品和解决方案带给全球的企业和组织,帮助客户构建安全、高效、敏捷且经济的数据环境,持续增强客户在数据洞察和决策上的竞争优势,实现数据驱动的业务创新和升级发展。
自成立以来,云和恩墨专注于数据技术领域,根据不断变化的市场需求,创新研发了系列软件产品,涵盖数据库、数据库存储、数据库管理和数据智能等领域。这些产品已经在集团型、大中型、高成长型客户以及行业云场景中得到广泛应用,证明了我们的技术和商业竞争力,展现了公司在数据技术端到端解决方案方面的优势。