2024年8月26至30日，VLDB 2024 将在中国广州举行。字节跳动基础架构云原生中间件团队、批式计算团队、应用研究中心研究成果分别被 VLDB 2024 接收，并受邀进行现场报告。
**VLDB（International Conference on Very Large Data Bases）是数据库三大国际顶级学术会议之一，也是中国计算机学会（CCF）推荐的A类国际学术会议。**自 1975 年成立以来，每年吸引全球顶级研究机构投稿，但录用率较低，对系统创新性、完整性、实验设计等方面都要求极高。VLDB 也因此成为数据库管理领域最杰出的研究和发展成果的实时传播场所，反映了当前数据库研究的前沿方向、工业界的最新技术和各国的研发水平。
ResLake 是字节跳动基础架构计算和存储团队、应用研究中心和系统部网络团队，共同研发的多机房计算、存储、网络一体化资源管理系统。ResLake 既能兼顾作业完成时间（Job Completion Time, JCT），又能兼顾不同机房之间资源的负载均衡。ResLake 具备资源的全局视角，通过作业调度、数据调度、网络管控等手段，能显著优化计算和存储的排布，并有效降低运营成本。ResLake 上线后，作业平均 JCT 时间降低了 20%，机房间资源利用率均衡性提升了 53%，跨机房流量降低了 50%，并降低了46% 的存储成本。
===
Spark 在字节跳动内部主要用来做大数据离线处理，日均运行百万级别的 Spark 作业，Shuffle 量高达 500 PB，CPU 资源需求达到千万核心级别。底层计算资源包括稳定资源和在离线混部资源。在追求降本增效的背景下，如何提高上述大规模 Spark 作业的资源使用效率是一个重大挑战。
为应对这一挑战，字节跳动基础架构批式计算和应用研究中心团队与上海交通大学的数据通信与数据工程实验室合作，基于线上的实际情况从三个方面进行了系统性的优化，包括多机制的 Shuffle 优化（稳定资源 External Shuffle Service 增强、混部资源自研 Remote Shuffle Service CSS）、细粒度的资源申请和运行时资源使用控制、规则+算法两个阶段的自动参数调优。在大规模上量 50w+ 作业中，日均可节省百万级 CPU 核、PB 级内存。
CSS 开源地址：
===
持久化键值存储被字节跳动的云服务广泛用作本地存储引擎。字节跳动生产环境中常见的写入密集型工作负载，以及对成本、效率和尾延迟的严格要求对以 RocksDB 为代表的通用本地存储引擎构成极大的挑战，许多使用 RocksDB 的业务团队都长期被 RocksDB 的调优工作所困扰。为了应对这一挑战，字节跳动基础架构创新中心联合数据库团队设计和实现了一种高性能、低成本的本地存储引擎 LavaStore。LavaStore 通过有选择地定制基于 RocksDB 的通用本地存储引擎的少数组件来实现其设计目标，包括将垃圾回收机制与压缩解耦的独特 KV 分离设计、用于常见重复的 Write-Ahead-Logging 工作负载的专用引擎类型，以及定制的用户态文件系统。LavaStore 已经部署到具有数十万个运行实例的生产环境中，存储超过 100PB 的数据，每秒服务数十亿个请求，为业务带来了显著的性能提升和成本降低。例如，veDB 的平均写入和读取延迟分别降低了 61% 和 16%，ABase 在不超过 6% 的空间开销的情况下获得了 87% 的写入吞吐量提升。
数据库安全是数据库商业化产品与研究领域的重要方向。随着可信硬件环境（Trusted Execution Environment）硬件技术的发展，数据库可以整体运行在 TEE 中，为数据库安全生态带来了全新的机遇与挑战。字节数据库研究团队提出了基于可见性分析的细粒度隐私保护与改进时序表的防篡改功能，性能损耗分别控制在 5% 与 20% 以内，较传统的基于 TEE 与软件方案的隐私保护与防篡改数据库功能通用性强，性能更高。
以上论文与现场报告将于 8 月底正式亮相 VLDB 2024。届时，字节跳动基础架构团队也将发布相关论文的对应解读文章，敬请持续关注。
「往届 VLDB 论文解读」
