SequoiaDB分布式数据库指南巨杉数据库首著代表国人原创技术之大成湖仓一体架构跨引擎数据一致性跨业务实时数据应用 pdf下载

巨杉数据库首著代表国人原创技术之大成湖仓一体架构跨引擎数据一致性跨业务实时数据应用

SequoiaDB这款极具代表性的国产原生分布式数据库，已成为中国数字化信息技术创新的强力引擎。

面向云原生时代的弹性数据基础设施与商业化分布式数据库产品架构+管理+优化解决方案实战详解。

首度揭秘被业界广泛采用的巨杉数据库设计实现原理，提供大量真实行业应用案例及Best Practice。

解密湖仓一体架构的MySQLPostgreSQLSparkSQL跨引擎数据一致性及跨业务实时数据应用能力。

本书从分布式数据库的背景与发展情况出发，详细、地介绍了国产分布式数据库SequoiaDB（巨杉数据库）的基础知识、数据库实例、架构原理、运维管理等核心技术内容，提供了性能调优和问题诊断的基本思路。此外，书中还分享了SequoiaDB的行业应用、佳实践、工具和生态等内容。

本书旨在帮助读者更好地理解SequoiaDB的运行机制和原理，掌握运维管理的思路和实践方法，适用于普通读者入门SequoiaDB，也适用于对分布式数据库有一定认识，且具备一定运维和开发能力的读者深入了解SequoiaDB技术细节。

许建辉，巨杉数据库（SequoiaDB）公司的合伙人兼研发副总裁，拥有超过12年数据库、分布式架构研发经验。2012年加入巨杉数据库公司，作为总架构师，他负责数据库的架构设计、数据库技术创新和研发管理工作，协助将巨杉数据库服务于金融、能源、运营商等多个行业及政府部门，为众多客户提供坚实的数据基础设施。他曾为华为分布式数据库和分布式存储团队成员，是国内早的一批研究分布式技术的开拓者。

陈元熹，巨杉数据库（SequoiaDB）公司技术总监，具有近20年的软硬件协同设计经验，长期关注数据库前沿技术的研究。他是IBM加拿大多伦多实验室前架构研发工程师，拥有12年DB2 LUW研发经验，获得DB2 LUW数据库管理员和开发人员认证；曾是华为2012实验室研究员、首席架构师，从事大数据、NFV、计算生物信息学方面的研究工作，曾任华为公司数据库专家组委员。

分布式技术指的是一种基于网络的计算机处理技术。该技术打破了海外传统IT巨头的技术垄断，无论在互联网还是在金融领域上，该技术方向都已被证明是行之有效的技术方向。海量数据作为各行业的重要生产要素，更需要分布式技术提供高效、可靠的支持。期待以SequoiaDB为代表的国产原生分布式数据库，成为我国的数字化信息技术创新的坚实引擎。

——中国工商银行软件开发中心前总经理，梁礼方

进入云原生时代，分布式数据库灵活扩展的能力为业界提供了弹性的数据基础设施，。SequoiaDB作为是国内较早商业化的分布式数据库产品，本书围绕其架构、管理、优化进行全面解读，通过丰富事例的示例，让读者快速掌握SequoiaDB管理。

——CSDN创始人，蒋涛

百家争鸣，十年砥砺，基于自研分布式数据库内核的SequoiaDB，经过不断的多年的实践打磨和产品创新，建立了良好的业界口碑，获得了用户的广泛的信任并积极采用和信任。本书体系化地诠释了分布式数据库的架构原理，完整地展现了巨杉数据库的行业应用案例及具体实践，是读者了解分布式技术和SequoiaDB不可多得的佳作。

——3云和恩墨创始人，鲲鹏MVP，盖国强

SequoiaDB提供的Multi-Model（多模）多模能力，不但提供了不同的数据存储类型，更提供了包括MySQL、PostgreSQL、SparkSQL在内的跨引擎数据一致性，。这一全新的“湖仓一体”架构可协助企业有效地打通跨业务的实时数据应用。

——阿里云技术专家，PostgreSQL社区联合发起人，周正中（德哥）

第 1章 分布式数据库行业发展 ......................................................................................... 1

1.1 分布式数据库的行业背景与发展轨迹 ...................................................................1

1.2 巨杉数据库公司及其产品简介...............................................................................5

第 2章 SequoiaDB 行业应用及实践 ....................................................................... 14

2.1 企业应用场景 ........................................................................................................14

2.2 企业级应用案例 ....................................................................................................20

第 3章 SequoiaDB 基础知识 .......................................................................................... 30

3.1 SequoiaDB 的安装和部署 .....................................................................................30

3.2 MySQL 实例的基本操作 ......................................................................................52

3.3 SDB Shell 模式 ......................................................................................................58

第 4章 数据库实例 ......................................................................................................... 64

4.1 MySQL 实例 ..........................................................................................................64

4.2 PostgreSQL 实例 ....................................................................................................75

4.3 SparkSQL 实例 ......................................................................................................89

4.4 MariaDB 实例 ...................................................................................................... 106

4.5 S3 实例 ................................................................................................................. 111

4.6 SequoiaFS 文件实例 .................................................................................... 124

4.7 JSON 实例 ............................................................................................................ 141

第 5章 架构和数据模型 ................................................................................................ 148

5.1 节点 ...................................................................................................................... 149

5.2 复制 ...................................................................................................................... 157

5.3 分区 ...................................................................................................................... 174

5.4 分布式事务 .......................................................................................................... 183

5.5 数据模型 .............................................................................................................. 195

5.6 时间序列 .............................................................................................................. 225

第 6章 进阶使用与运维 ................................................................................................ 237

6.1 数据迁移 .............................................................................................................. 237

6.2 版本升级 .............................................................................................................. 253

6.3 扩容/缩容 ............................................................................................................. 257

6.4 备份与恢复 .......................................................................................................... 268

6.6 高可用性与容灾 .................................................................................................. 288

6.7 故障诊断 .............................................................................................................. 325

6.8 性能调优 .............................................................................................................. 336

第 7章 工具和生态 ....................................................................................................... 343

7.1 数据管理工具 ...................................................................................................... 343

7.2 SAC ...................................................................................................................... 344

7.3 SequoiaDB Cloud 多云管理平台 ........................................................................ 344

7.4 巨杉生态社区 ...................................................................................................... 345

序

人们在谈论分布式数据库等技术时，经常用“未来”等词语描述这一新技术的应用前景，但如今回头看去，才发现“未来已来”！大部分技术人在次了解分布式数据库后，通常首先会问“分布式数据库能否替代Oracle”。然而，分布式数据库的设计初衷是解决全新的实际业务问题，即在传统数据库无法满足的业务场景中，与用户一同迎接数字化转型的机遇和挑战，而并非为了单纯地替代某个原有。时至，虽然传统关系型数据库在核心交易等领域深耕了40多年，但大部分纯交易场景不论在数据量还是商业模式上都没有本质变化，其业务扩展空间十分有限。在企业的数字化转型过程中，数据量会随着业务发展而快速膨胀，这在形成全新业务需求的同时，也为数据库带来了新的市场机遇。

2011年，我和几位来自IBM DB2及华为2012实验室的“数据库老兵”一同创立了巨杉数据库（SequoiaDB）公司。巨杉数据库公司是国内早涉足并坚持发展分布式数据库的公司之一。公司创立之初的目标是在数字化浪潮中击败Hadoop体系，形成可同时兼顾大数据、联机交易、联机分析的数据基础设施。2020年，业界给这样的定义了一个新名词：“湖仓一体”（Data Lakehouse）。

SequoiaDB经历了10年的发展，形成了独具一格的架构体系，产品从早1.0版的结构化/半结构化海量数据管理，到2.0版支持全类型联机的数据湖，再到3.0版整合分析引擎、提供“湖仓一体”能力，不断演进着。在2020年发布的SequoiaDB 5.0中，更是基于“湖仓一体”架构提供了跨引擎的ACID事务一致性，显著提升了海量数据场景的联机交易扩展能力。至今，SequoiaDB已经成功应用于超过100家金融企业的生产，单集群大数据量达到1.2万亿条，运行时间长的集群已经稳定上线近8年并持续扩容，成为金融行业稳固的数据基础设施。

本书希望通过化的内容，为大家剖析SequoiaDB的整体架构，并为广大用户提供技术运维、开发过程的有效指导。在此，我要感谢在过去10年中，持续推动我们进行新技术创新的所有客户，一个产品的成功离不开客户的参与及打磨。同时，我也要感谢与我们一同打开“湖仓一体”新赛道的合作伙伴。数据库是一个建立于完整生态之上的体系化工程，若没有上下游的紧密结合，将寸步难行。后，我要感谢所有秉承以客户为中心、坚持长期奋斗的“巨杉人”，是你们打造、守护并深耕着这一片数据的沃土。让我们一同提升数据价值，打造世界产品！

2021年10月19日

巨杉数据库公司董事长&联合创始人唐迅

前言

为什么写作本书

相信大家对于“分布式数据库”已经不再陌生。与传统关系型数据库相比，分布式数据库在提供ACID事务一致性能力的同时，拥有更灵活的扩展能力及多数据模型的处理能力。近年来，国内市场中涌现出一批的分布式数据库厂商。巨杉数据库（SequoiaDB）公司作为其中的者，在从零开始的技术创新和数据库生态建设方面取得了令人瞩目的成就。

随着用户的规模和范围日益扩大，应用场景越来越多样，巨杉数据库公司在积极为用户提供服务支持的同时，也希望能够通过一本化的图书，让更多的技术人员认识和理解SequoiaDB的原理架构，并熟练掌握安装部署、使用、运维和调优等实操技能，进而提升其自主解决问题的能力和效率。

读者对象

本书适合所有数据库技术从业人员及在校学生，特别是对分布式数据库有一定了解和使用经验的DBA和数据库开发人员阅读，他们可以通过本书了解更多有关分布式数据库架构原理与运维管理的知识。

本书的主要内容

本书共分7章，从分布式数据库行业发展情况开始，到分布式数据库标杆产品SequoiaDB（巨杉数据库）的介绍，涵盖了SequoiaDB部署、管理和开发的方方面面。

第1章简要讲述分布式数据库的行业背景、发展轨迹和发展方向，以及巨杉数据库公司的简介和产品概述。

第2章介绍SequoiaDB目前在行业中的应用和佳实践案例。

第3章介绍SequoiaDB用户需要掌握的基础知识，包括如何安装、部署，并上手操作MySQL数据库实例和Shell的相关内容。

第4章介绍多种数据库实例的使用和开发。SequoiaDB目前充分兼容包括MySQL、MariaDB、PostgreSQL、Apache Spark、S3、NAS、SDB JSON在内的多种接口，应用程序基本可以在零改动的基础上进行数据库迁移。

第5章主要介绍SequoiaDB的节点、复制、分区、分布式事务、数据模型、时间序列等架构和内核原理等相关内容。

第6章从运维的角度介绍SequoiaDB管理的很多方面，包括数据迁移、扩容/缩容、备份/恢复、监控、故障诊断、性能调优等。

第7章介绍SequoiaDB的数据管理工具，以及社区生态建设情况。

本书所介绍的内容具有较强的实用性，贴近SequoiaDB用户的使用和开发需求。