【数据库内核】SQL解析+查询优化+列式存储+向量化执行+分布式源码

264 0
haiumi 发表于 前天 23:10 | 查看全部 阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
一、内容概述. L! |& K% |; }& i, N6 `
- I2 P3 t- b) U0 d5 q2 o
本资料包收录 10 个国际知名开源项目的真实源码核心部分,沿着一条主线组织:SQL 解析 → 查询优化 → 执行引擎 → 列式存储 → 向量化执行 → 分布式数据库内核。
, a) d  _! T0 o! A. I
( y( M! z0 s3 a8 Y# Q* U2 I* v它不是又一份数据库教程的截图合集,而是十个可以真正编译、真正跑起来的工程实现:Rust 的 SQL 解析器、微软官方的 T-SQL 解析器、Python 的方言转译器、ANTLR 解析器生成器、Java 的关系代数优化器、C++ 的嵌入式分析型数据库、Apache Arrow 的列式内存格式、Meta 的向量化执行引擎、Rust 的分布式时序数据库、Go 的分布式位图数据库。6 s3 d5 i/ y. o0 Z
! a7 g( T" d# W- `
四个板块各自成体系,合起来能回答同一个问题:一条 SQL 从字符变成执行结果,中间到底发生了什么。
: u/ A# g0 A# W, k4 W' L4 b8 u2 ?" B7 s/ c5 _- P2 c* k
二、目录规模
3 U+ ^; W* U9 {7 B* ]7 [) _: ~3 a* h2 |0 P9 f
全包共 7509 个文件,74.82 MB,四个板块分布如下:% ]' i6 l6 G. B9 X: h' r$ K, q
" Y5 u$ x( ]# ]% U
01-SQL解析与语法树:2141 个文件,24.98 MB) q6 k$ ?' t) N. u9 k* a2 a5 i
02-查询优化与执行引擎:3042 个文件,20.63 MB
0 C  i: H3 g* D7 {/ i03-列式存储与向量化执行:1591 个文件,19.28 MB
7 Q' {7 J9 u! N+ h& n' _8 Z04-分布式数据库内核:735 个文件,9.92 MB
. ^- \& J: d8 g' T+ W  B5 V
: [" }  n3 @7 r2 u$ g$ ~5 B十个项目的具体规模:, e# ]4 S# X7 j( {) _& `4 j
) h% M2 H& A/ {6 H8 a1 C- Y
sqlparser-rs-Rust解析器:104 个文件,4.97 MB, |( Z8 L/ N& D- g$ ]3 k
SqlScriptDOM-SQL脚本解析:1324 个文件,14.47 MB( d0 w9 H+ }, Y$ T
sqlglot-SQL解析与方言转译:188 个文件,3.01 MB$ v, |) i+ \7 i7 P3 j& S
antlr4-解析器生成工具:525 个文件,2.54 MB" h3 ~  c& V! ]( D/ ?! _% z! A
Calcite-SQL解析与查询优化:1033 个文件,8.94 MB
9 X' E+ P' a# B: y2 T+ NDuckDB-嵌入式分析型数据库:2009 个文件,11.68 MB
5 n+ e- p0 k2 \/ q! g( H( [! xArrow-列式内存格式:742 个文件,10.40 MB
9 B, ]! T0 E/ m% |3 }7 AVelox-向量化执行引擎:849 个文件,8.88 MB! Z9 [4 Z0 _! r+ x, _' t
GreptimeDB-分布式时序数据库:328 个文件,6.15 MB7 }& ?4 b. v2 Q6 [
Pilosa-分布式位图数据库:407 个文件,3.78 MB
" d1 \7 |4 p4 s
' ]" k% r" M$ x2 D0 u+ W语言构成上,Java 源码 1423 个、C++ 源码与头文件 3110 个、Rust 源码 382 个、Go 源码 332 个、Python 源码 246 个、C# 源码 1281 个,另有 Antlr 语法文件 21 个与 JavaCC 语法文件 1 个。! ^; \& {( O0 U3 p" p/ D5 T8 T
7 t1 d. D- y; }0 k$ z& [# a; w
三、主体分节* V4 F7 E/ p, b0 P7 E

7 u/ N2 W. j4 G& [# u. l01 SQL 解析与语法树
1 d5 Z4 {  t7 ~9 \- R7 \8 n' y2 b9 S. D4 W3 P& ?

README 导读节选(四个板块的内容与阅读顺序)

README 导读节选(四个板块的内容与阅读顺序)

9 I( S0 u7 x" J: x( s2 u  {1 N; }' H/ I+ g' i

% ~' {, V5 @4 ~/ b& X; Z8 ~0 \# z: Fsqlparser-rs 是 Rust 写的可扩展 SQL 词法与语法分析器,覆盖 ANSI SQL:2011 并支持二十余种方言,src/parser 与 src/ast 展示了从字符流到语法树的完整路径,dialect 目录说明各方言差异如何用继承与覆盖表达。
. j- f) I0 b  c# Y4 L8 i( r' B3 I/ ]) g. @8 f/ v7 _& X
SqlScriptDOM 是微软官方的 T-SQL 解析器。Parser/TSql 下是完整的 ANTLR 语法文件,Ast.xml 定义抽象语法节点,ScriptDom 是 AST 类型与脚本回写生成器的实现,tools 目录下是这个项目自研的代码生成工具,能看到从语法文件到 AST 代码的全过程。' P/ m" |/ {6 }/ q9 S

+ \2 F! E2 u6 z; D  Psqlglot 是 Python 实现的 SQL 解析与方言互转工具,parsers 与 dialects 目录是理解同一句 SQL 在不同数据库里含义不同的绝佳材料。
( f3 r& n" {4 g/ z% ?* K7 ?
: C9 W9 _( x/ g0 m6 t/ \" n. nantlr4 是解析器生成器本体,tool 是生成器源码,runtime 下的 Java、Go、Python3 三套运行时,看它就能明白 LL(k) 解析表、词法动作与 AST 构造是怎么自动生成的。1 u& J- P0 e$ q  k
4 \. p; [& F" y. ]
02 查询优化与执行引擎0 P7 @6 }$ s2 q" ~- I2 f
/ Q" g# x( _, f$ v) J5 b
preview_02.png / X7 o+ e+ J  y7 v

9 D/ T; R# ^5 J4 X
' e7 q+ Y9 ]7 Q6 z2 `* o, kCalcite 是 Java 的关系代数与优化器框架。sql 目录做解析与校验,sql2rel 目录把 SqlNode 转成 RelNode,是进入 Volcano 模型的入口,rel/rules 是规则集合,plan 目录里同时有 Volcano 与 Hep 两种规划器。这是理解优化器到底是什么的最好样本。
8 |. ?4 F4 \0 Z: ^3 {# ~
- d- A% Z" g3 |  CDuckDB 是 C++ 实现的进程内分析型数据库。src/parser 用 PEG 语法解析 SQL,src/planner 做绑定与逻辑计划生成,src/optimizer 是规则驱动的优化器,包含连接顺序优化、谓词下推与聚合重写,src/execution 是火山式拉取执行。
. K. |) n  z4 h4 d; o
- z( ]: j' Y& L3 }' O) F4 t% z# j03 列式存储与向量化执行/ p8 J: [( _( B" l! {
1 R- l( r: |% y( k, }% o

来源与版权声明节选(十个源仓的许可证逐仓核对结论)

来源与版权声明节选(十个源仓的许可证逐仓核对结论)
8 t( V/ w. `: l6 m& `
4 Z  D  @0 Z8 |% I' v# p
$ [* a& j- I8 z
Arrow 是 Apache Arrow 的 C++ 实现。列式内存布局、类型系统、Array 与 RecordBatch 构造、IPC 流格式、CSV 读写、compute 算子与 Parquet 支持都在这里,是列式存储的事实标准。. _& K$ F3 _3 n
$ T' P/ ^5 K+ x8 q9 w/ q
Velox 是 Meta 的向量化执行引擎。vector 是向量与向量算子,exec 是算子实现,包含哈希聚合、哈希连接、排序与窗口,expression 是表达式求值,common/memory 是内存管理与 spill 机制。看它能明白一次处理一批数据的向量化思想相比一次处理一行的执行器,代码结构上究竟差在哪里。
9 X" f2 K( ?  e' _- e
' Y8 D, s9 i. J4 {0 L# l04 分布式数据库内核2 T% R& T- t& c$ h8 }1 U- l' J# j

- O! h, s4 ^3 j2 r; T3 B8 K5 G+ \. g

实测说明节选(各语言源码的真实编译与执行记录)

实测说明节选(各语言源码的真实编译与执行记录)
+ c4 E* O# ]" Q
: G+ f3 W0 B+ h. s

, K6 X  ^+ D) C6 RGreptimeDB 是 Rust 实现的分布式时序数据库。src/query 含优化器、分布式计划生成与逻辑计划改写,src/operator 是各类算子,src/frontend 是会话与实例管理,src/sql 是 SQL 解析与语句处理,src/datatypes 是列式数据类型与向量实现。
# U3 o2 U$ P: ]' I+ b' ?1 y1 T9 K; `8 U+ J7 i7 b
Pilosa 是 Go 实现的分布式位图索引数据库。roaring 是 roaring bitmap 的 Go 实现,lattice 是分片与执行引擎,sql3 是 SQL 层,dax 是查询表达式层,pql 是查询语言。5 h4 f3 y; Y* P8 V0 `9 J0 m/ j

/ ~7 n# G8 D% e/ ?四、核查结果) U/ x+ f' U5 R. N) E+ c

# w: G4 i3 ~+ F, s以下全部为在本机实际执行命令后得到的结果,未实测通过的部分不作任何通过声明。3 K. C/ B3 Y+ o+ D

! A/ e  t9 [' KRust(sqlparser-rs):在包内源码副本上执行 cargo build 编译通过,耗时 38.9 秒;cargo test 全部测试通过,20 个测试二进制、1859 个用例通过、0 个失败、7 个忽略。
; l- T- k6 G. _  ^  F" u  w& Q- o: M9 x6 F, a9 h0 j( q3 F
Python(sqlglot):包内 182 个 Python 文件逐个语法编译通过,失败 0 个;从包内源码目录直接 import sqlglot 成功,加载路径确认在包内,并实际完成了三条方言转译用例(MySQL、PostgreSQL、DuckDB 方言解析后转 Spark 方言输出)。
0 `2 j9 w7 ~% R: j0 s8 o4 s- d
Java(Calcite):用 JDK 自带 javac 对包内 1026 个 Java 源文件做纯语法解析,语法错误 0 个,耗时 2.4 秒。此处为语法层解析,不解析符号也不做类型检查,目的是确认源码完整、无截断、无编码损坏。0 x# w) ^3 z0 F! k

) @1 Y' a( b2 n+ `0 `& GC#(SqlScriptDOM):在包内源码副本上执行 dotnet build 构建成功,0 个错误,耗时 100.6 秒。这次是完整的真实构建,包含四个阶段:调用 ANTLR 2.7.5 依据 13 个语法文件生成词法与语法分析器、执行脚本生成 Token 类型表、运行项目自研的代码生成工具依据 Ast.xml 生成 AST 类与访问者、最后对四个目标框架编译产出库。其中 ANTLR 工具本身需从上游官方地址下载,其余生成步骤全部使用包内文件完成。
# g5 I/ ~8 t1 g1 J& K3 j! J# U- Q2 f: U2 C# x1 ^/ p% k
Go(Pilosa):对收录的每个包分别执行 go build,26 个包编译通过,包含位图索引核心、分布式分片、SQL 解析与规划层、查询语言、协议定义以及存储缓冲日志追踪等支撑模块。另有 13 个包未通过,原因逐条列出并已写入包内的实测说明:部分依赖未收录的服务端模块,部分因 Windows 平台不提供上游所用的内存映射调用,部分因 go:embed 声明的迁移资源目录未收录,均非源码本身有误。) a7 s- D# c3 M4 [! c
. q: ]! E! O$ [
C++(Arrow、Velox、DuckDB):对 Arrow 抽取 16 个不依赖包外第三方库的编译单元执行 g++ 语法检查,全部通过;检查前已按仓库中的 CMake 模板生成对应的配置文件,使用的是与真实构建一致的编译配置。Velox 与 DuckDB 依赖 folly、fmt、re2 等包外第三方库,本包未收录,无法做语法级编译,因此不宣称编译通过,只提供真实文件数统计。三者的完整构建脚本均保留在包内。
3 D; R/ v# b" N3 i  g) l' ~4 P
* W( P, _0 G. L' b  ?外链核查:包内所有 Markdown 与纯文本文件中的外部网址逐条提取去重后,共 490 条不重复地址全部以真实 HTTP 请求方式探测(失败自动重试,仍失败的单独复检一次),结果为 200 的 447 条、确认失效的 12 条、目标站点限流的 15 条、拒绝自动访问的 6 条、其他 10 条。确认失效的链接已改写为文字说明,指向社交账号、付费文档站与个人主页的链接已移除地址仅保留署名。包内的外链核查说明逐条列出了处理口径与探测明细。
, p' W5 u7 r* t2 E3 l3 w& X. k3 n; y' V1 ^* f% ]2 q
全量校验:对包内 7509 个文件逐个检查编码、空文件、图片文件、违禁词与外链,非 UTF-8 文件 0 个、空文件 0 个、残留图片 0 个、违禁词命中 0 个、错误 0 个。
! |( C; O9 Z# y* u# V, O5 W/ E
! ^6 P% u6 p5 V& o4 ^; f; s五、许可与转载说明
* w/ b& F) i/ J. f  h, v% _9 W# X* F+ A
十个项目全部来自其官方仓库,许可证逐仓下载原文核对后收录,许可证全文以独立文件形式放在成品根目录,可直接查阅。* s! ?, g: |1 k

+ y4 V! s; @, w许可分布:Apache-2.0 共 6 个(sqlparser-rs、Calcite、Arrow、Velox、GreptimeDB、Pilosa),MIT 共 2 个(SqlScriptDOM、sqlglot),BSD-3-Clause 共 1 个(antlr4)。全部为宽松许可,未发现非商业条款、附加销售限制或禁止再分发的条款,Apache-2.0 项下的 NOTICE 文件已随源码一并保留。
6 ]& v3 b8 c$ n$ Y. g% Y1 L) S# j9 M5 t3 f+ d# x
选型阶段明确排除了以下项目:AGPL 许可的 citus、BSL 许可的 cockroachdb、含专有许可目录的 timescaledb、根目录无可引用许可证文件的 influxdb 与 openGauss、GPL 传染许可的 rocksdb,以及 clickhouse、questdb、apache/doris 三个体量在 1.4 GB 到 15.6 GB 之间无法作为附件分发的项目。完整排除清单与逐仓核对结论见包内的来源与版权声明。" _, D$ R5 m9 H! y0 |& }# s$ c

7 f8 U/ [: o# w$ a本资料包仅作学习与教学用途,各项目版权归原作者及贡献者所有。转载本文时请注明出处,并保留包内的许可证文件与署名信息。
* ]! K6 M; Z; d8 Z
0 H; [& Z- l1 |5 y六、适用人群
  e2 N/ X0 }# u% o& f% i; @5 F# G# k$ I) Z. ^. y. D- n
想把数据库内核从概念搞清楚到能动手改的读者;正在写查询优化器、列式引擎或向量化执行引擎的开发者;以及需要给团队准备数据库内核入门材料的讲师,四个板块可以按章节拆开讲。4 l8 l; a3 E3 O% Z$ i+ f. |) q. e4 f

0 j" L7 v* g6 n& A. _3 y0 Q* l七、使用方法
' `8 O3 R$ E; x. V: f( ]5 ^
: c6 i' \4 @( N# \' m先读每个二级目录下的 README 与许可证文件,确认项目定位与授权条款;然后按板块一到板块四的顺序纵向阅读,同一个概念在不同实现里如何落地一目了然;需要跑起来时按实测说明里的命令操作,各项目的构建脚本与依赖声明文件都完整保留在包内;引用代码时遵守各项目许可证,正文与源码中的版权声明均保留原样。
6 I5 e: Q# q/ {6 N
. U3 m1 o! J0 w" o$ F  C. f3 L八、附件说明
0 A" e$ v, P6 }
+ m  E& s2 m, C7 f" c  f本次共五个附件:  R" v5 T6 W2 @/ B! S* M
% P3 g9 Y4 x1 {$ g. Q; ]: i
主压缩包是完整的成品目录,含四个板块的全部源码、README、来源与版权声明、实测说明、外链核查说明以及十份许可证原文,压缩包内共 7509 个文件。( R. p, F6 A' H' o

8 c# J% h3 F2 W! R; j另外四张图片分别是内容规模总览、README 导读节选、来源与版权声明节选、实测说明节选,方便在帖子里直接预览。
# d1 Q9 {1 i2 D5 W( p2 X/ y1 U$ u2 q
说明:本资料包只收录各项目的核心源码目录,为控制体积未收录测试数据、构建产物、第三方 vendored 依赖、多语言绑定与文档站点;原始仓库中的二进制文件与图片已剔除,文档中引用配图处统一标注未随包收录。各子目录内的 README 说明了完整项目结构。8 ~# L1 Y) {/ W- ]$ }7 O

数据库内核与查询引擎实战手册_2026.zip

19.68 MB

完整源码包(7509 个文件,含 README、来源与版权声明、实测说明、外链核查说明与十份许可证原文) ...

回复 转播

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

学研领航向全体高校师生打造的一站式综合交流与资源服务平台,集知识学习、经验分享、资源下载、互动问答、职场成长、兼职实践于一体,覆盖校园生活、专业学习、求职就业、兴趣发展等全场景需求。

快捷导航

小黑屋
Copyright © 2026 学研领航 版权所有 陕ICP备2025077879号-1
关灯 在本版发帖 返回顶部
快速回复 返回顶部 返回列表