【分布式系统】Raft四套实现+存储引擎+分布式事务+消息队列

344 0
haiumi 发表于 5 天前 | 查看全部 阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
一、内容概述( P! J  G( g5 q% i- _8 H6 @  ]8 S
" n8 t$ _8 x; }9 F# t
本帖整理的是一套分布式系统与共识算法方向的学习资料:开头是 Raft 共识算法的四套主流实现,分别用 Rust、Go、Java 与 C++ 写成,接着是 etcd 这个以 Raft 为基础的分布式键值存储与 ZooKeeper 这个 Java 写的分布式协调服务;随后是四款存储引擎源码——LevelDB、带有完整中文注释与中文配套教材的 mini-lsm、LMDB 与 bbolt;再往后是 Seata 与 dtm 两套分布式事务框架;最后是 NATS 与 RocketMQ 两个消息队列。全包共 7335 个文件、约 49.25 MB,包含 4533 个 Java 文件、1167 个 Go 文件、180 个 Rust 文件、170 个 C/C++ 文件、288 篇文档与 14 份许可证原文,全部文本已统一为 UTF-8 无 BOM 编码与 LF 换行。
/ y+ w- N; x# Z  w2 k' F% C1 _- W- ?$ G) v" B
适合人群:正在学分布式系统、想先把共识算法与存储引擎这两块基础打通的同学;正在做分布式方向课程设计或毕设、需要一套能跑能读的参考实现的同学;想读 etcd、ZooKeeper、RocketMQ 这类生产级系统源码、又怕直接从大工程里找不着主线的同学;准备做后端、基础架构或中间件方向求职、想系统看一遍共识、存储、事务、消息四条主线的同学。
& y9 z6 }& v% u3 s: d% y" b8 Z6 f) k
- i3 T' _0 J# T4 p0 v+ U& m% A9 i使用方法与注意事项:解压后先读根目录的 README.md 与 来源与版权声明.md,README 里有四个板块的目录索引与推荐阅读路线,实测结果记录在 实测验证说明.md。01 板块的 raft-rs 用 cargo 一条命令即可编译并跑它自带的 48 个单元测试,mini3d 式的短实现思路与 raft-Go 适合先看清 Raft 骨架;etcd 与 ZooKeeper 需要自己的配置文件与数据目录;02 板块的 LevelDB 与 LMDB 只依赖系统库,最容易直接编译,mini-lsm 需要在 Linux 或 macOS 下编译(它用了 os::unix 与 read_exact_at 这类 Unix 专有接口),bbolt 只需 Go;03 板块的 dtm 用 Go 编写,核心库可直接编译运行,Seata 用 Maven 构建需要 JDK 11 以上;04 板块的 NATS 可直接编译出服务端二进制,RocketMQ 用 Maven 构建。- \+ c0 f0 T0 \  U
+ {3 t. x6 X1 {% @: \  l
二、目录结构与规模
- Q/ p% @! n# |. m9 }3 M
& s6 c9 Y  k& V  }( L- S压缩包解压后共四个部分目录与十四份许可证全文:1 o- S, p3 h# ]$ y8 l
6 Z- T6 @( g( q2 X, B3 Y1 o
01-共识算法与分布式协调,2983 个文件,含 Raft 的 Rust、Go、Java、C++ 四套实现,以及 etcd 与 ZooKeeper;" r( K- B& T- g( G! a$ E1 ^5 j
9 w, V3 I4 w$ C1 U
02-存储引擎与数据库内核,539 个文件,含 LevelDB、mini-lsm、LMDB 与 bbolt;
% Q- x: P& k+ _+ A4 P( M- l" w: m9 V; J0 n
03-分布式事务框架,1811 个文件,含 Seata 与 dtm;# j( t+ F6 Y% L

2 K% z! c- y. a: o3 ^) ]04-消息中间件,1984 个文件,含 NATS 与 RocketMQ;
; E, w- D, Z6 ?; I$ W5 ^$ Q  S5 ?8 G% D1 l
根目录另有 14 份许可证原文,以及 README.md、来源与版权声明.md 与 实测验证说明.md。3 S/ Q$ p. a7 j1 v. M0 _

2 r, @  i6 j: V

内容总览:四个板块的文件数、体积与许可证清单

内容总览:四个板块的文件数、体积与许可证清单

. S; b0 K3 }8 y6 d9 b) K4 |, |- V
# F1 [" t) X( ~上图为内容总览。十四个来源项目的许可证为 Apache-2.0 九份、MIT 两份、BSD-3-Clause 两份、OpenLDAP Public License 一份,全文随包附带。5 c9 e+ D* a% X- S

# N; U2 \% x" A" {3 t: z. p7 Q' ? 分布式系统与共识算法实战手册_2026.zip (15.62 MB) - E* e# p+ @. S6 y3 M9 Z

7 T( V" U$ j" p- a$ t4 k5 V三、01 板块:共识算法与分布式协调
5 v, k/ z2 t0 u$ H# i, j+ y/ h
& r4 f3 a& ~8 d! P这一部分是同一条主线上的四套写法加两个真实系统。raft-rs 是 TiKV 出品的 Rust Raft 库,带 protobuf 编解码与完整单元测试,本机用 cargo 构建通过、48 个测试全部通过,是 Rust 生态里最常被引用的共识实现;raft-Go 是更早的 Go 实现,代码量很小、结构直白,适合先把选主、日志复制与快照压缩这几块看明白;sofa-jraft 是蚂蚁 SOFAStack 的 Java 实现,配套文档里有协议说明与运维指南;braft 是百度开源的 C++ 框架,docs/cn 目录下有 11 篇中文协议与运维文档,从选主、日志复制一直讲到多副本与 witness 模式,是这一块中文材料最全的一份;etcd 是以 Raft 为基础的分布式键值存储,包含服务端、客户端、gRPC 接口定义与命令行工具源码,能看清共识算法如何被封装成可用的存储系统;ZooKeeper 是 Java 实现的分布式协调服务,包内含服务端源码、协议规范文档、配方示例与 Prometheus 指标提供者。
* K6 J2 H6 ?$ l" z7 a1 k+ `
( P% H: R0 F* }" [& R

包内实读:mini-lsm 中文教材《分层压缩》一页原文

包内实读:mini-lsm 中文教材《分层压缩》一页原文
+ R* J  N) t% \

9 Z5 h* c+ @+ P% [4 R! N四、02 板块:存储引擎与数据库内核% s1 c$ V6 \5 e3 D# k! {1 ^

; Z0 f' \$ j- h* w# ~" f6 f# {7 Y1 y这一部分是四款可以逐行读的存储引擎。LevelDB 是 Google 的 LSM 键值存储引擎,memtable、SST、压缩与写前日志这几块教科书级别的代码都在里面;mini-lsm 是带完整中文注释、并配套一套中文教材的实现,教材从 memtable、SST、合并迭代器一路讲到分层压缩、WAL、恢复、快照与布隆过滤器,是从零读懂 LSM 最省事的材料;LMDB 是 OpenLDAP 的内存映射 B+ 树引擎,mdb.c 一个文件就能看清 B 树与内存映射的实现;bbolt 是 etcd 用的 B+ 树键值引擎,纯 Go 实现,代码量小,可直接跑它的测试。
: x% J  @6 A% A& h/ y! j9 n- f3 m: c6 u) k2 {: Y

包内源码实读:raft-rs 日志核心实现 raft_log.rs

包内源码实读:raft-rs 日志核心实现 raft_log.rs

1 A% r4 Z3 T  E# D# z
& R+ @- U2 q/ x& u! d五、03 板块:分布式事务框架+ C& ^$ j7 D; u; Z
/ R0 |3 ^& j" B  f& R
这一部分给的是两套风格不同的分布式事务框架。Seata 是 Apache 孵化项目,包内含 core、server 与 spring 集成源码,覆盖 AT、TCC、Saga、XA 四种模式;dtm 是 Go 实现的分布式事务框架,支持 TCC、Saga、XA 与两阶段消息,接口简洁并配有中文文档站。两者放在一起对照,能看出同一个问题在 Java 与 Go 生态里、在中心化与轻量化两种取舍下的不同解法。
, d; c+ [" Q0 X7 ]1 I. n; W" q% E  I, Q8 c+ d3 I9 g
六、04 板块:消息中间件$ G+ B$ ^( B2 z
$ m% Y( A6 r6 l, K
这一部分是两个消息队列。NATS 是 Go 实现的轻量高性能消息系统,包内含 Core 与 JetStream 持久化流两套实现与完整服务端源码,代码紧凑、适合从零读懂发布订阅与流式消费;RocketMQ 是 Apache 的完整实现,含 broker、store、client、remoting 等模块与中文文档,能看清存储设计、投递语义与事务消息这些更重的东西。: ^9 {3 _( m7 F4 N

6 V' h" A( t  p! F# ^

包内实读:braft 中文 Raft 协议文档原文

包内实读:braft 中文 Raft 协议文档原文

4 m6 [- b- H& x8 n! z
4 c8 x' T# b9 G七、整理与实测结果
0 O, s9 ~" z( E3 J+ f0 p% T7 p6 l4 y( U+ E  I& n( C7 G
外链逐条实测。成品保留 1104 处唯一外链引用,抽取的 1173 条不同 URL 逐条探测:985 条返回 200,13 条返回 403(对方站点反爬拦截,非链接失效),24 条返回 429(站点限流),1 条返回 500,124 条因对端直接断开连接或本身是文档里的本地示例地址而未能完成探测;其中 26 条返回 404 的逐条确认为失效链接,已在原位改写为「(原链接经实测已失效)」。此外作者个人主页与邮件列表改为文字说明,提交永久链接改写为短提交号,已停用的第三方镜像站与商业站点一律移除并保留署名。
, `: [: q) |7 p1 L5 v  u' k7 ?/ n4 d+ \6 r- J+ [, C3 }( s
图片全部不做收录。301 处配图引用统一改为文字说明并保留图题,包内 0 张图片、0 处远程图片引用;各来源自带的架构图、流程图与截图同样未随包收录。, ~0 V$ P$ V4 a# Q' e# d0 v
6 T: n5 a, v% a3 W, d: y% J$ [, {
编码全部统一。7335 个文件全部为 UTF-8 无 BOM 加 LF 换行,无乱码、无空文件、无零宽字符残留,全量校验 0 错误。* [5 \; n$ }& K8 K
5 Y/ Y/ c' C# @8 H! f# g
代码实测。Rust 侧用 cargo 构建 tikv/raft-rs 通过,并运行其单元测试 48 个全部通过、0 失败;C/C++ 侧用 g++ 11.4 逐文件编译,LevelDB 40 个文件通过、36 个因缺 snappy 中止,LMDB 21 个通过、2 个缺依赖,braft 41 个文件全部因缺 gflags 与 protobuf 中止,三者非依赖类错误均为 0;Java 侧用 JDK 25 的 javac 以纯语法解析模式检查 sofa-jraft、ZooKeeper、Seata、RocketMQ 四个工程共 2955 个 Java 文件,语法错误 0 个;Go 侧用 Go 1.26 实测 bbolt 与 NATS 均可构建通过,bbolt 自带测试中五个子包通过、主包因上游 failpoint 注入需要特殊构建标签且测试超过 180 秒未跑完;Python 侧包内 6 个 Python 文件用 Python 3.14 逐个编译,全部通过。
) b1 q% l6 b% t
6 D6 E- h' R5 _9 `9 @版权逐个核实。十四个来源项目逐个实读许可证原文后才收录,许可证含非商业条款的、仓库内没有许可证原文的、采用 GPL 或 BSL 等非开源许可的、README 含个人社交账号或付费社群引流的,以及明确声明禁止 AI 工具使用的,一律排除;各来源 README 中的联系与扫码推广段落已删除,全包按联系方式类与交易类关键词逐文件扫描,命中 0 处。) @  U5 N+ M+ Y4 V% Y; J
- M1 }2 c1 F& x7 Z1 d. ]. l
八、许可、来源与转载说明1 g* T3 `& z  k9 y, H4 u

  c& y2 P1 |7 B  v* e十四个来源项目均为 MIT、Apache-2.0、BSD-3-Clause 或 OpenLDAP Public License 许可,允许再分发与改编,但必须保留许可证全文与原作者署名,因此包内附带十四份许可证原文。本手册对原文只做了技术性处理:统一编码与换行、清理零宽字符、移除非自制配图与编译产物、删除联系与推广段落、按实测结果处理外链,并把 tarball 中指向包内其它文件的相对符号链接还原为真实文件,代码与正文的实质内容未作改动。* V% z4 @! R  V& {
) O4 h4 F( F7 t& o' j8 b3 l
来源项目名称、作者、许可协议与收录提交号,见包内 来源与版权声明.md。若要转载或引用本资料,请一并注明来源项目名称、作者与许可证,并保留随包的许可证全文。本资料内不含任何个人联系渠道、外部引导链接与商业信息,压缩包可直接下载使用。% y) q. p# f4 X# ]3 P

$ ^5 W1 n7 `! X1 c上述内容均来自我整理后的公开发布版本,已按论坛要求写明来源;如版主认为需要补充任何信息,回复本帖即可。
6 i) X8 @. s3 E+ Y. \2 s* Z
回复 转播

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

学研领航向全体高校师生打造的一站式综合交流与资源服务平台,集知识学习、经验分享、资源下载、互动问答、职场成长、兼职实践于一体,覆盖校园生活、专业学习、求职就业、兴趣发展等全场景需求。

快捷导航

小黑屋
Copyright © 2026 学研领航 版权所有 陕ICP备2025077879号-1
关灯 在本版发帖 返回顶部
快速回复 返回顶部 返回列表