设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 7762|回复: 19
打印 上一主题 下一主题

[信息技术] MongoDB架构概览

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
发表于 2012-9-18 12:31:10 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    关于MongoDB,我们能看到的资料,基本都是在指导大家如何使用MongoDB,但是,MongoDB内部是如何运作的,资料不是很多。" e" ?2 u' q+ Q  Z! G; g

2 [9 F9 U/ _2 d9 p    阅读使用手册,会有很多疑惑之处。例如,有人说,MongoDB 等同于分布式的 MySQL。它把一个Table ,按 row,分割成多个Shards,分别存放在不同的 Servers 上。这种说法是否正确?4 r2 s! E+ r& N& A

) h' u# i: k6 r; n( U; f) \  Z1 w    不深入了解 MongoDB 的内部结构,就无法透彻地回答类似问题。这个系列文章,就来和大家探讨MongoDB的内部的工作方式。- F1 M) w* w( @9 A$ o/ e

8 o/ p  ?3 Q$ s4 I3 N" [* f- J, Y
( F- P6 Z4 \' @- u- C
1 d: |- B5 f, O: M6 y
图1-1 MongoDB架构图

8 I7 O0 T" K- I* j' y+ B) {. n; E& x: U/ }
    MongoDB 通常运行在一个服务器集群上,而不是一个单机。图1-1,描述了一个MongoDB集群的基本组成部分,包括若干shards,至少一个config server,至少一个routing servers(又称 mongos)。
  _' b2 W) C: Z' ]2 b. d9 [7 Z# ]5 z
Shards
) f: Z( a; {) \  j( Z
3 _4 c2 P/ _; w& K    MongoDB的最基本的数据单元,叫document,类似于关系式数据库中的行 row。一系列documents,组成了一个collection,相当于关系式数据库中的table。当一个 collection 数据量太大时,可以把该collection按documents切分,分成多个数据块,每个数据块叫做一个chunk,多个chunks聚集在一起,组成了一个shard。
6 c3 B) R3 Y6 _& J% N/ u) @: D6 P; h& b  K) S% {
    Sharding 的意义,不仅保障了数据库的扩容(scalability),同时也保障了系统的负载均衡(load balance)。
: |7 @# f; ~# A# r9 z! g) E$ M. i4 i3 d
    每一个shard存储在一个物理服务器(server)上。Server上运行着mongod进程,通过这个进程,对shard中的数据进行操作,主要是增删改查。, E7 Y; o- G- P9 \1 H& c+ k; a

8 v3 K, P$ v# j+ t    如果系统中的每个shard,只存储了一份数据,没有备份,那么当这个shard所在的server挂了,数据就丢失了。在生产环境中,为了保证数据不丢失,为了提高系统的可用性(availability),每一个shard被存储多份,每个备份所在的servers,组成了一个replica set。
" k% k' U* L( |" ?% n  c- k
  ~* A4 w' Z5 n' A' gShard keys3 e) H  I: U9 |5 i( R
        . |. H# R- g; D/ }8 F; W
    为了把collection切分成不同的chunks,从而存放到不同的shards中,我们需要制定一个切分的方式。
* @1 q7 O2 w6 S; Q* E( r5 ]$ c: P7 c( d0 [0 g8 m" Y. K$ ?! f* B
    如前所述,在 MongoDB 数据库中,一个表collection由多个行 documents 组成,而每个 document,有多个属性 fields。同一个 collection 中的不同的 documents,可能会有不同的 fields。例如,有个 collection 叫 Media,包含两条 documents,& z4 e' o6 O$ T( I

; l& P6 |3 f; h+ M2 |4 n) M{  T- ?8 Z9 e3 }- _, `$ E0 j1 o
  "ISBN": "987-30-3652-5130-82",( a/ |/ w4 t# L+ Y1 y* ^
  "Type": "CD",( N& K3 @0 Z  _7 t7 _! d+ G
  "Author": "Nirvana",
9 t' i. s% V3 ~. j4 j- U* m) H: s/ }  "Title": "Nevermind",/ Z  z) z) @1 c+ d1 `
  "Genre": "Grunge",/ ]  L- J0 L' I! y8 F0 L
   "Releasedate": "1991.09.24",
  e% s& H9 \+ G* J3 c( g2 B   "Tracklist": [+ N. ^% [  J0 @) A  z6 H
     {- U9 P* d, z7 f# G& _
        "Track" : "1",
1 [. ]6 r6 `" ^        "Title" : "Smells like teen spirit",9 U$ ]; H% g% Z4 m. j" T( I. g
        "Length" : "5:02"
9 B, J. x2 [, `7 j8 y! J. |     },
3 \; @  d/ p( E5 m1 o     {
: D# P3 v7 U/ V: S& ?        "Track" : "2",
# r1 k9 `1 z, _) B        "Title" : "In Bloom",! h8 P, A+ j; h4 t
        "Length" : "4:15"
2 U5 K9 v$ r  g  [: g& q     }' M4 d' E  ~" g3 S* ?5 t
   ]# Q8 K1 p- l: ?4 E+ u0 `
}3 p+ D, L5 |( w! e, t

9 e8 O, O9 E' K, K{6 X! I$ S# Q8 @3 Q: Y
  "ISBN": "987-1-4302-3051-9",  f" M( c& T1 i( @9 ~5 y
  "Type": "Book",3 n9 ]5 s5 h( w
  "Title": "Definite Guide to MongoDB: The NoSQL Database",
6 R' v; E5 A5 M# i  a  "Publisher": "Apress",
4 x& _6 f  j" @9 s8 D- Z  "Author": " Eelco Plugge",# ^& u3 ^" ^! H
  "Releasedate": "2011.06.09"
  F2 F  ], Y- C9 V0 f# y! Z}
$ _" P7 p4 S7 x7 {" m9 Q+ \1 r. G1 o7 Q( `" h. m- F% R
    假如,在同一个 collection 中的所有 document,都包含某个共同的 field,例如前例中的“ISBN”,那么我们就可以按照这个 field 的值,来分割 collection。这个 field 的值,又称为 shard key。1 b$ h5 \2 @2 h2 @7 }) _! Q. n1 _" d

- _. A2 K6 g+ O& I8 @    在选择shard key的时候,一定要确保这个key能够把collection均匀地切分成很多chunks。2 F9 |; a$ z! n' E; m  v3 v0 z
( v% H8 \5 w2 z9 w$ c
    例如,如果我们选择“author”作为shard key,如果有大量的作者是重名的,那么就会有大量的数据聚集在同一个chunk中。当然,假设很少有作者同名同姓,那么“author”也可以作为一个shard key。换句话说,shard key 的选择,与使用场景密切相关。' Q- N7 i& e  B" D- @9 B& j

" W' ]% s' x# S6 ^& O- A0 [    很多情况下,无论选择哪一个单一的 field 作为shard key,都无法均匀分割 collection。在这种情况下,我们可以考虑,用多个 fields,构成一个复合的shard key。/ G* k% N4 g; x' T% f

/ [" x3 J, m6 u8 n, I    延续前例,假如有很多作者同名同姓,他们都叫“王二”。用 author 作为 shard key,显然无法均匀切割 collection。这时我们可以加上release-date,组成name-date的复合 shard key,例如“王二 2011”。7 n2 Z/ n1 i4 X
. k3 }5 U% Q- |% h/ I
Chunks, V4 v1 J5 N; ?! L4 m! j
        / @, O/ ]: s5 y
    MongoDB按 shard key,把 collection切割成若干 chunks。每个 chunk 的数据结构,是一个三元组,{collection,minKey,maxKey},如图1-2 所示。3 N& D' k- S7 k$ f

3 Z' y' B% F( T- K

# W; k+ U6 W' }  Y0 ?/ w6 i: Y图1-2 chunk的三元组

1 f/ r( Z6 ?2 T$ s
, A- \- O% r- X& d8 I; }+ q! W    其中,collection 是数据库中某一个表的名称,而 minKey 和 maxKey 是 shard key的范围。每一个 document 的shard key 的值,决定了这条document应该存放在哪个chunk中。
& e  M& ^7 G& [" y. N8 d2 Q+ r
    如果两条 documents 的 shard keys 的值很接近,这两条 documents 很可能被存放在同一个 chunk 中。
- |' d. \  ?+ S( s, w" E9 f! S. \, b& ~# i
    Shard key 的值的顺序,决定了 document 存放的 chunk。在 MongoDB 的文献中,这种切割 collection 的方式,称为order-preserving。8 l% ?7 B5 Z+ l) B8 y
! B& o& g. R* g- z
    一个 chunk最多能够存储64MB的数据。 当某个chunk存储的 documents包含的数据量,接近这个阈值时,一个chunk会被切分成两个新的chunks。" p  L0 [9 y2 u  c

3 B1 }9 P$ c+ M6 ~' N    当一个shard存储了过多的chunks,这个shard中的某些chunks会被迁移到其它 shard中。
1 ?3 m' {4 G; `9 q5 f3 t2 \' [; R' @5 q5 X7 ^$ O( P; N/ P1 y; h# R
    这里有个问题,假如某一条 document 包含的数据量很大,超过 64MB,一个 chunk 存放不下,怎么办?在后续章节介绍 GridFS 时,我们会详细讨论。2 ]$ A) P" Q+ B) d  q4 n& |; P7 {
7 |1 Q) g; y8 X; ~
Replica set* ~  \* P( ~9 y8 s
        : v7 Y. j9 u- e- K! _- j
    在生产环境中,为了保证数据不丢失,为了提高系统的可用性(availability),每一个shard被存储多份,每个备份所在的servers,组成了一个replica set。
; ]2 T( X% t/ t# R$ `; U& A9 o# i
2 O3 Y- V/ U3 k2 ^) p8 ~& l    这个replica set包括一个primary DB和多个secondary DBs。为了数据的一致性,所有的修改(insert / update / deletes) 请求都交给primary处理。处理结束之后,再异步地备份到其他secondary中。
9 [* T; u6 s( S1 Z' I+ |/ }. T+ c4 i7 r  _" K
    Primary DB由replica set中的所有servers,共同选举产生。当这个primaryDB server出错的时候,可以从replica set中重新选举一个新的primaryDB,从而避免了单点故障。
% E: n% _# C, V  U+ n3 b6 Y" {4 a0 Z7 U, h# T
    Replica set的选举策略和数据同步机制,确保了系统的数据的一致性。后文详述。
, l; b/ C( f6 r7 p, ^! b: T" B! B% W- L& U5 m% d4 j: @
Config Server5 s5 B4 ]: V" h9 U: k! c
        5 o* @' u  `- a2 ?
    Config servers用于存储MongoDB集群的元数据 metadata,这些元数据包括如下两个部分,每一个shard server包括哪些chunks,每个chunk存储了哪些 collections 的哪些 documents。: p' F2 n8 m2 b" }, i) _+ h) k

3 L: X( d( L- {  Z) i( o    每一个config server都包括了MongoDB中所有chunk的信息。
  n7 ~. t, H) |2 m  r% x
0 K3 ^) c& u5 U    Config server也需要 replication。但是有趣的是,config server 采用了自己独特的replication模式,而没有沿用 replica set。
0 g5 }1 |8 o; ^3 x6 v4 f5 Q) C1 x% n7 S  @3 h( m4 ]& v: Z2 b
    如果任何一台config server挂了,整个 config server 集群中,其它 config server变成只读状态。这样做的原因,是避免在系统不稳定的情况下,冒然对元数据做任何改动,导致在不同的 config servers 中,出现元数据不一致的情况。; j7 |# c/ w- H) V
8 O  C1 k, b! e8 ]' y8 T6 Y) a
    MongoDB的官方文档建议,配置3个config servers比较合适,既提供了足够的安全性,又避免了更多的config servers实例之间的数据同步,引起的元数据不一致的麻烦。
+ p$ D' [# K- X7 i0 b3 p) R
" N% k) A9 @+ \, E: o/ r7 q& ?Mongos
% a: J$ Y% A: }0 C1 r5 v1 B2 v
8 f. n" ^% M9 E; ^9 q! d    用户使用MongoDB 时,用户的操作请求,全部由mongos来转发。9 B" v) J$ D  E- {7 ^. ?1 ~
/ E+ R+ p' b+ q# ^: C9 d0 K% ^& i
    当 mongos 接收到用户请求时,它先查询 config server,找到存放相应数据的shard servers。然后把用户请求,转发到这些 shard servers。当这些 shard servers完成操作后,它们把结果分别返回给 mongos。而当 mongos 汇总了所有的结果后,它把结果返回给用户。
2 a' K; q/ ~" K' {8 n% {# u% _0 O( p# b. E8 b# p! y
    Mongos每次启动的时候,都要到config servers中读取元数据,并缓存在本地。每当 config server中的元数据有改动,它都会通知所有的mongos。3 E; c$ `& L; B( _% {
$ N$ P% |. P, a( o+ @/ m4 `/ h
    Mongos之间,不存在彼此协同工作的问题。因此,MongoDB所需要配置的mongos server的数量,没有限制。$ l% L" n9 a+ X" I$ y; @# O

; G2 X' L# C: p    通过以上的介绍,我们对每个组成部分都有了基本的了解,但是涉及到工作的细节,我们尚有诸多疑问,例如,一个chunk的数据太大,如何切分?一个shard数据太多,如何迁移?在replica set中,如何选择primary?server挂了,怎么进行故障恢复?接下来的章节,我们逐个回答这些问题。# ~. P  q3 d- k# y9 J& L
# g; j% a& k7 P; }: E8 E
' V. A0 K& ?4 m: w( i
Reference,
7 |0 Y. F0 ^6 S4 m# I0 K
1 i& s# m/ ]" c$ D[0] Architectural Overview
) ?9 K% k) l0 T! ?http://www.mongodb.org/display/DOCS/Sharding+Introduction0 k! C2 y2 E8 ]3 R2 `' i" {! G% C

评分

参与人数 1爱元 +10 学识 +5 收起 理由
不爱吱声 + 10 + 5 谢谢!有你,爱坛更精彩

查看全部评分

该用户从未签到

沙发
发表于 2012-9-18 12:40:50 | 只看该作者
本帖最后由 PenPen 于 2012-9-18 12:44 编辑 ' m4 \# v; [' ]3 i
2 j7 e& ^8 U/ O6 v5 ^. `, J

% d5 S% S* f% h2 o5 o2 {* _您是和邓侃一起写文章的盛楠么?

该用户从未签到

板凳
 楼主| 发表于 2012-9-18 12:44:19 | 只看该作者
呃。。。是我啊。。。

该用户从未签到

地板
 楼主| 发表于 2012-9-18 12:44:45 | 只看该作者
PenPen 发表于 2012-9-18 12:40
% u- v# m& I( W, Y) |& j您是和邓侃一起写文章的盛楠么?

  j0 ^$ ?' S# b' I, ~是我啊。。。这都能被认出来。。。

该用户从未签到

5#
发表于 2012-9-18 12:47:20 | 只看该作者
shengnan007 发表于 2012-9-18 12:44
5 k7 R$ Y3 Z& ]2 |! z) L# q$ P是我啊。。。这都能被认出来。。。
, ^/ \4 \) Q* G
这篇文章我读过。开始以为是转贴的,后来再一看id就发现真相了~

该用户从未签到

6#
 楼主| 发表于 2012-9-18 12:49:50 | 只看该作者
PenPen 发表于 2012-9-18 12:47
( |0 O8 L0 x  e- D这篇文章我读过。开始以为是转贴的,后来再一看id就发现真相了~

/ X8 s+ i1 `( c( E) S7 J) Y多谢支持。还有两篇一会帖过来。后续的还在写。边看源码边写,比较慢,hoho。这里是要推荐才能变成正式会员是么?

点评

你已经是会员了~  发表于 2012-9-18 12:50
  • TA的每日心情
    奋斗
    2022-2-8 01:13
  • 签到天数: 171 天

    [LV.7]分神

    7#
    发表于 2012-9-18 12:51:42 | 只看该作者
    shengnan007 发表于 2012-9-17 22:49
      {6 q6 l+ _% |" t& c7 [多谢支持。还有两篇一会帖过来。后续的还在写。边看源码边写,比较慢,hoho。这里是要推荐才能变成正式会 ...
    % I0 j, w; B, p" u
    欢迎,欢迎,已经给你变成正式会员了。

    该用户从未签到

    8#
     楼主| 发表于 2012-9-18 12:57:15 | 只看该作者
    不爱吱声 发表于 2012-9-18 12:51 3 s$ H7 \# x6 b# C" v% T
    欢迎,欢迎,已经给你变成正式会员了。
    / H- I3 M% r6 [  ?9 F: d( r
    多谢多谢啦~~
  • TA的每日心情
    慵懒
    2020-1-15 02:37
  • 签到天数: 1287 天

    [LV.10]大乘

    9#
    发表于 2012-9-19 03:38:34 | 只看该作者
    我们现在的 technology stack 就是 php + mongodb,涉及财务方面的东西用 postgres。: O( y- m& F, o) p& k
    7 c' v* F5 F: s: v1 X7 b

    该用户从未签到

    10#
    发表于 2012-9-19 04:21:40 | 只看该作者
    谢谢。
    % `2 ]6 ~; N6 {- a  N* K
    6 a7 ]9 h( }% f* Y中文看得真累,大部分还是英文术语。
    0 ~3 [  H( V# B0 Y$ L% k  n  t! Z2 ]3 q$ B- ?5 x4 d# U& _) j* C6 M  t
    这应该是一个系列吧,后面怎样寻找,执行指令等开始入门,还是说的太简单了。  F0 r0 |0 q4 |2 j5 U  l

    4 z( [  `. c5 u, ?5 `* ?! l现在distributed DB在那些大网站很重要,现在开始有跟已有DB分庭抗礼的苗头,不过不是那里工作的话,其中的奥妙大概难说清楚。

    该用户从未签到

    11#
     楼主| 发表于 2012-9-19 08:40:52 | 只看该作者
    巴山 发表于 2012-9-19 03:38 6 |% N- {1 Q. |6 \
    我们现在的 technology stack 就是 php + mongodb,涉及财务方面的东西用 postgres。) w3 X/ F0 f5 j1 ^. U

    ( n& d& l2 k  a: Q* m8 i: o% ` ...

    . m' q5 K9 {) I8 `mongoDB作为存储是没有问题的,财务这种核心数据,还是不建议使用mongoDB的

    点评

    主要是transaction acid的问题。  发表于 2012-9-27 17:12

    该用户从未签到

    12#
     楼主| 发表于 2012-9-19 08:44:52 | 只看该作者
    梦晓半生 发表于 2012-9-19 04:21
    . _; h2 u. l, J: `- _2 K谢谢。
    . t3 V& F% }( z7 K: ~3 D" W5 }, I( v$ J9 ?9 J3 O5 u$ o
    中文看得真累,大部分还是英文术语。
    2 e& U- C" Z/ c" j9 _
    现在关于mongoDB的文章,大部分都是在告诉大家怎么用,涉及到内部运行机理的文章,数量不多,而且不成体系。这个系列文章的目的,是让大家了解mongoDB的基本的运行机理,这样以后使用的时候,可以知其所以然。但是由于这方面的资料很少,我也是到处找资料,写了这么几篇,再往后,就是边使用,边看源码,边写了。
  • TA的每日心情
    奋斗
    2018-1-6 00:24
  • 签到天数: 1 天

    [LV.1]炼气

    13#
    发表于 2012-9-19 14:16:01 | 只看该作者
    shengnan007 发表于 2012-9-18 12:44
    $ n% _5 {: c) k8 P9 G0 X! k是我啊。。。这都能被认出来。。。

    1 P- F$ B4 s0 S3 ~1 R1 p, X3 M# Y是邓嫂么?

    该用户从未签到

    14#
     楼主| 发表于 2012-9-19 14:17:53 | 只看该作者
    profer 发表于 2012-9-19 14:16 4 m1 H  d5 _- v( [9 e' K
    是邓嫂么?

    " ?/ w6 C: j+ |( X是邓的小兵
  • TA的每日心情
    奋斗
    2019-9-9 20:24
  • 签到天数: 1 天

    [LV.1]炼气

    15#
    发表于 2012-9-19 18:35:28 | 只看该作者
    有点惊讶 居然在这里看到这篇文章 呵呵 静待大作

    该用户从未签到

    16#
    发表于 2012-9-20 00:57:50 | 只看该作者
    shengnan007 发表于 2012-9-19 08:44 & m1 `* N; x6 U* N, l  ~3 Z1 v9 k
    现在关于mongoDB的文章,大部分都是在告诉大家怎么用,涉及到内部运行机理的文章,数量不多,而且不成体 ...
    1 e' B2 `/ W- N7 J3 E
    太好了,期待中,希望都带上英文reference。; R, H$ `  f/ W) {" G  G" Q
    : }3 e' I+ _, k5 d' J9 W1 U- w
    现在这种新技术很多,Mongo是比较流行的一个,我这里附带一下一堆NoSQL的新系统,到最后估计会有几个胜出。
    7 X8 ?/ _/ y( _5 D6 b  n- g+ N& z0 e% U2 A3 Y
    http://en.wikipedia.org/wiki/NoSQL

    该用户从未签到

    17#
     楼主| 发表于 2012-9-20 08:53:41 | 只看该作者
    梦晓半生 发表于 2012-9-20 00:57
    % V6 [/ V# L5 p: L# m) H' z太好了,期待中,希望都带上英文reference。
    - c, w8 t7 l/ u7 b/ W: S  X, U+ `2 h. `* [- ]# t% @. k+ O! Q
    现在这种新技术很多,Mongo是比较流行的一个,我这里附带一 ...

    * A% F+ _+ B: l8 x现在写的也很纠结,资料太少了,哈哈

    该用户从未签到

    18#
    发表于 2012-9-21 11:52:33 | 只看该作者
    shengnan007 发表于 2012-9-20 08:53 % F  O2 j# d0 U6 L, E6 r
    现在写的也很纠结,资料太少了,哈哈
    # ?6 ^6 x# V* x6 q  x' r0 J
    建议从NoSQL写起,这是推动新数据库设计的需求关系,原始动力。
    8 u( z- A' d8 d9 K! e# y% ~* u4 g: E. |6 R' b, o
    http://en.wikipedia.org/wiki/NoSQL
    ' x: Q$ ~  f7 [, D
    2 y' d5 f5 M6 [2 U
  • TA的每日心情
    郁闷
    2019-4-22 08:49
  • 签到天数: 38 天

    [LV.5]元婴

    19#
    发表于 2012-9-21 17:03:12 | 只看该作者
    恶魔吹笛来 发表于 2012-9-19 18:35 " p6 Q) |6 o1 C$ N& N" r  e2 T
    有点惊讶 居然在这里看到这篇文章 呵呵 静待大作
    4 O5 i; G% N# ^; e" E% t+ V- W7 `
    有什么可惊讶的邓侃在前一个爱坛版本是很早的注册用户呢,从开心网一块迁移的。。。

    该用户从未签到

    20#
     楼主| 发表于 2012-9-24 09:11:03 | 只看该作者
    梦晓半生 发表于 2012-9-21 11:52
    & z- u! j( o( A. t& ~# P6 g9 |建议从NoSQL写起,这是推动新数据库设计的需求关系,原始动力。6 g; P! f; q% \5 @
    2 q+ b8 D6 z/ Q1 G9 {- f
    http://en.wikipedia.org/wiki/NoSQL
    1 l0 h1 l+ u' E1 Y0 m
    好的好的,现在这个写完,然后开始写nosql

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-9-11 09:31 , Processed in 0.053909 second(s), 21 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表