设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 7763|回复: 19
打印 上一主题 下一主题

[信息技术] MongoDB架构概览

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
发表于 2012-9-18 12:31:10 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    关于MongoDB,我们能看到的资料,基本都是在指导大家如何使用MongoDB,但是,MongoDB内部是如何运作的,资料不是很多。1 I3 I0 ?" n  e& g. I8 |3 r

) P0 B. z2 z2 ^7 O, R2 f    阅读使用手册,会有很多疑惑之处。例如,有人说,MongoDB 等同于分布式的 MySQL。它把一个Table ,按 row,分割成多个Shards,分别存放在不同的 Servers 上。这种说法是否正确?
1 O$ G* E' T1 A+ p9 n: i- G% p6 [8 S  t" l# g2 A) _
    不深入了解 MongoDB 的内部结构,就无法透彻地回答类似问题。这个系列文章,就来和大家探讨MongoDB的内部的工作方式。" Z6 r# ?' p6 U. m9 n
8 U* ?3 s8 m' Z6 v

& @0 x5 L- O* v( c: B* E' b6 Q0 _. A' {* ?4 j0 x
图1-1 MongoDB架构图
# [0 Y1 s# G/ v& s
5 b6 E4 Q9 W/ ?* C( g1 B6 B5 C
    MongoDB 通常运行在一个服务器集群上,而不是一个单机。图1-1,描述了一个MongoDB集群的基本组成部分,包括若干shards,至少一个config server,至少一个routing servers(又称 mongos)。8 L+ T% q! i0 ?, a
4 ?- d0 y3 m. q% ?2 j
Shards
: ]% @5 Q: ]7 L2 @: a# Y: s9 f/ l8 G$ v# W: @: ^$ y0 _4 v
    MongoDB的最基本的数据单元,叫document,类似于关系式数据库中的行 row。一系列documents,组成了一个collection,相当于关系式数据库中的table。当一个 collection 数据量太大时,可以把该collection按documents切分,分成多个数据块,每个数据块叫做一个chunk,多个chunks聚集在一起,组成了一个shard。. C5 }# e6 P3 I/ q! c( t) H: A9 u
2 D4 U7 _, q# i6 i/ d- Y  r  R
    Sharding 的意义,不仅保障了数据库的扩容(scalability),同时也保障了系统的负载均衡(load balance)。1 ~; U5 `- Y- I- t9 m: I5 O
1 I4 y2 Z4 e# q- X- |4 K
    每一个shard存储在一个物理服务器(server)上。Server上运行着mongod进程,通过这个进程,对shard中的数据进行操作,主要是增删改查。
  v2 {" a# t# d. Q7 [- g
/ x+ K4 r) w8 L+ K3 G    如果系统中的每个shard,只存储了一份数据,没有备份,那么当这个shard所在的server挂了,数据就丢失了。在生产环境中,为了保证数据不丢失,为了提高系统的可用性(availability),每一个shard被存储多份,每个备份所在的servers,组成了一个replica set。* u* ]5 }' X9 _; x
, ~5 w2 Q# p& @- M. }/ V( b( ?' @
Shard keys8 _6 Y2 }2 p) x& J+ L
        
# F3 {, D- |; q' O0 U    为了把collection切分成不同的chunks,从而存放到不同的shards中,我们需要制定一个切分的方式。
" S/ E( I( _3 D! W0 c  S/ |! K$ j0 T# }* W
    如前所述,在 MongoDB 数据库中,一个表collection由多个行 documents 组成,而每个 document,有多个属性 fields。同一个 collection 中的不同的 documents,可能会有不同的 fields。例如,有个 collection 叫 Media,包含两条 documents,% }! B0 a: d' q& ]4 ~
3 U8 h- b/ [" g3 [
{6 T3 ?, B) B7 J7 u9 Y& }2 ~3 K
  "ISBN": "987-30-3652-5130-82",
; X9 q' a% e+ L6 [( Q- d  "Type": "CD",) }- s. w) U/ X$ S9 d+ E
  "Author": "Nirvana",
8 H% x# e  G* b* w/ l0 W+ J+ s  "Title": "Nevermind",
6 M+ U6 T) V6 v7 i& Q* B; Z' Y/ K  "Genre": "Grunge",
5 o8 p. h( v. P* a   "Releasedate": "1991.09.24",* Z  W) i# A2 B" t$ n& A
   "Tracklist": [( @! f1 L5 L+ s$ ?
     {0 q" `5 ?; U3 Z
        "Track" : "1",
. j, @7 ]; F6 v" g5 v        "Title" : "Smells like teen spirit",6 W* M7 I9 C) B0 M3 l5 x/ a
        "Length" : "5:02"; [2 {; r$ _4 p9 p5 t5 z* H
     },
# q' E! x# u+ Y) D9 \3 a4 [     {
. }+ p- \8 |7 R7 F0 ^        "Track" : "2",
0 A  D$ `( s  }0 Q4 ?' @( w        "Title" : "In Bloom"," S' c/ a1 R4 M: M, v
        "Length" : "4:15"
- `2 Z) _# Q2 O8 ]     }
/ A! Z- p. R! i   ]
/ A  Q7 |6 P2 T0 Q8 a) o}
) P( o" F6 j! \! ~
6 T/ K. K1 W' L& h{* ^7 v2 P- j5 w  h& p% V( `8 O
  "ISBN": "987-1-4302-3051-9",6 R" R; m/ ~9 A' Q+ D5 `
  "Type": "Book",$ k) s4 `, m$ B8 o
  "Title": "Definite Guide to MongoDB: The NoSQL Database",
1 L: i; g: T7 x0 W( n0 o% F  "Publisher": "Apress",6 c8 x" C) G2 d. d3 x
  "Author": " Eelco Plugge",# j8 f) ~5 K5 Q
  "Releasedate": "2011.06.09"( u/ A2 q4 u: {. q, G
}
* _0 W4 M5 ]8 A/ Q/ R% `& V5 I( w5 p5 ~; k4 E2 O' R
    假如,在同一个 collection 中的所有 document,都包含某个共同的 field,例如前例中的“ISBN”,那么我们就可以按照这个 field 的值,来分割 collection。这个 field 的值,又称为 shard key。: ^, K) X" U6 ]" ]% {! z

; p$ ~8 Q+ y1 Q! y3 M    在选择shard key的时候,一定要确保这个key能够把collection均匀地切分成很多chunks。
) u9 z) A, i( c- T. N% {; A, M. o* v, T4 |# n
    例如,如果我们选择“author”作为shard key,如果有大量的作者是重名的,那么就会有大量的数据聚集在同一个chunk中。当然,假设很少有作者同名同姓,那么“author”也可以作为一个shard key。换句话说,shard key 的选择,与使用场景密切相关。. k9 Q7 m7 D& l1 ~: D$ H' I
7 `  R, L; J- n+ w. j& V
    很多情况下,无论选择哪一个单一的 field 作为shard key,都无法均匀分割 collection。在这种情况下,我们可以考虑,用多个 fields,构成一个复合的shard key。
* {  n# N% S6 m- j% L
6 d# A# y0 J* P    延续前例,假如有很多作者同名同姓,他们都叫“王二”。用 author 作为 shard key,显然无法均匀切割 collection。这时我们可以加上release-date,组成name-date的复合 shard key,例如“王二 2011”。
( U+ u% d" Q$ W( N" ^2 T: ^: z
  B7 l" ?4 `6 R+ ]' Z/ CChunks
$ Z0 j0 u- A1 W/ _7 K4 F        
( |: p6 S+ i) z    MongoDB按 shard key,把 collection切割成若干 chunks。每个 chunk 的数据结构,是一个三元组,{collection,minKey,maxKey},如图1-2 所示。
6 ^5 }: v% ?- ~/ w7 o7 C2 h$ S0 E
0 j* g; \( p3 |& U4 N" H

0 M$ _5 w! g5 _4 n/ D# f9 C2 ^0 y图1-2 chunk的三元组
) O7 I3 @7 _: L5 {0 t
: G; ?  W+ t) g3 A4 ~& R! ]
    其中,collection 是数据库中某一个表的名称,而 minKey 和 maxKey 是 shard key的范围。每一个 document 的shard key 的值,决定了这条document应该存放在哪个chunk中。
; F2 F5 a4 O3 ]; |
- ~" w, y7 `/ ]% H9 n9 B9 f. c) m    如果两条 documents 的 shard keys 的值很接近,这两条 documents 很可能被存放在同一个 chunk 中。
' r& K2 |( q1 I7 k( E8 e  c+ {$ a3 u' u2 i
    Shard key 的值的顺序,决定了 document 存放的 chunk。在 MongoDB 的文献中,这种切割 collection 的方式,称为order-preserving。2 k2 H" F0 C5 j' V1 K+ d# g

& K* H3 j/ \: ]    一个 chunk最多能够存储64MB的数据。 当某个chunk存储的 documents包含的数据量,接近这个阈值时,一个chunk会被切分成两个新的chunks。
  J/ a4 ~! m: Z4 p, |- b4 |: ]' F3 V) M4 S; P# y
    当一个shard存储了过多的chunks,这个shard中的某些chunks会被迁移到其它 shard中。
# h3 s4 u! r+ S. U9 ?0 V) Y& i) `4 _( E6 v% k( t0 \
    这里有个问题,假如某一条 document 包含的数据量很大,超过 64MB,一个 chunk 存放不下,怎么办?在后续章节介绍 GridFS 时,我们会详细讨论。  O) k8 V4 f) A9 O

( \1 O1 L- f% @& a% v/ `2 D: s$ RReplica set
3 x0 ^; ^# B6 k( v7 l0 z        
! v, F: }# f3 g6 G  M! g    在生产环境中,为了保证数据不丢失,为了提高系统的可用性(availability),每一个shard被存储多份,每个备份所在的servers,组成了一个replica set。( l; U" O5 Y- t- ^! j& j
" I1 I' L# P) c$ U
    这个replica set包括一个primary DB和多个secondary DBs。为了数据的一致性,所有的修改(insert / update / deletes) 请求都交给primary处理。处理结束之后,再异步地备份到其他secondary中。
  d2 `1 o/ e& {, m" V4 l% N* G$ x% x7 j* `- N! b
    Primary DB由replica set中的所有servers,共同选举产生。当这个primaryDB server出错的时候,可以从replica set中重新选举一个新的primaryDB,从而避免了单点故障。; \( _3 x, L/ y, |" G  B+ a5 B
: U1 Q; k1 f* U4 Y
    Replica set的选举策略和数据同步机制,确保了系统的数据的一致性。后文详述。' Y( h  W+ T- K- D- H) n

2 `9 r* E# z3 p: VConfig Server! }# y5 _+ F. _1 a! Y! @4 N
        
3 h1 g/ d. a1 D  i8 {    Config servers用于存储MongoDB集群的元数据 metadata,这些元数据包括如下两个部分,每一个shard server包括哪些chunks,每个chunk存储了哪些 collections 的哪些 documents。" [) T: X0 @# F, x# x1 z' X

2 c- D! G# E" Y  v4 b0 O    每一个config server都包括了MongoDB中所有chunk的信息。8 I0 u3 K8 f/ Y' o9 i0 A' a
, v* d9 A3 c) Q0 |6 K) E4 {1 t
    Config server也需要 replication。但是有趣的是,config server 采用了自己独特的replication模式,而没有沿用 replica set。
6 ?8 G! N$ |4 G  h1 S! n6 R( X  t# w) v: i
    如果任何一台config server挂了,整个 config server 集群中,其它 config server变成只读状态。这样做的原因,是避免在系统不稳定的情况下,冒然对元数据做任何改动,导致在不同的 config servers 中,出现元数据不一致的情况。' [9 i9 f, N- |4 E* |% z6 t

) p9 g) M! o! G# o" I% u8 V9 D2 ~    MongoDB的官方文档建议,配置3个config servers比较合适,既提供了足够的安全性,又避免了更多的config servers实例之间的数据同步,引起的元数据不一致的麻烦。
+ n# q+ l' I! A1 r, Y6 U- r1 K" _* g3 @: ]
Mongos8 ^8 p" p( t. {7 c4 T# r" ^, ^) {; b

  r. _* I& z- ~    用户使用MongoDB 时,用户的操作请求,全部由mongos来转发。9 [; |4 z5 }4 q8 M, I9 x8 g9 v
% d  |- p) K  ^  g' x# o
    当 mongos 接收到用户请求时,它先查询 config server,找到存放相应数据的shard servers。然后把用户请求,转发到这些 shard servers。当这些 shard servers完成操作后,它们把结果分别返回给 mongos。而当 mongos 汇总了所有的结果后,它把结果返回给用户。
* k$ D$ i  }; q  `
+ e( t( o3 `, Z% _    Mongos每次启动的时候,都要到config servers中读取元数据,并缓存在本地。每当 config server中的元数据有改动,它都会通知所有的mongos。
8 c* [8 _2 s" m0 g& B# e9 J% k& W" D4 D) Z% O9 b2 V
    Mongos之间,不存在彼此协同工作的问题。因此,MongoDB所需要配置的mongos server的数量,没有限制。
% p5 s# }; K& V( U2 Z# @$ _# L& M% l# C4 C9 I$ `: y
    通过以上的介绍,我们对每个组成部分都有了基本的了解,但是涉及到工作的细节,我们尚有诸多疑问,例如,一个chunk的数据太大,如何切分?一个shard数据太多,如何迁移?在replica set中,如何选择primary?server挂了,怎么进行故障恢复?接下来的章节,我们逐个回答这些问题。
0 D; G6 B- C8 S: ~
. {1 Q8 v3 b' l$ N9 B% S! b& L1 x% m# Y" `$ `0 ~* I2 I8 q
Reference,2 B/ k7 O3 D6 W* m% [
% k( T# T% X. z9 f# `- [
[0] Architectural Overview
: d, t$ c0 f; y9 C% H0 A# Khttp://www.mongodb.org/display/DOCS/Sharding+Introduction
) R; O$ d. [0 r1 ^% J" C; A

评分

参与人数 1爱元 +10 学识 +5 收起 理由
不爱吱声 + 10 + 5 谢谢!有你,爱坛更精彩

查看全部评分

该用户从未签到

沙发
发表于 2012-9-18 12:40:50 | 只看该作者
本帖最后由 PenPen 于 2012-9-18 12:44 编辑
# h' I, {3 Q; F" {$ K# [" g9 p3 N/ J9 W

; k$ `9 I* K  L9 n您是和邓侃一起写文章的盛楠么?

该用户从未签到

板凳
 楼主| 发表于 2012-9-18 12:44:19 | 只看该作者
呃。。。是我啊。。。

该用户从未签到

地板
 楼主| 发表于 2012-9-18 12:44:45 | 只看该作者
PenPen 发表于 2012-9-18 12:40 2 ]- y0 ?( w& R  w7 s1 z
您是和邓侃一起写文章的盛楠么?

3 e9 v# O8 m* E是我啊。。。这都能被认出来。。。

该用户从未签到

5#
发表于 2012-9-18 12:47:20 | 只看该作者
shengnan007 发表于 2012-9-18 12:44
0 W+ p: R! \, f: \是我啊。。。这都能被认出来。。。

4 g) T: r5 S% r6 [% C这篇文章我读过。开始以为是转贴的,后来再一看id就发现真相了~

该用户从未签到

6#
 楼主| 发表于 2012-9-18 12:49:50 | 只看该作者
PenPen 发表于 2012-9-18 12:47 # Y5 v: U1 B! R0 N
这篇文章我读过。开始以为是转贴的,后来再一看id就发现真相了~

3 Z; {; _' I' u$ v- O  y! e多谢支持。还有两篇一会帖过来。后续的还在写。边看源码边写,比较慢,hoho。这里是要推荐才能变成正式会员是么?

点评

你已经是会员了~  发表于 2012-9-18 12:50
  • TA的每日心情
    奋斗
    2022-2-8 01:13
  • 签到天数: 171 天

    [LV.7]分神

    7#
    发表于 2012-9-18 12:51:42 | 只看该作者
    shengnan007 发表于 2012-9-17 22:49 ; {; k$ u* \) U
    多谢支持。还有两篇一会帖过来。后续的还在写。边看源码边写,比较慢,hoho。这里是要推荐才能变成正式会 ...
    + |- f/ Z: E0 S3 c
    欢迎,欢迎,已经给你变成正式会员了。

    该用户从未签到

    8#
     楼主| 发表于 2012-9-18 12:57:15 | 只看该作者
    不爱吱声 发表于 2012-9-18 12:51 ) `/ W, z3 |$ b5 \
    欢迎,欢迎,已经给你变成正式会员了。

    9 Q$ A) Y# q4 i$ O0 }) `7 s" Y) K多谢多谢啦~~
  • TA的每日心情
    慵懒
    2020-1-15 02:37
  • 签到天数: 1287 天

    [LV.10]大乘

    9#
    发表于 2012-9-19 03:38:34 | 只看该作者
    我们现在的 technology stack 就是 php + mongodb,涉及财务方面的东西用 postgres。
    1 x  T# r+ D3 n/ Q
    " }! h( {% o5 t

    该用户从未签到

    10#
    发表于 2012-9-19 04:21:40 | 只看该作者
    谢谢。3 P; N5 D5 ~. P) X. u  u' N+ |

    8 _) B. F7 W+ H  r中文看得真累,大部分还是英文术语。
    6 y! I' ^; j! B& Z( F' g; R+ }. i% h1 b; ]& E  X
    这应该是一个系列吧,后面怎样寻找,执行指令等开始入门,还是说的太简单了。; D2 ^) K1 S0 d9 e/ O& s

    3 I* Q8 X, l* C: I现在distributed DB在那些大网站很重要,现在开始有跟已有DB分庭抗礼的苗头,不过不是那里工作的话,其中的奥妙大概难说清楚。

    该用户从未签到

    11#
     楼主| 发表于 2012-9-19 08:40:52 | 只看该作者
    巴山 发表于 2012-9-19 03:38
    * G4 i3 u) f8 Y2 q我们现在的 technology stack 就是 php + mongodb,涉及财务方面的东西用 postgres。
    3 q( S2 `) N2 i, f2 x4 Y7 {
    . B0 {1 ^: a- }: W7 F/ [6 _/ M5 f ...

    7 B3 x4 k$ g0 Y) Q1 h* mmongoDB作为存储是没有问题的,财务这种核心数据,还是不建议使用mongoDB的

    点评

    主要是transaction acid的问题。  发表于 2012-9-27 17:12

    该用户从未签到

    12#
     楼主| 发表于 2012-9-19 08:44:52 | 只看该作者
    梦晓半生 发表于 2012-9-19 04:21 * v$ q3 S- ~  d- {2 ]
    谢谢。$ Y0 _* h5 z4 p7 C1 R' R

    & c) {3 o, _: d中文看得真累,大部分还是英文术语。
    5 z8 e! S; P: z5 t
    现在关于mongoDB的文章,大部分都是在告诉大家怎么用,涉及到内部运行机理的文章,数量不多,而且不成体系。这个系列文章的目的,是让大家了解mongoDB的基本的运行机理,这样以后使用的时候,可以知其所以然。但是由于这方面的资料很少,我也是到处找资料,写了这么几篇,再往后,就是边使用,边看源码,边写了。
  • TA的每日心情
    奋斗
    2018-1-6 00:24
  • 签到天数: 1 天

    [LV.1]炼气

    13#
    发表于 2012-9-19 14:16:01 | 只看该作者
    shengnan007 发表于 2012-9-18 12:44 0 `) Y& v$ Y  q! V( e
    是我啊。。。这都能被认出来。。。
    7 d6 c: a/ k# i$ R; G$ z  A
    是邓嫂么?

    该用户从未签到

    14#
     楼主| 发表于 2012-9-19 14:17:53 | 只看该作者
    profer 发表于 2012-9-19 14:16 6 J; ^5 |  t0 k/ E* [
    是邓嫂么?

      J) Z3 p! u6 x& p是邓的小兵
  • TA的每日心情
    奋斗
    2019-9-9 20:24
  • 签到天数: 1 天

    [LV.1]炼气

    15#
    发表于 2012-9-19 18:35:28 | 只看该作者
    有点惊讶 居然在这里看到这篇文章 呵呵 静待大作

    该用户从未签到

    16#
    发表于 2012-9-20 00:57:50 | 只看该作者
    shengnan007 发表于 2012-9-19 08:44
    * R6 N: C2 N9 M* f: n& _6 B, b  p现在关于mongoDB的文章,大部分都是在告诉大家怎么用,涉及到内部运行机理的文章,数量不多,而且不成体 ...
    + N7 T* S( g( ?$ n. _
    太好了,期待中,希望都带上英文reference。
    4 O, E; |. n; T  C! U
    " W; ^, z1 c# J7 ^, r" V0 o0 ]现在这种新技术很多,Mongo是比较流行的一个,我这里附带一下一堆NoSQL的新系统,到最后估计会有几个胜出。
    - {# g# f# W% s4 a" p+ s7 P  Q
    " z8 \( K1 h" I; I8 L: R; Z% L4 ihttp://en.wikipedia.org/wiki/NoSQL

    该用户从未签到

    17#
     楼主| 发表于 2012-9-20 08:53:41 | 只看该作者
    梦晓半生 发表于 2012-9-20 00:57
    # y; |* Y! `1 b" @太好了,期待中,希望都带上英文reference。( L) g( G+ w9 q  ~8 _
    - @) e+ ~0 V/ L1 B" j/ s3 P, F6 @1 M
    现在这种新技术很多,Mongo是比较流行的一个,我这里附带一 ...

    5 \7 r3 I, `( l) L现在写的也很纠结,资料太少了,哈哈

    该用户从未签到

    18#
    发表于 2012-9-21 11:52:33 | 只看该作者
    shengnan007 发表于 2012-9-20 08:53
    5 ?# P- r+ G- l- M; a: }现在写的也很纠结,资料太少了,哈哈
    3 a, ?$ p" N3 e  ?3 Z; t9 V* B
    建议从NoSQL写起,这是推动新数据库设计的需求关系,原始动力。' M' z  d  h' h" [& g# n

    & ]$ B  [" Y, M2 vhttp://en.wikipedia.org/wiki/NoSQL* p$ w! X1 m9 H) I$ H. s
    - T6 _& {' @  ]. k2 S3 Y& z3 h
  • TA的每日心情
    郁闷
    2019-4-22 08:49
  • 签到天数: 38 天

    [LV.5]元婴

    19#
    发表于 2012-9-21 17:03:12 | 只看该作者
    恶魔吹笛来 发表于 2012-9-19 18:35 9 Q+ O/ ~& S% n  H" e5 u/ T
    有点惊讶 居然在这里看到这篇文章 呵呵 静待大作
    9 `6 S! J. l7 [; Z+ m% A$ j8 C5 S
    有什么可惊讶的邓侃在前一个爱坛版本是很早的注册用户呢,从开心网一块迁移的。。。

    该用户从未签到

    20#
     楼主| 发表于 2012-9-24 09:11:03 | 只看该作者
    梦晓半生 发表于 2012-9-21 11:52
    9 n5 L, K; s4 P" y+ j# F- Q建议从NoSQL写起,这是推动新数据库设计的需求关系,原始动力。. i/ b' l$ ]7 `$ A4 b
    * O, {, R2 \' t7 M0 L7 B
    http://en.wikipedia.org/wiki/NoSQL
    ) c: y3 `, M' g$ p5 u8 H" G& M
    好的好的,现在这个写完,然后开始写nosql

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-9-11 09:32 , Processed in 0.053087 second(s), 21 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表