首页 > 杂项资源, 程序设计 > rsync 的核心算法

rsync 的核心算法

2012年5月17日 发表评论 阅读评论 64,306 人阅读    

rsync是unix/linux下同步文件的一个高效算法,它能同步更新两处计算机的文件与目录,并适当利用查找文件中的不同块以减少数据传输。rsync中一项与其他大部分类似程序或协定中所未见的重要特性是镜像是只对有变更的部分进行传送。rsync可拷贝/显示目录属性,以及拷贝文件,并可选择性的压缩以及递归拷贝。rsync利用由Andrew Tridgell发明的算法。这里不介绍其使用方法,只介绍其核心算法。我们可以看到,Unix下的东西,一个命令,一个工具都有很多很精妙的东西,怎么学也学不完,这就是Unix的文化啊。

本来不想写这篇文章的,因为原先发现有很多中文blog都说了这个算法,但是看了一下,发现这些中文blog要么翻译国外文章翻译地非常烂,要么就是介绍这个算法介绍得很乱让人看不懂,还有错误,误人不浅,所以让我觉得有必要写篇rsync算法介绍的文章。(当然,我成文比较仓促,可能会有一些错误,请指正)

问题

首先, 我们先来想一下rsync要解决的问题,如果我们要同步的文件只想传不同的部分,我们就需要对两边的文件做diff,但是这两个问题在两台不同的机器上,无法做diff。如果我们做diff,就要把一个文件传到另一台机器上做diff,但这样一来,我们就传了整个文件,这与我们只想传输不同部的初衷相背。

于是我们就要想一个办法,让这两边的文件见不到面,但还能知道它们间有什么不同。这就出现了rsync的算法。

算法

rsync的算法如下:(假设我们同步源文件名为fileSrc,同步目的文件叫fileDst

1)分块Checksum算法。首先,我们会把fileDst的文件平均切分成若干个小块,比如每块512个字节(最后一块会小于这个数),然后对每块计算两个checksum,

  • 一个叫rolling checksum,是弱checksum,32位的checksum,其使用的是Mark Adler发明的adler-32算法,
  • 另一个是强checksum,128位的,以前用md4,现在用md5 hash算法。

为什么要这样?因为若干年前的硬件上跑md4的算法太慢了,所以,我们需要一个快算法来鉴别文件块的不同,但是弱的adler32算法碰撞概率太高了,所以我们还要引入强的checksum算法以保证两文件块是相同的。也就是说,弱的checksum是用来区别不同,而强的是用来确认相同。(checksum的具体公式可以参看这篇文章

2)传输算法。同步目标端会把fileDst的一个checksum列表传给同步源,这个列表里包括了三个东西,rolling checksum(32bits)md5 checksume(128bits)文件块编号

我估计你猜到了同步源机器拿到了这个列表后,会对fileSrc做同样的checksum,然后和fileDst的checksum做对比,这样就知道哪些文件块改变了。

但是,聪明的你一定会有以下两个疑问:

  • 如果我fileSrc这边在文件中间加了一个字符,这样后面的文件块都会位移一个字符,这样就完全和fileDst这边的不一样了,但理论上来说,我应该只需要传一个字符就好了。这个怎么解决?
  • 如果这个checksum列表特别长,而我的两边的相同的文件块可能并不是一样的顺序,那就需要查找,线性的查找起来应该特别慢吧。这个怎么解决?

很好,让我们来看一下同步源端的算法。

3)checksum查找算法。同步源端拿到fileDst的checksum数组后,会把这个数据存到一个hash table中,用rolling checksum做hash,以便获得O(1)时间复杂度的查找性能。这个hash table是16bits的,所以,hash table的尺寸是2的16次方,对rolling checksum的hash会被散列到0 到 2^16 – 1中的某个整数值。(对于hash table,如果你不清楚,建议回去看大学时的数据结构教科书)

顺便说一下,我在网上看到很多文章说,“要对rolling checksum做排序”(比如这篇这篇),这两篇文章都引用并翻译了原作者的这篇文章,但是他们都理解错了,不是排序,就只是把fileDst的checksum数据,按rolling checksum做存到2^16的hash table中,当然会发生碰撞,把碰撞的做成一个链表就好了。这就是原文中所说的第二步——搜索有碰撞的情况。

4)比对算法。这是最关键的算法,细节如下:

4.1)取fileSrc的第一个文件块(我们假设的是512个长度),也就是从fileSrc的第1个字节到第512个字节,取出来后做rolling checksum计算。计算好的值到hash表中查。

4.2)如果查到了,说明发现在fileDst中有潜在相同的文件块,于是就再比较md5的checksum,因为rolling checksume太弱了,可能发生碰撞。于是还要算md5的128bits的checksum,这样一来,我们就有 2^-(32+128) = 2^-160的概率发生碰撞,这太小了可以忽略。如果rolling checksum和md5 checksum都相同,这说明在fileDst中有相同的块,我们需要记下这一块在fileDst下的文件编号

4.3)如果fileSrc的rolling checksum 没有在hash table中找到,那就不用算md5 checksum了。表示这一块中有不同的信息。总之,只要rolling checksum 或 md5 checksum 其中有一个在fileDst的checksum hash表中找不到匹配项,那么就会触发算法对fileSrc的rolling动作。于是,算法会住后step 1个字节,取fileSrc中字节2-513的文件块要做checksum,go to (4.1) – 现在你明白什么叫rolling checksum了吧。

4.4)这样,我们就可以找出fileSrc相邻两次匹配中的那些文本字符,这些就是我们要往同步目标端传的文件内容了。

图示

怎么,你没看懂? 好吧,我送佛送上西,画个示意图给你看看(对图中的东西我就不再解释了)。

这样,最终,在同步源这端,我们的rsync算法可能会得到下面这个样子的一个数据数组,图中,红色块表示在目标端已匹配上,不用传输(注:我专门在其中显示了两块chunk #5,相信你会懂的),而白色的地方就是需要传输的内容(注意:这些白色的块是不定长的),这样,同步源这端把这个数组(白色的就是实际内容,红色的就放一个标号)压缩传到目的端,在目的端的rsync会根据这个表重新生成文件,这样,同步完成。

最后想说一下,对于某些压缩文件使用rsync传输可能会传得更多,因为被压缩后的文件可能会非常的不同。对此,对于gzip和bzip2这样的命令,记得开启 “rsyncalbe” 模式。

(全文完,转载时请注明作者和出处


关注CoolShell微信公众账号可以在手机端搜索文章

(转载本站文章请注明作者和出处 酷 壳 – CoolShell.cn ,请勿用于任何商业用途)

——=== 访问 酷壳404页面 寻找遗失儿童。 ===——


本广告收入已由广告主捐给Wikipedia

好烂啊有点差凑合看看还不错很精彩 (20 人打了分,平均分: 4.90 )
Loading...
  1. HelloHuang
    2013年7月12日14:31 | #1

    @陈皓
    看了这篇博中,我去百科全书看了下rsync,发现博主是没有把重点说出来,关健 匹配不到时,要计算 n+1到n+512时,它不是将重新计算一遍hash值,而是用了n到n+511 的hash值,再与n值及n+512值,来快速算出n+1到n+512值

  2. 匿名的李屌同志
    2013年7月16日16:20 | #2

    abcd :这篇文章并没有说出最核心的地方。其实只要简单的想一想,假如文件完全不相同,按照本文的说法,在检验的时候每个字节都会roll一次,重新算一遍checksum,你这个文件有多少字节你就要计算多少个checksum,这是非常恐怖的运算量。所以真正的精髓在于roll一次之后如何不用重新计算checksum,而是仅仅在原有checksum的基础上进行调整就可以得出新的checksum。
    所以说整个rsync算法的核心精髓就在这个弱校验算法上。如何在向后滚动一个字节的情况下利用之前的checksum快速得到滚动之后的checksum,而这篇文章讲了这么多仅仅是外层的一些运作流程罢了。纠结hash和sort也是没什么意义的,这个本来只是实现方式上的选择而已。hash在碰撞较少的时候可以比sort效率高一些而已,用sort未尝不可。

    直指核心啊

  3. 2013年12月12日00:50 | #3

    1.那个hash map应该是adler做key,md5做value吧,那这样的话这张表就应该是malloc(2^16*128/8)哇,那咋还是“被散列到0 到 2^16 – 1中的某个整数值”呢
    2.int的信息熵是32,那张hash表也到了16,为啥还要做哈希呢,直接bitmap不就完事了

  4. rzy
    2014年7月14日14:56 | #4

    得到差异块信息后如何封装传给源端?

    比如:

    我得到 ad#chunck3#哈哈dsdjlk#chunk5#asdjd
    这个怎么处理后发给源端

  5. 2014年12月12日17:10 | #5

    不错, 学习啦~

  6. Endless Tears
    2015年1月12日22:29 | #6

    @Andy
    rolling 来分块,运算量又大大增加了

  7. 2015年4月29日20:03 | #7

    abcd :
    这篇文章并没有说出最核心的地方。其实只要简单的想一想,假如文件完全不相同,按照本文的说法,在检验的时候每个字节都会roll一次,重新算一遍checksum,你这个文件有多少字节你就要计算多少个checksum,这是非常恐怖的运算量。所以真正的精髓在于roll一次之后如何不用重新计算checksum,而是仅仅在原有checksum的基础上进行调整就可以得出新的checksum。
    所以说整个rsync算法的核心精髓就在这个弱校验算法上。如何在向后滚动一个字节的情况下利用之前的checksum快速得到滚动之后的checksum,而这篇文章讲了这么多仅仅是外层的一些运作流程罢了。纠结hash和sort也是没什么意义的,这个本来只是实现方式上的选择而已。hash在碰撞较少的时候可以比sort效率高一些而已,用sort未尝不可。

    学习楼主和这位评论!

  8. 2015年5月4日17:38 | #8

    我的疑问是,假如我的监控的目录下文件数超多(比如10万),每次同步时rsync是不是都会把文件列表发送一遍,然后再比对出不同的部分?如果真是这样,我的修改的文件实际文件可能就几k,结果这个列表都有10多M,太不划算了

  9. 2015年5月7日18:10 | #9

    seanlook :
    我的疑问是,假如我的监控的目录下文件数超多(比如10万),每次同步时rsync是不是都会把文件列表发送一遍,然后再比对出不同的部分?如果真是这样,我的修改的文件实际文件可能就几k,结果这个列表都有10多M,太不划算了

    sdfghsdfghsdfghsdfghdfghdfghdf

  10. ffshi
    2015年5月21日11:22 | #10

    使用场景:增量同步,这个算法非常适合

  11. 1a1a11a
    2016年5月20日07:24 | #11

    @对对对
    我现在就这种情况。。。

  12. 2016年7月6日14:54 | #12

    很好的一片文章,学习了

  13. cliff-bot
    2016年7月14日15:05 | #13

    @abcd
    如果两个文件完全不同,那么在进行弱校验的时候就知道文件块不同,服务器不用计算强校验和。即使逐字节的向后移动,弱滚动校验和算法根据递推关系,计算速度也会很快。

评论分页
1 2 3 4 7425
  1. 2013年6月18日21:41 | #1
  2. 2013年6月26日15:39 | #2
  3. 2013年6月27日09:12 | #3
  4. 2013年7月10日11:35 | #4
  5. 2013年7月12日01:51 | #5
  6. 2013年7月13日14:30 | #6
  7. 2013年7月29日10:11 | #7
  8. 2013年9月30日16:47 | #8
  9. 2013年11月10日16:14 | #9
  10. 2013年12月31日14:57 | #10
  11. 2014年1月14日16:47 | #11
  12. 2014年1月16日17:35 | #12
  13. 2014年1月22日13:54 | #13
  14. 2014年3月20日22:55 | #14
  15. 2014年3月25日22:40 | #15
  16. 2014年5月18日12:28 | #16
  17. 2014年6月13日15:49 | #17
  18. 2014年6月15日19:38 | #18
  19. 2014年10月30日00:54 | #19
  20. 2014年12月25日10:01 | #20
  21. 2015年2月3日18:03 | #21
  22. 2015年2月13日17:16 | #22
  23. 2015年3月11日13:00 | #23
  24. 2015年3月19日19:19 | #24
  25. 2015年3月26日11:50 | #25
  26. 2015年3月26日16:38 | #26
  27. 2015年9月23日11:08 | #27
  28. 2015年10月31日10:52 | #28
  29. 2015年12月22日23:40 | #29
  30. 2016年3月31日00:34 | #30
  31. 2016年4月1日10:41 | #31
  32. 2016年5月10日21:57 | #32
  33. 2016年6月24日11:18 | #33
  34. 2016年9月16日02:52 | #34
  35. 2016年11月8日18:53 | #35
  36. 2016年12月3日08:20 | #36