从多个服务器上同时同步本地镜像

grissiom · 发表于 2009-11-7 22:07:02

苦于我这里的教育网里连不上 rsync (不知为何……)，而外网速度又十分的慢，于是写了一个小脚本，可以同时从多个服务器上同步镜像，用人海战术来提高速度：

#!/bin/zsh
usage="mmirror-slack.sh mirror slackware tree from multiple servers.
usage: mmirror-slack.sh [-vt]
v: be verbose. Display the commands that going to run.
f: final mode. Only synchronize with MAINMIRROR.
r: remove files that no present on remote server.
n: dry run. Display the commands going to run but not excute them.
Implies verbose.
mmirror-slack.sh also receive parameters from environment variables:
VERSION: the version you want to mirror. -current, -13.0 etc.
Default is -current. Don't forget the leading '-'.
LOCALMIRROR: where is your mirror on the disk. Be sure to adjust
it before run this script.
ARCH: i386, x86_64 etc.
FOLDER: the folder under tree you want to mirror. slackware/, extra/ etc.
Don't forget the trailing '/'.
LEXTRAAGRS: extra arguments that passed to lftp.
AEXTRAAGRS: extra arguments that passed to aria2.
"
MAINMIRROR='ftp://ftp.osuosl.org/pub/slackware/'
# add your favorite mirrors here
MIRRORS=(ftp://darkstar.ist.utl.pt/pub/slackware/
ftp://slackware.mirrors.tds.net/pub/slackware/
http://mirrors.163.com/slackware/
ftp://ftp.slackware.no/pub/linux/slackware/
ftp://ftp.slackware.at/
ftp://ftp.ntua.gr/pub/linux/slackware/
http://mirror.switch.ch/ftp/mirror/slackware/
ftp://ftp.heanet.ie/mirrors/ftp.slackware.com/pub/slackware/
ftp://ftp.belnet.be/mirror/ftp.slackware.com/
ftp://ftp.slackware.org.uk/slackware/
http://slackware.cs.utah.edu/)
MIRRORS+=$MAINMIRROR
# -current or -13.0 etc. Don't forget the leading '-'.
VERSION=${VERSION:-'-current'}
# where your local mirror located. In that folder you should have some thing
# like:
# slackware64-current/
# slackware-current/
# slackware-13.0/
LOCALMIRROR=${LOCALMIRROR:-'/ext4/slackware_rsync'}
# use ARCH to determine which branch to mirror.
case $ARCH in
'x86_64' )
SBASE='slackware64'
TBASE=$SBASE
;;
'i386' )
SBASE='slackware'
TBASE=$SBASE
;;
* )
echo "ARCH=[x86_64|i386] mmirror-slack.sh"
echo "see source file for more parameters."
exit 1
;;
esac
TDIR=${LOCALMIRROR}/${TBASE}${VERSION}/${FOLDER}
SDIR=${SBASE}${VERSION}/${FOLDER}
exec_lftp_cmd() {
cmd="lftp -c "$@""
[ $VERBOSE ] && echo $cmd
[ ! $DRYRUN ] && { eval $cmd || CMDFAIL+="\n""$cmd" }
}
fetch_cmd() {
# dump lftp commands to /proc/self/fd/3. Outer space must redirect 3 to
# stdout or what ever, or the programe will fail...
LEXTRAAGRS=${LEXTRAAGRS}' --verbose=3 --script=/proc/self/fd/3 '
# Some mirror have symbolic links, others are not. So for compatible
# reason, use --dereference to download symbolic links as files.
# Hope this won't get local mirror too large...
# If you behind good router and use good mirror, set ftp:sync-mode off
lftp -c "set ftp:sync-mode on
open $MAINMIRROR &&
mirror ${LEXTRAAGRS} \
${SDIR} ${TDIR}"
}
dispatch_cmd() {
while read -u 0 cmdline; do
case ${cmdline[1,4]} in
"get " )
cmd=${cmdline//"$MAINMIRROR"/}
file=$(echo "$cmd" | rev | cut -f 1 -d ' ' | rev)
folder=$(echo "$cmd" | rev | cut -f 2 -d ' ' | rev)
cmd="aria2c ${AEXTRAAGRS} --summary-interval=0 \
--allow-overwrite=true --remote-time=true \
--dir="${folder}" --split=${NMIRROR} \
${MIRRORS[@]/%/${file}}"
[ $VERBOSE ] && echo $cmd
[ ! $DRYRUN ] && { eval $cmd || DFAILFILE+="\n"${folder}$file }
;;
* )
exec_lftp_cmd $cmdline
;;
esac
done
}
#############
# Main body #
#############
NMIRROR=$((${#MIRRORS[@]}-1))
while getopts ':vrfn' opt; do
case $opt in
'v' )
VERBOSE=1
;;
'r' )
REMOVEFILE=1
LEXTRAAGRS+=" --delete "
;;
'f' )
MIRRORS=$MAINMIRROR
NMIRROR=1
;;
'n' )
DRYRUN=1
;;
'?' )
unkopt+=$OPTARG' '
;;
esac
done
[ $DRYRUN ] && VERBOSE=1
[ -n "$unkopt" ] && { echo "$usage"; echo "Unkown option: $unkopt"; exit 2}
echo "Mirror $MAINMIRROR/$SDIR to $TDIR :"
fetch_cmd 3>&1 1>&2 | dispatch_cmd
[ -n "$DFAILFILE" ] && echo "\nfailed to download:" $DFAILFILE
[ -n "$CMDFAIL" ] && echo "\nfailed to run command(s):" $CMDFAIL
exit 0

复制代码

Update(2009年 11月 13日):
多谢聚焦深空的建议，现在脚本用 aria2 连接多服务器了。比自己重新发明轮子好多了(而且自己发明的轮子还没有别人跑得快……)

Update(Wed Nov 18 17:28:05 2009 +0800)
重写了很多东西，这回应该比较好用了～

Updated(2009年 12月 07日)
积累性更新。具体有什么不记得了……

代码放到 http://gitorious.org/slack-utils/slack-utils 上面了，欢迎提意见～;)

digwtx · 发表于 2009-11-7 23:27:27

不错，还真没这样想过
大多数的发行版一般都只允许设置一个MIRROR站点，多站点还真没试过

slackcode · 发表于 2009-11-10 08:56:36

当时ArchLinux就有这类似的方法来提速的，但我好像没用过
对了, grissiom，这个是利用了lftp的续传+sync模式啊
还不知lftp有sync模式……
这个和rsync不一样吗？
这个是否会出现下载下来的包MD5值不一致的问题？如果会有，机率高吗？

grissiom · 发表于 2009-11-10 13:34:00

Post by slackcode;2044209
当时ArchLinux就有这类似的方法来提速的，但我好像没用过
对了, grissiom，这个是利用了lftp的续传+sync模式啊
还不知lftp有sync模式……
这个和rsync不一样吗？
这个是否会出现下载下来的包MD5值不一致的问题？如果会有，机率高吗？

用的是 lftp 的 mirror 模式，这个模式和 rsync 差不多但是：
1，rsync 一次把所有目录下需要传送的文件全部传过来，然后再传送具体的文件；而 lftp 是一个目录一个目录的扫描，这就慢很多……
2，rsync 是差量传送，lftp 是整个传送，理论上 rsync 要好~

不过我在的这个破网络 rsync 始终连不上去…… 用 lftp 是不得已而为之…… 不过 lftp 有个好处就是不用服务器端运行 rsync daemon。可用资源比较多~ 用的两次，出现过两次 md5sum 不合格的情况，不过那都是没有下载完的包……

我私下里正改进这个脚本，期望能够彻底解决重复下载的问题。不过被进程间通信这块快搞疯了，总是有 bug ……

聚焦深空 · 发表于 2009-11-10 18:31:23

您用支持从多个源、多线程同时下载的工具不是更省事么？如 aria2。
或使用支持 metalink 的工具下载，firefox 插件 downthemall 和 aria2 都支持，如果 slackware 支持此方式。

slackcode · 发表于 2009-11-11 08:52:27

对，就是aria2，好像还有个叫axel的……
多镜像能解决单个服务器的流量限制吧，但有一个很明显的问题是，这些服务器的同步时间很可能不一致……

grissiom · 发表于 2009-11-11 09:17:47

Post by 聚焦深空;2044400
您用支持从多个源、多线程同时下载的工具不是更省事么？如 aria2。
或使用支持 metalink 的工具下载，firefox 插件 downthemall 和 aria2 都支持，如果 slackware 支持此方式。

多谢多谢～回头看看这个～;)

聚焦深空 · 发表于 2009-11-12 12:48:54

Post by slackcode;2044523
对，就是aria2，好像还有个叫axel的……
多镜像能解决单个服务器的流量限制吧，但有一个很明显的问题是，这些服务器的同步时间很可能不一致……

这个要靠自己小心，下载前应该检查各服务器上目标文件校验和。
metalink 方式，直接带有校验和，要安全的多。

grissiom · 发表于 2009-11-12 13:13:25

metalink 需要服务器端提供特殊服务么？

grissiom · 发表于 2009-11-13 22:05:19

多谢聚焦深空的建议，现在脚本已经几乎重写了，用 aria2 下载而不是自己重新发明轮子～;）

如果哪位已经在用旧版本的严重建议升级～

感觉服务器上放出来的文件一般都是完整的，而且每做一次改动，包名都会不一样～这样的话如果有那个文件，一般就没错了～

metalink 貌似要一个文件一个 metalink 文件？和 zsync 有点像……

		自动登录	找回密码
密码			注册