Решил немного упростить задачу резервного копирования при помощи rsync и написал для этого небольшой скрипт на bash. Да, знаю, уже есть несколько решений, упрощающих backup при помощи rsync, но для того, чтобы выполнить требуемую задачу, все равно пришлось бы писать для этого свою обвязку. Потому было принято решение написать что-то свое, максимально упрощающее задачу бэкапа и сопутствующих этому действий, таких как генерация ключа для авторизации по ssh, а так же его копирование на backup-сервер.
Следующий скрипт позволяет читать список копирумых каталогов из текстового файла, применять маску исключений, задаваемую в текстовом файле, а так же опционально делать snapshot’ы, содержащие измененные, либо удаленные файлы. Тем самым, появляется возможность откатиться на старые версии файлов, случайно удаленных, к примеру, либо ошибочно измененных. При этом сохраняется полная изначальная структура каталогов, что позволяет легко найти требуемый файл. Snapshot’ы хранятся в каталогах со следующей маской в имени: ‘год-месяц-день.XXчXXм’. Есть возможность авто-ротации snapshot’ов.
backup.sh:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
| #!/bin/sh
# --------------------------------------------
# Automated backup script
# Written by ZeroChaos
# Version 1.1, 2012-01-14
# Site: http://zerolab.net/
# --------------------------------------------
# NOTE: Exclude spaces in the variable FOLDER!
# --------------------------------------------
# set -e
# -------------------------------------------- begin of [Configurable settings]
# Use SSH for sync
export RSYNC_RSH="ssh -c arcfour -o Compression=no -x"
# Remote account
USER="zerochaos"
HOST="zerolab.net"
REMOTEHOST="${USER}@${HOST}"
# Enable or disable snapshot
SNAPSHOT="true"
# Auto-rotate (days)
SDAYS="15"
# Destination folder, snapshot directory
DEST_point="/home/zerochaos/www/"
SDIR="snapshot"
SNAPSHOT_dir="${DEST_point}${SDIR}/`date +'%Y-%m-%d.%Hh%Mm'`"
# Take the list from the same folder where the script is called
DIR=$(dirname "$0")
LISTFOLDERS=$DIR/backup.txt
LISTEXCLUDES=$DIR/exclude.txt
STRDEL="# begin of [do not delete this string]"
# -------------------------------------------- end of [Configurable settings]
# -------------------------------------------- begin of [Do not touch this section]
# If no arguments
if [ $# = 0 ]; then
while read FOLDER; do
if [ -n "$FOLDER" ] && [ "$FOLDER" != "$STRDEL" ]; then
FOLDERNAME="`echo "$FOLDER" | awk -F/ '{ print $NF }'`"
# Options for rsync
if [ $SNAPSHOT = "true" ]; then
OPTIONS="-Sazq --bwlimit=3840 --delete --exclude-from=$LISTEXCLUDES --backup --backup-dir=$SNAPSHOT_dir/$FOLDERNAME"
else
OPTIONS="-Sazq --bwlimit=3840 --delete --exclude-from=$LISTEXCLUDES"
fi
# Sync
rsync $OPTIONS "${FOLDER}/" $REMOTEHOST:"${DEST_point}${FOLDERNAME}/"
fi
done < $LISTFOLDERS
# Snapshot auto-rotate
if [ $SNAPSHOT = "true" ]; then
ssh $REMOTEHOST "find ${DEST_point}${SDIR}/ -type d -mtime +$SDAYS -exec rm -r {} \;" >/dev/null 2>&1
fi
fi
# Generate public/private rsa key pair
ssh_keygen() {
ssh-keygen -t rsa -b 4096
}
# Copy your public key on a remote machine
ssh_copy_id() {
ID_FILE="${HOME}/.ssh/id_rsa.pub"
if [ x$SSH_AUTH_SOCK != x ] && ssh-add -L >/dev/null 2>&1; then
GET_ID="$GET_ID ssh-add -L"
fi
if [ -z "`eval $GET_ID`" ] && [ -r "${ID_FILE}" ]; then
GET_ID="cat ${ID_FILE}"
fi
if [ -z "`eval $GET_ID`" ]; then
echo "$0: ERROR: No identities found" >&2
exit 1
fi
{ eval "$GET_ID" ; } | ssh ${REMOTEHOST%:} "umask 077; test -d .ssh || mkdir .ssh ; cat >> .ssh/authorized_keys" || exit 1
}
ME=$(basename "$0")
print_help() {
echo
echo "Usage: $ME [OPTION...]"
echo
echo "Options:"
echo " -g Generate public/private rsa key pair:"
echo " ssh-keygen -t rsa -b 4096"
echo " -c Copy your public key on a remote machine:"
echo " ssh-copy-id $REMOTEHOST"
echo " -h Help."
echo
echo "Example: $ME -gc"
echo "Use both options, generate & copy."
echo
}
while getopts ":gch" opt;
do
case $opt in
g) ssh_keygen;
;;
c) ssh_copy_id;
;;
h) print_help;
;;
*) echo "Wrong option";
echo "For help, use: $ME -h";
exit 1
;;
esac
done
# -------------------------------------------- end of [Do not touch this section] |
Сохраните содержимое в файл backup.sh и дайте права на выполнение:
Положите файлы backup.txt и exclude.txt рядом со скриптом. Формат файлов представлен ниже.
backup.txt:
1
2
3
4
5
| # begin of [do not delete this string]
/home/zerochaos/www/msilab.net
/home/zerochaos/www/ruslab.net
/home/zerochaos/www/zerolab.net
# end of [do not delete this string] |
exclude.txt:
1
2
3
4
5
6
| temp/summ/checks/*
temp/sess/*
temp/tmp/*
template_cache/*
cache/*
logs/* |
Параметры, поддающиеся настройке в backup.sh, вынесены в отдельную секцию и снабжены соответствующими комментариями. Для связи с backup-сервером будем использовать протокол ssh, для авторизации воспользуемся беспарольным вариантом, т.е. авторизацией по ключу. Для этого сгенерируем пару public/private rsa key. Выполним скрипт с ключом -g:
Отвечаем на заданные вопросы и переходим к копированию открытого ключа на удаленный сервер. Для этого выполним скрипт с ключом -c:
Вводим пароль пользователя, под которым будет происходить дальнейшая авторизация по ключу во время резервного копирования. Две команды выше можно объединить в одну, тогда операции будут выполнены последовательно:
Остается добавить скрипт в cron:
1
2
| #minute hour mday month wday command
00 1 * * * sh /scripts/backup.sh |
Вот и все, настраивайте список копируемых каталогов, список исключений, конечную директорию и параметры создания снапшотов. Надеюсь этот скрипт окажется для многих полезным и сэкономит много времени и сил. Всегда делайте backup’ы.
