заметки на полях » shell

Упрощение отслеживания отработанных по крону скриптов

Дерябин Сергей — Thu, 06 Oct 2011 07:54:14 +0000

Пожалуй в любом более менее крупном проекте возникает необходимость выполнения заданий по крону, т. е. независимо от действий пользователей с определенной периодичностью. Совершенно определенно что результат выполнения скриптов необходимо отслеживать, что бы вовремя узнать о возникшей проблеме. Самый простой вариант, это генерация отчета о работе или ошибки в скрипте и отправке из крона на почту, как то так (из крона, а не из скрипта потому что fatal error на почту из скрипта не придет):

17 3 * * * www-data /usr/bin/php5-cgi /var/www/project/cron/user_rating.php 2>&1 | mail -s "Пересчет рейтинга пользователей" mail@example.com

В итоге на почту периодически будут сваливаться отчеты вида:

X-Powered-By: PHP/5.2.6-1+lenny13
Content-type: text/html

Начало: 2011-10-03 03:17.01

... сгенерированные данные о проделанной работе ...

Окончание: 2011-10-03 03:17.01

Все хорошо. Но иногда бывает что дергать такие скрипты необходимо часто (дабы избежать задержки), а вот что-то делать они будут далеко не всегда, т. е. попросту запускаться, смотреть что ничего делать не надо генерит пустой отчет и все. А вот когда этих скриптов становится много, то наступает такой момент когда только просмотреть отчеты на почте занимает неприлично много времени, потом это надоедает и отчеты просто не просматриваясь удаляются. Теряется смысл вообще всех этих отчетов.
Выход нашелся в следующем. При отсутствии действий в скрипте не генерировать пустой отчет, т. е. не выводить ничего, а по крону смотреть, что если в выхлопе только три строки:

X-Powered-By: PHP/5.2.6-1+lenny13
Content-type: text/html

то на почту ничего отправлять не надо.
Делаем скрипт /usr/bin/php_cron.sh:

#!/bin/sh

strtocut=3
# минимальная длина на всякий случай, может лишний перенос закрадется
minlen=10

line=1
while read INPUT; do
if [ $line -gt $strtocut ]; then
OUTPUT="${OUTPUT}\n${INPUT}"
fi
line=`expr $line + 1`
done

if [ `expr length "$OUTPUT"` -gt $minlen ]; then
echo -e $OUTPUT | mail -s"$2" $1
fi

даем ему права на выполнение

$ chmod +x /usr/bin/php_cron.sh

и изменяем задание в кроне следующим образом:

17 8 * * * www-data /usr/bin/php5-cgi /var/www/project/cron/paid_notifier.php 2>&1 | /usr/bin/php-cron.sh mail@example.com "Отправка уведомлений об окончании услуг"

Теперь на почту будут приходить только сообщения о проделанной работе, а о том что делать было нефиг нас не потревожат.

P/S С удовольствием приму вариант более элегантного решения.

Backup проекта, часть 2

Дерябин Сергей — Tue, 22 Dec 2009 17:54:40 +0000

Немного ранее, был представлен SHELL скрипт резервного сохранения данных проекта. При наличии нескольких проектов хочется каким-то образом систематизировать этот процесс, для облегчения подключения новых проектов к резервному копированию, кроме как плодить файлы с дублированием кода, учитывая тот факт, что со временем может измениться логика выполняемых действий или настройки подключения к БД/FTP серверу.

Вынесем общую логику в отдельный скрипт, а индивидуальные данные проекта, такие как имя БД и загружаемые файлы в конфигурационный файл для каждого проекта.

Для получения дампа БД, если проекты на сервере используют один сервер, но различные базы удобно создать отдельного пользователя для нашего скрипта и дать ему права на чтение и блокировку таблиц необходимых БД:

CREATE USER backup@localhost IDENTIFIED BY 'dbpassword';
GRANT SELECT, LOCK TABLES ON svdev.* TO backup@localhost;

Далее немного модифицируем скрипт из предыдущей части для подключения настроек. Так же проект может не использовать БД или использовать совместно с другим проектом, в этом случае достаточно сохранить её один раз – такая возможность так же реализована. Вот что получилось в итоге:

#!/bin/sh

#Данные для подключения к БД

DBUSER="backup"
DBPASS="dbpassword"

# FTP для сохранения данных
FTPUSER='ftpuser'
FTPHOST='ftphost'
FTPPASS='ftppassword'

# Путь на FTP где хранятся бэкапы, общая директория,
# в которой для каждого проекта есть поддиректория,
# путь от домашней директории пользователя FTP
FTPPATH="./"

# Дата, для именования файла бэкапа в формате YYYY.MM.DD
DT=`date '+%Y.%m.%d'`
# Временная директория для хранения файлов
TEMPDIR="/tmp/backup-"$DT"/"
SQLFILE="dump.sql"
# Файл архива
DESTFILE=$DT".tar"

mkdir $TEMPDIR
cd $TEMPDIR

echo "Начало резервного копирования: "`date '+%F %T'`

# Если все проекты находятся в директории /var/www то для каждого, который
# необходимо сохранить должен быть файл backup.conf
for CONFIG in `find /var/www -mindepth 2 -maxdepth 2 -name backup.conf`
do
. $CONFIG
# Если в конфиге установлено имя БД, до делаем её дамп
# и добавляем в архив
if [ ! -z $DBNAME ]; then
mysqldump --user=$DBUSER --password=$DBPASS $DBNAME > $SQLFILE
TARFILES=$TARFILES" -C "$TEMPDIR" "$SQLFILE
fi

tar -cf $DESTFILE $TARFILES
gzip -9 $DESTFILE

# Отправляем полученный архив на FTP; не забываем
# включить бинарный режим передачи, иначе архивы побъются
ftp -n $FTPHOST <<EOF
quote USER $FTPUSER
quote PASS $FTPPASS
binary
cd $FTPPATH$PROJECTNAME
put $DESTFILE".gz"
quit
EOF

echo " - "`date '+%F %T'`" проект "$PROJECTNAME" сохранен, размер архива "`stat -c %s $DESTFILE'.gz'`" байт;"

# Удаляем за собой все файлы
for TFILE in $TEMPDIR"/*"
do
rm -rf $TFILE
done
done

# Удаляем за собой временную директорию
rm -rf $TEMPDIR

Полученный файл назовем sites-backup и положим его в /etc/cron.daily/ таким образом он будет запускаться один раз в сутки, вместе с остальными служебными скриптами, такими как ротация логов и другие. Для пущей надежности права на файл лучше дать 700 и сделать владельцем рута:

sudo chown root:root /etc/cron.daily/sites-backup
sudo chmod 0700 /etc/cron.daily/sites-backup

Осталось только для каждого проекта создать файл конфига. К примеру для проекта svdev, получаем следующий конфиг /var/www/svdev.ru/backup.conf:

#!/bin/sh
DBNAME="svdev"
PROJECTNAME="svdev.ru"
TARFILES=" -C /var/www/svdev.ru/htdocs wp-config.php -C /var/www/svdev.ru/htdocs/wp-content uploads"

Если БД не используется, то необходимо указать пустую строку в качестве имени БД:

#!/bin/sh
DBNAME=""
PROJECTNAME="svdev.ru"
TARFILES=" -C /var/www/svdev.ru/htdocs wp-config.php -C /var/www/svdev.ru/htdocs/wp-content uploads"

Теперь для создания бэкапов нового проекта необходимо дать права пользователю скрипта на БД, создать на удаленном FTP директорию куда будут складываться архивы и добавить конфиг из 3х строчек.

Главное не забывать вовремя чистить FTP.

Backup проекта

Дерябин Сергей — Wed, 25 Nov 2009 20:20:07 +0000

Люди делятся на тех кто еще не делает
и тех, кто уже делает бэкапы

Обязательным свойством любого проекта являются резервное сохранение данных. И так, приступим. Допустим все данные у нас хранятся в БД (в моем случае mysql, но если это postgres – отличие будет в одной строчке) и существуют различные файлы загружаемые пользователями. Файлы проекта хранятся в репозитории, поэтому за их сохранность можно не беспокоиться (можно на всякий случай еще сохранять конфиг). Так же понадобится другая машина для сохранения бэкапов, более чем достаточно иметь FTP на другой машине.

UPD: Немного подчищен код и приведен к соответствию соглашениям.

Начнем с сохранения БД:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#!/bin/sh

# Данные для подключения к БД
DBUSER="dbuser"
DBNAME="dbname"
DBPASS="password"

# Дата, для именования файла бэкапа в формате YYYY.MM.DD
DT=`date '+%Y.%m.%d'`
# Временная директория для хранения файлов
TEMPDIR="/tmp/backup-"$DT"/"
SQLFILE="backup.sql"

mkdir $TEMPDIR
cd $TEMPDIR

mysqldump --user=$DBUSER --password=$DBPASS $DBNAME > $SQLFILE

Итак у нас теперь есть дамп БД и мы знаем какие пользовательские файлы необходимо сохранять. Собираем их в один архив, сжимаем его и кладем через FTP на другую машину. В итоге получается следующий скрипт:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43

#!/bin/sh

# Данные для подключения к БД
DBUSER="dbuser"
DBNAME="dbname"
DBPASS="password"

# Данные для подключения по FTP
FTPUSER='ftpuser'
FTPHOST='ftp.svdev.ru'
FTPPASS='password'

# Дата, для именования файла бэкапа в формате YYYY.MM.DD
DT=`date '+%Y.%m.%d'`
# Временная директория для хранения файлов
TEMPDIR="/tmp/backup-"$DT"/"
SQLFILE="backup.sql"
# Путь на FTP куда положим файл
# !!! Путь от корня домашней директории FTP
REMOTEDIR="backups/svdev"
# Файл архива
DESTFILE=$DT".tar"

TARFILES=" -C /var/www/svdev/htdocs wp-config.php -C /var/www/svdev/htdocs/wp-content uploads -C "$TEMPDIR" backup.sql"

mkdir $TEMPDIR
cd $TEMPDIR
mysqldump --user=$DBUSER --password=$DBPASS $DBNAME > $SQLFILE
tar cf $DESTFILE $TARFILES
gzip -9 $DESTFILE
ftp -n $FTPHOST < quote USER $FTPUSER
quote PASS $FTPPASS
binary
cd $REMOTEDIR
put $DESTFILE".gz"
quit
EOF

# Удаляем за собой все временные файлы
rm -rf $TEMPDIR

exit 0

Вот в принципе и все, осталось прописать его в крон и можно наслаждаться результатом.

Данный пример является самым простым, что хотелось бы добавить:

вынесение алгоритма в общий шаблон, а для проекта оставить только определение констант. Таким образом при наличии нескольких проектов – подключение/отключение бэкапов будет задаваться одним симлинком
скрипта для удаления старых бэкапов (в данной схеме это необходимо делать вручную)

Можно скачать приведенный пример: backup.tar.gz и поэксперементировать с ним в свое удовольствие.

Использованный полезный материал:

Advanced Bash-Scripting Guide
Shell-кодинг (азы так сказать)