заметки на полях » nginx

Ротация логов nginx

Дерябин Сергей — Sat, 19 Dec 2009 14:45:07 +0000

Простенький скрипт, который проверяет доступность пакета logrotate и запускает ротацию. Кладется в /etc/cron.daily и запускается как правило в 4 часа утра, за это отвечает запись в /etc/crontab (у меня в 6 часов 25 минут):

25 6 * * * root test -x /usr/sbin/anacron || ( cd / && run-parts --report /etc/cron.daily )

Сам скрипт, запускающий суточные задания:

#!/bin/sh

test -x /usr/sbin/logrotate || exit 0
/usr/sbin/logrotate /etc/logrotate.conf

Среди которых ротация логов nginx:

/var/log/nginx/*.log /var/www/*/logs/error.log {
daily
missingok
rotate 1
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
postrotate
[ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
cat /var/log/nginx/error.log.1 | mail -s "Nginx error log" root
cat /var/www/*/logs/error.log.1 | mail -s "Sitests nginx error log" root
endscript
}

Что здесь происходит? Ротируются логи nginx из /var/log/nginx а за позапрошлый день сжимаются и так же с логами для всех проектов, если учесть что проекты находятся в /var/www а логи соответственно в директории logs проекта. А логи за предыдущий день отправляются на почту рута двумя письмами – одно со всех проектов, а второе самого nginx.

Вывод ошибок PHP в логи nginx

Дерябин Сергей — Mon, 10 Aug 2009 19:06:34 +0000

После того как не осталось Apache, то и негде посмотреть ошибки PHP привычным способом (в логах Апача); сделаем что бы nginx вел лог ошибок PHP. nginx перехватывает то, что ему пришло от php-fastcgi на stderr и пишет это в лог, предваряя примерно следующим:

2009/08/10 22:54:38 [error] 11004#0: *7 FastCGI sent in stderr:

Теперь же осталось только отдавать эти самые ошибки и предупреждения из PHP на stderr, для этого надо немного подправить конфиг /etc/php5/cgi/php.ini:

; лишним здесь ничего не будет :) пусть пишет все!
error_reporting = E_ALL

; первый параметр отвечает как раз за отдаду ошибок на фронтэед
display_errors = "stderr"
;
; stdout (On) - Display errors to STDOUT
; здесь же ошибки будут выводиться на экран, для сервера разработки -
; это оптимальный вариант, а вот на боевом их все таки лучше отключить
display_errors = On
; Ну и последняя опция, что бы PHP все таки
; писал ошибки в лог (в нашем случае отдавал на stderr)
log_errors = On

Готово! Осталось только перезапустить php-cgi:

sudo /etc/init.d/init-fastcgi restart

Nginx + PHP-FastCGI или избавляемся от apache

Дерябин Сергей — Sat, 01 Aug 2009 13:41:16 +0000

В предыдущем шаге мы уже убрали apache слушать только локальные запросы (те которые приходят от nginx) теперь же пришло время убрать его совсем и заставить nginx обрабатывать все самому!

Для этого понадобится php5-cgi, если он еще не установлен, необходимо поставить:

1	sudo apt-get install php5-cgi

Для запуска php потребуется утилита spawn-fcgi от lighttpd. Сейчас она идёт как отдельный проект и расположена по адресу http://redmine.lighttpd.net/projects/spawn-fcgi. Можно получить последнюю версию оттуда, а можно воспользоваться советом отсюда и взять её из lighttpd:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

mkdir ~/sources
cd ~/sources
# возможно будет уже и более свежая версия
wget http://www.lighttpd.net/download/lighttpd-1.4.19.tar.bz2
tar jxvf lighttpd-1.4.19.tar.bz2
# необходимые пакеты для установочного скрипта
sudo apt-get install libpcre3-dev libbz2-dev
cd lighttpd-1.4.19
# здесь может возникнуть ошибка, но и тут же предлагается решение -
# конфигурировать с параметром --without-zlib
./configure --without-zlib
make
sudo cp src/spawn-fcgi /usr/bin/spawn-fcgi
# И удалим за собой ненужныеболее файлы
cd ~/
rm -Rf sources/

Таким образом, или взяв отдельный пакет, но spawn-fcgi у нас получился установлен. Теперь необходимо все это дело запускать. Сделаем скрипт, который будет устанавливать дополнительные управляющие переменные и запускать php5-cgi:

1	sudo vim /usr/bin/php-fastcgi

и вставляем:

1
2
3
4
5
6

#!/bin/sh
# сколько процессов запускать
PHP_FCGI_CHILDREN=3
# через сколько обработанных запросов перезапускать экземпляр
PHP_FCGI_MAX_REQUESTS=1000
exec /usr/bin/php5-cgi

Скрипт для запуска php5-cgi готов, теперь нам нужен скрипт, для запуска spawn-fcgi, который будет дергать уже наш скрипт для установки переменных и запуска php5-cgi:

1	sudo vim /etc/init.d/init-fastcgi

и вставляем сюда:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

#!/bin/bash
PHP_SCRIPT="/usr/bin/spawn-fcgi -a 127.0.0.1 -p 9000 -u www-data -g www-data -f /usr/bin/php-fastcgi"
RETVAL=0
case "$1" in
start)
$PHP_SCRIPT
RETVAL=$?
;;
stop)
killall -9 php5-cgi
RETVAL=$?
;;
restart)
killall -9 php5-cgi
$PHP_SCRIPT
RETVAL=$?
;;
*)
echo "Usage: sudo /etc/init.d/init-fastcgi {start|stop|restart}"
exit 1
;;
esac
exit $RETVAL

Осталось только сделать оба новых скрипта доступных для запуска:

1 2	sudo chmod 755 /usr/bin/php-fastcgi sudo chmod 755 /etc/init.d/init-fastcgi

Теперь можно попробовать запустить наш FastCGI:

1
2
3

sudo /etc/init.d/init-fastcgi start
# В ответ должно получится примерно следующее:
spawn-fcgi.c.197: child spawned successfully: PID: 16428

Осталось только добавит наш скрипт в автозагрузку:

1	sudo update-rc.d init-fastcgi defaults

Теперь надо подправить все конфиги, что бы nginx обрабатывал PHP сам, а не передавал их на apache. У меня в конфиге

1	sudo vim /etc/nginx/sites-available/svdev.ru

получилось примерно следующее:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

server {
listen 80;
server_name www.svdev.ru;
# здесь при заходе на www.svdev.ru происходит редирект на svdev.ru
rewrite ^(.*) http://svdev.ru$1 permanent;
}

server {
listen 80;
server_name svdev.ru;
error_log /var/www/svdev.ru/logs/error.log warn;
access_log /dev/null;

root /var/www/svdev.ru/htdocs;
charset utf-8;
# страницы с ошибками, вместо стандартных, путь указывается от root (выше)
error_page 404 /error/404.html;
error_page 403 /error/403.html;
error_page 500 /error/500.html;

location ~ .*(gif|jpg|jpeg|png|ico|css|swf|js|html|htm)$ { }
# Для wordpess - это директория с upload и по умолчанию получится
# что залив php скрипт можно будет выполнить его по прямой ссылке
location ~ wp-content/uploads/.*\.php { }

location ~ \.php$
{
include /etc/nginx/fastcgi_params;
fastcgi_param SCRIPT_FILENAME /var/www/svdev.ru/htdocs$fastcgi_script_name;
fastcgi_param QUERY_STRING $query_string;
fastcgi_pass 127.0.0.1:9000;
# Директива определяет что ответы FastCGI-сервера с кодом больше или равные 400
# перенаправлять на обработку nginx'у с помощью директивы error_page
fastcgi_intercept_errors on;
break;
}

location / {
fastcgi_index index.php;
fastcgi_pass 127.0.0.1:9000;
fastcgi_param SCRIPT_FILENAME /var/www/svdev.ru/htdocs$fastcgi_script_name;
fastcgi_param QUERY_STRING $query_string;
include /etc/nginx/fastcgi_params;
fastcgi_intercept_errors on;
}
}

и на этом можно пока остановиться. Теперь apache можно окончательно удалить с сервера.

1	sudo apt-get remove apache2

Настройка nginx + apache на debian

Дерябин Сергей — Sun, 26 Jul 2009 20:24:44 +0000

Основная задача – что бы apache слушал запросы на
127.0.0.1:81 #порт можно взять и другой, к примеру 8080
а nginx слушал запросы с внешних адресов на 80 порту, разбирал статику или еще какие действия выполнял, а остальные запросы прокидывал на apache на локальный адрес 127.0.0.1 и 81 порт

Установка nginx:

1	apt-get install nginx

Сначала настроим nginx для работы, дефолтный конфиг и создадим конфиги для все используемых сайтов.
В самом конфиге (/etc/nginx/nginx.conf) получилось следующее:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

user www-data;
worker_processes 1;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
worker_connections 1024;
}

http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
server_names_hash_bucket_size 64;
access_log /var/log/nginx/access.log;

sendfile on;

keepalive_timeout 65;
tcp_nodelay on;

gzip on;

include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}

И проверяем что не закралась ошибка:

1
2
3

sudo nginx -t
[info] 31015#0: the configuration file /etc/nginx/nginx.conf syntax is ok
[info] 31015#0: the configuration file /etc/nginx/nginx.conf was tested successfully

Далее правим дефолтный конфиг /etc/nginx/sites-available/default, для всех запросов. Так как запросы, кроме определенных сайтов нам не нужны, повесим их переадресацию на заглушку /var/www/nginx-default/index.html, больше нам здесь ничего не надо – 404 можно перекидывать сюда же:

1
2
3
4
5
6
7
8
9
10
11
12

server {
listen 80;
server_name localhost;

access_log /var/log/nginx/localhost.access.log;

location / {
root /var/www/nginx-default;
index index.html;
}
error_page 404 /index.html;
}

В итоге все неразобранные запросы попадут на нашу заглушку: http://77.220.185.16/.

Далее создаем настройки для всех поддерживаемых ресурсов, по аналогии с apache конфиги хранятся в /etc/nginx/sites-available/, а подключенные в /etc/nginx/sites-enabled/. Создаем /etc/nginx/sites-available/svdev.ru:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

server {
listen 80;
server_name svdev.ru www.svdev.ru;

access_log /var/www/svdev.ru/logs/nginx-access.log;

location / {
proxy_pass http://127.0.0.1:81/; # делаем переадресацию запросов на apache
proxy_redirect off;

proxy_set_header Host $host;
# Эти настройки необходимы, что бы из скриптов было видно реальные IP пользователя, а не фронт-части
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

client_max_body_size 10m;
client_body_buffer_size 128k;

proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;

proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}

Перовоначальные настройки позволяют просто перенаправлять запросы с nginx на apache. Настройкой правил для отдачи статики без участия apache и прочим займемся позже. После создания настроек их необходимо подключить, по аналогии apache утилит a2ensite и a2dissite нет и надо создать симлинк самому:

1	sudo ln -s /etc/nginx/sites-available/svdev.ru /etc/nginx/sites-enabled/svdev.ru

Далее заставляем apache слушать 81 порт с внутреннего интерфейса, поправив /etc/apache2/ports.conf:

1 2	NameVirtualHost *:81 Listen 127.0.0.1:81

И необходимо подправить настройки хостов apache /etc/apache2/sites-available/svdev.ru:

1 2	# заменить 80 порт на выбранный, у меня 81 <VirtualHost *:81>

Таким образом попасть на apache теперь можно только через nginx, т. е. снаружи он недоступен!

Для удобства необходимо еще установить пакет

libapache2-mod-rpaf - module for Apache2 which takes the last IP from the 'X-Forwarded-For' header

1	sudo apt-get install libapache2-mod-rpaf

Мне дополнительно настраивать ничего не пришлось, после установки в $_SERVER["REMOTE_ADDR"] начал подставляться реальный IP посетителя, вместо 127.0.0.1 Дополнительную информацию по модулю можно найти погуглив, в документации или по ссылкам ниже.

Далее настроим ротацию логов. Сначала для nginx, приятно был удивлен, увидев /etc/logrotate.d/nginx, добавим туда еще один файл:

1
2
3
4
5
6
7
8
9
10
11
12
13
14

/var/log/nginx/*.log {
daily
missingok
rotate 2
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
postrotate
[ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
cat /var/log/nginx/error.log.1 | mail root
endscript
}

cat /var/log/nginx/error.log.1 | mail root – таким образом данные из последнего обработанного файла будут отправлену на почту рута, а уж куда она придет можно настраивать в /etc/aliases

Полезные ссылки

Официальная документация по nginx
OperNET: Настройка совместной работы Apache и nginx (web nginx http)
Установка и настройка Nginx.