заметки на полях » Дерябин Сергей

MySQL различные UTF – utf8_bin и utf8_general_ci

Дерябин Сергей — Wed, 19 May 2010 07:42:14 +0000

Чем же отличаются эти два collate для таблиц?
utf8_bin – использует сравнения по двоичным значениям каждого символа
utf8_general_ci – использует сравнения на основе языковых особенностей и игнорирует регистр символов.

Для наглядности приведем небольшой эксперимент.

CREATE TABLE peoples (
id INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY ,
first_name VARCHAR( 255 ) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,
last_name VARCHAR( 255 ) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL
) ENGINE = INNODB CHARACTER SET utf8;

INSERT INTO peoples (first_name, last_name) VALUES ('Петя', 'Иванов'), ('андрей', 'иванов'), ('Иван', 'Петров'), ('Андрей', 'Сидоров');
INSERT INTO peoples (first_name, last_name) VALUES ('Петр', 'Большой'), ('Пётр', 'Большои');

Получаем такую вот табличку:

Из-за разности сопоставления символов получаются различия в сортировке, если делать её по полю с utf8_general_ci получаем следующее:

И не совсем ожидаемым образом отрабатывает запрос с сортировкой по полю utf8_bin

Помимо всего прочего в utf8_general_ci некоторые буквы считаются идентичными, например ё = е:

mysql> SELECT * FROM peoples WHERE first_name='Петр';
+----+------------+----------------+
| id | first_name | last_name |
+----+------------+----------------+
| 5 | Петр | Большой |
| 6 | Пётр | Большои |
+----+------------+----------------+

Отсюда же может появиться и проблема с уникальными ключами. В приведенной структуре уникальный ключ по полю first_name создать не получится, т. к. дублируются значения «Андрей» и «андрей», а так же не совсем ожидаемые «Пётр» и «Петр».

mysql> CREATE UNIQUE INDEX uq_peoples_first_name ON peoples (first_name);
ERROR 1062 (23000): Duplicate entry 'Пётр' FOR KEY 3

Зато по полю last_name создастся без проблем, в нем все значения различающиеся:

mysql> CREATE UNIQUE INDEX uq_peoples_last_name ON peoples (last_name);
Query OK, 6 rows affected (0.06 sec)
Records: 6 Duplicates: 0 Warnings: 0

С проблемой уникальности я столкнулся при переводе старой таблички с пользователями из cp1251_general_ci в utf8_general_ci – логины «Ёлка» и «елка» перестали быть уникальными. Можно было создать эталонное поле utf8_bin (используемое только при авторизации) со значением приведенным к скажем нижнему регистру.

Ну и мануал: Unicode Character Sets

перебор options в Interner Explorer

Дерябин Сергей — Tue, 23 Mar 2010 20:39:48 +0000

При использовании цикла for(i in ...) для перебора элементов списка вида

<select name="city" id="city-list">
<option value="1">Москва</option>
<option value="2">Домодедово</option>
</select>

таким вот образом

var obj = document.getElementById("city-list");
for (i in obj.options) {
if (obj.options[i].value == ...) {
...
}
}

в ишаке получаем ошибку. Переваривается только такой вариант

var obj = document.getElementById("city-list");
for (i = 0; i < obj.options.length; i++) {
if (obj.options[i].value == ...) {
...
}
}

Неплохая статья на тему работы со списками: Javascript SELECT – динамические списки

Дэбианщики шутят )

Дерябин Сергей — Tue, 23 Mar 2010 15:46:23 +0000

Всякого, кто использует этот апплет, нужно отправлять на психиатрическое обследование.

YUI 2 Dom setAttribute в Interner Explorer

Дерябин Сергей — Mon, 22 Mar 2010 18:04:53 +0000

В YUI 2 метод YAHOO.util.Dom.setAttribute() не работает для элементов созданных посредством DOM во всех версиях Interner Explorer (от 6 до 8), например так будет ошибка:

var button = document.createElement("button");
YAHOO.util.Dom.setAttribute(button, "type", "button");

для задания необходимо пользоваться стандартными методами DOM:

var button = document.createElement("button");
button.setAttribute("type", "button");

Причем остальные методы кроме setAttribute отрабатывают нормально:

var button = document.createElement("button");
YAHOO.util.Dom.addClass(button, "ok-button");
YAHOO.util.Dom.setStyle(button, "margin", "1em");

Установка Redmine на Ubuntu

Дерябин Сергей — Sun, 21 Mar 2010 09:07:39 +0000

Решил попробовать что-то отличное от trac для управления проектами. Выбор остановился на redmine. Поднималась для себя как единственного пользователя и на локальной машине, поэтому пока не стал заморачиваться загонять под nginx (стандартные процедуры установки предлагают поставить модулем apache, а у меня его нет).

Для локального использования целиком подошла вот эта инструкция по установке: Установка Redmine на Ubuntu 9.10 под Nginx с небольшими оговорками, базу я все таки в отличии от автора использую MySQL. Поэтому config/database.yml стал выглядеть примерно так:

production:
adapter: mysql
database: redmine
host: localhost
username: redmine
password:
encoding: utf8

и соответственно перед созданием структуры БД rake db:migrate RAILS_ENV="production" необходимо создать саму базу

CREATE DATABASE redmine DEFAULT CHARACTER SET utf8;

Для подвешивания этого дела под nginx есть вторая часть статьи Установка Redmine на Ubuntu 9.10 под Nginx часть 2, я пока остановился на первой. ~~Из недостатков пока только~~ вариант запуска:

ruby script/server webrick -e production

будет работе висеть в консоли.

UPD
Для того что бы процесс не висел в консоли – надо запускать его с ключом -d

ruby script/server webrick -d -e production

Прислушавшись к совету из первого комментария, можно сделать скрипт для запуска, у меня получилось следующее (надо заметить что ruby у меня используется только для redmine – поэтому я сделал допущение прибивать их все):

#!/bin/bash
# здесь должен быть путь к месту установки redmine
cd /var/www/redmine
SCRIPT="ruby script/server webrick -d -e production"
RETVAL=0
case "$1" in
start)
$SCRIPT
RETVAL=$?
;;
stop)
killall -9 ruby
RETVAL=$?
;;
restart)
killall -9 ruby
$SCRIPT
RETVAL=$?
;;
*)
echo "Usage: /etc/inid.d/redmine {start|stop|restart}"
exit 1
;;
esac
exit $RETVAL

Теперь для запуска и остановки можно использовать соответственно:

sudo /etc/init.d/redmine start
sudo /etc/init.d/redmine stop

Ну и в давершение всего, можно добавить все это добро в автозагрузку и забыть про запуск перед использованием

sudo update-rc.d redmine defaults

Локальный postfix c релеем на GMail

Дерябин Сергей — Fri, 19 Mar 2010 20:55:02 +0000

Почтовые сервера категорически не хотят принимать письма с локальной машины, из-за отсутствия обратной зоны и даже не кладут эти письма в спам – мочат на корню. Решил использовать GMail в качестве SMTP а для отправки postfix. Приступим.

При подключении к gmail используется протокол TLS. Если уже были какие-то попытки настройки и почта не уходила, а в логе /var/log/mail.info красовалась ошибка:

Mar 19 21:51:23 sergey-desktop postfix/smtp[22818]: 9ED5411723F9: to=, relay=smtp.gmail.com[209.85.129.111]:587, delay=0.25, delays=0.01/0.01/0.18/0.06, dsn=5.7.0, status=bounced (host smtp.gmail.com[209.85.129.111] said: 530 5.7.0 Must issue a STARTTLS command first. d13sm2389062fka.32 (in reply to MAIL FROM command))

то значит что как раз таки TLS не используется. Блок с настройкой целиком из статьи на opennet (только тот который TLS, остальное в данном контексте не нужно) у меня заработал без каких либо проблем.

Для начала нам необходимо создать свой собственный сертификат сервера.

Для этого воспользуемся несколько модифицированным скриптом из поставки Cyrus-IMAP

#!/bin/sh
test -x /usr/bin/openssl || exit 0
prefix="/"

if test -f /etc/ssl/server.pem
then
echo "/etc/ssl/server.pem already exists."
exit 1
fi

cp /dev/null /etc/ssl/server.pem
chmod 600 /etc/ssl/server.pem
chown root /etc/ssl/server.pem

cleanup() {
rm -f /etc/ssl/server.pem
rm -f /etc/ssl/server.rand
exit 1
}

dd if=/dev/urandom of=/etc/ssl/server.rand count=1 2>/dev/null
/usr/bin/openssl req -new -x509 -days 3650 -nodes -config /etc/ssl/openssl.cnf \
-out /etc/ssl/server.pem -keyout /etc/ssl/server.pem
/usr/bin/openssl gendh -rand /etc/ssl/server.rand 512 \
>>/etc/ssl/server.pem || cleanup
/usr/bin/openssl x509 -subject -dates -fingerprint \
-noout -in /etc/ssl/server.pem || cleanup
rm -f /etc/ssl/server.rand

можете скачать готовый файл: mkcert.sh.tar

При помощи этого скрипта, мы создаем в директории /etc/ssl самоподписанный сертификат нашего сервера – server.pem. В процессе создания будет необходимо указать некоторые значения, названия достаточно понятные и я думаю проблем не должно возникнуть. Главное в поле Common Name (eg, YOUR name) [mail.domain.ru]: указать FQDN вашего почтового сервера, в данном примере: mail.domain.ru. Если имя сервера для отправки/приема почты в настройках почтовой программы не совпадает с указанным в сертификате – почтовая программа будет <<ругаться>>.

Теперь редактируем файл /etc/postfix/main.cf, а именно – добавляем следующие строки:

smtp_use_tls = yes
smtp_tls_key_file = /etc/ssl/server.pem
smtp_tls_cert_file = $smtp_tls_key_file
smtp_tls_CAfile = $smtp_tls_key_file
smtp_tls_note_starttls_offer = yes
smtp_tls_loglevel = 0
smtpd_tls_auth_only = yes
smtpd_use_tls = yes
smtpd_tls_loglevel = 0
smtpd_tls_received_header = yes
smtpd_tls_session_cache_timeout = 3600s
tls_random_source = dev:/dev/urandom
smtpd_tls_key_file = /etc/ssl/server.pem
smtpd_tls_cert_file = $smtpd_tls_key_file
smtpd_tls_CAfile = $smtpd_tls_key_file

и в нем же устанавливаем relayhost и добавляем параметры авторизации

relayhost = [smtp.gmail.com]:587

smtp_sasl_auth_enable = yes
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sasl_security_options =

Опция smtpd_tls_auth_only = yes позволяет производить SMTP авторизацию только в режиме TLS.

В /etc/postfix/sasl_passwd необходимо добавить данные для авторизации на GMail вида

smtp.gmail.com gmail-login@gmail.com:password

и выполнить

sudo postmap hash:/etc/postfix/sasl_passwd
sudo /etc/init.d/postfix restart

В php.ini проверить настройки отправки почты

[mail function]
...
SMTP = localhost
smtp_port = 25

; теперь можно закомментировать этот параметр
;sendmail_path =

В принципе все – почта должна уходить из скриптов. Единственный нюанс – GMail в качестве отправителя подставит учетную запись, которая использовалась при авторизации для отправки.

Есть еще вариант настройки разных релеев, в зависимости от какого аккаунта отправляется почта, подробнее здесь: Configure Postfix for Multiple ISP Client SMTP Authentication, ubuntu-tutorials.com (на английском)

Вирус требующий SMS

Дерябин Сергей — Sun, 28 Feb 2010 00:32:26 +0000

Принес мне товарищ ноутбук с вирусом, который при загрузке блокирует все действия и требует отправить SMS для разблокировки. Ну вещь вроде бы довольно распространенная в последнее время, а переустанавливать все заново было жалко времени – решил полечить.
Вылечилось все на ура с Dr. Web Live CD
Дальше оказалось все не так просто, установленный Avast отказывался запускаться под таким предлогом «невозможно открыть данную программу из-за политики ограничения применения программного обеспечения». Немного погуглив открыл для себя что в XP Home есть политики безопасности. Нашел даже на Microsoft ответ на мой вопрос

Пользователи получают сообщение «Windows не может открыть эту программу, так как это запрещено политикой ограничений программ. За дополнительной информацией обратитесь системному администратору или откройте «Просмотр событий».» Или в окне командной строки появляется сообщение «Не удается выполнить указанную программу.»
Причина. В установленном по умолчанию уровене безопасности (или правиле) для программы выбрано значение Не разрешено, и в результате программа не запускается.

Решение. Найдите в журнале событий более подробное описание сообщения. Сообщения журнала событий указывают, для какого программного обеспечения установлен параметр Не разрешено и какое именно правило применяется к программе.

Но не ответ на самый главный вопрос «че делать-то?!»
Вариант копания в политиках отпал быстро, т. к. gpedit.msc или отсутствовал изначально или был заботливо удален вирусом. Нашел более элегантный вариант, удалить целиком ветку реестра: HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows\Safer
Ну вот и все, борьба окончена ) набираю в консоли regedit и получаю ~~ху…~~

Конец? Перестановка?
Нашел что редактирование реестра можно разрешить через групповые политики (подробнее тут), но вариант не подходит потому как редактор потерт – замкнутый круг какой – то
Так вот политики все равно хранятся как я понял в реестре и можно из консоли удалить запрет на редактирование реестра (честно говоря сначала сомневался что получится – в редактор зайти нельзя, а из консоли пожалуйста) (подробнее тут):

REG DELETE HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Policies\System /v DisableRegistryTools /f

Regedit заработал и удалив указанную выше ветку реестра стал запускаться антивирус.

Список городов по странам и регионам

Дерябин Сергей — Thu, 11 Feb 2010 02:09:47 +0000

В архиве дамп трех табличек:

страны
регионы (с привязкой к стране)
города (с привязкой к региону и стране)

Кодировка файла UTF-8. Размер архива 4,7Мб. Забирать здесь.

После заливки желательно прицепить ключи:

ALTER TABLE region ADD constraint fk_region_ref_country FOREIGN KEY (country_id) REFERENCES country (id) ON DELETE restrict ON UPDATE cascade;
ALTER TABLE city ADD constraint fk_city_ref_region FOREIGN KEY (region_id) REFERENCES region (id) ON DELETE restrict ON UPDATE cascade;
ALTER TABLE city ADD constraint fk_city_ref_country FOREIGN KEY (country_id) REFERENCES country (id) ON DELETE restrict ON UPDATE cascade;

Как float зависит от локали?!

Дерябин Сергей — Sat, 06 Feb 2010 12:59:46 +0000

На такой казалось бы элементарный вопрос далеко не тривиальный ответ, и столкнувшись с ним может пострадать не один монитор или клавиатура от нелепости ситуации, мне повезло – я вовремя нагуглил правильный ответ Теперь собственно к делу. Вот код и ожидаемый результат его выполнения:

$float = "3.14";
echo $float; // 3.14
echo floatval($float); // 3.14

У меня же получился другой вариант, от которого я честно говоря подвис:

$float = "3.14";
echo $float; // 3.14
echo floatval($float); // 3,14

Выяснилось что результат зависит от установки локали, у меня стояло: setlocale(LC_ALL, "ru_RU.UTF8"); пока остановился на таком варианте:

setlocale(LC_CTYPE, "ru_RU.utf8");
setlocale(LC_TIME, "ru_RU.utf8");

PHP у меня 5.2.10, а баг сей я так понимаю тащится аж с 2002 года версии 4.3.0 RC2: Bug #17079 setlocale changes the internal representation of floats

Перевод сайта c cp1251 на UTF-8

Дерябин Сергей — Wed, 13 Jan 2010 18:57:03 +0000

Для начала перевести БД из cp1251 в utf8.
Сделать дамп mysqldump -u svd -n --skip-opt --skip-set-charset --triggers --disable-keys svdev > dump.sql – получится чистый дамп без упаминания кодировок, можно получить отдельно данные: mysqldump -u svd -nt --skip-opt --skip-set-charset --disable-keys svdev > data.sql, поменять кодировку полей в схеме, вместо:

name varchar(64) character SET cp1251 NOT NULL

сделать

name varchar(64) character SET utf8 NOT NULL

или же убрать упоминание кодировки из полей вовсе:

name varchar(64) NOT NULL

так как при установке правильной кодировки для БД кодировки для текстовых полей создаваемых таблиц будут устанавливаться верно сами, затем изменить кодировку самой БД:

ALTER DATABASE svdev DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

и залить назад в обратном порядке – сначала структуру, затем данные.
Следующим шагом необходимо изменить кодировку файлов, для этого я набросал простенький скрипт (подключаемые библиотеки которые трогать не надо – типа tiny просто вынес сначала из проекта, а затем вернул обратно:

#!/bin/sh
for FILE in `find /var/www/svdev/ | egrep -i "\.(php|html)$"`
do
iconv -f cp1251 -t utf8 $FILE > $FILE".utf"
mv -f $FILE".utf" $FILE
echo $FILE" - work complete"
done

Он в заданной директории файлы по маске .php и .html перекодирует в UTF используя утилиту iconv во временный файл, а затем перезаписывает исходный файл временным.
Следующим шагом убедимся в правильной настройке mb_ функций PHP. Для этого создадим файлик vim strtest.php и положим в него следующее содержимое:

echo strlen("мама мыла раму") . "\n";
echo mb_strlen("мама мыла раму") . "\n";
echo mb_strlen("мама мыла раму", "UTF-8");
?>

Правильная длина строки – 14 символов. Выполним его из консоли: php5-cgi strtest.php В начале у меня получилось следующее:

X-Powered-By: PHP/5.2.10-2ubuntu6.3
Content-type: text/html

26
26
14

Для исправления – установим верные значения в /etc/php5/cgi/php.ini и /etc/php5/cli/php.ini, для этого по файлу надо поискать encoding и charset
Нашлись следующие параметры:

default_charset = "UTF-8"
...
mbstring.language = Russian
mbstring.internal_encoding = UTF-8

Теперь при повторном выполнении теста php5-cgi strtest.php второе значение без указания кодировки должно совпасть с первым и появиться кодировка по умолчанию:

X-Powered-By: PHP/5.2.10-2ubuntu6.3
Content-type: text/html; charset=UTF-8

26
14
14

Так же не лишним будет в конфиге проекта указать верно локаль, к примеру setlocale(LC_ALL, "ru_RU.utf8"); список доступных локалей в системе можно посмотреть locale -a (ну и на всякий случай проверить что с новой локалью не будет багов, подробнее здесь: Как float зависит от локали?! )
Указать кодировку в настройках nginx для нужного сайта /etc/nginx/sites-available/svdev:

server {
...
charset UTF-8;
source_charset UTF-8;
...
}

Ну и самая нудная часть – пройтись по проекту и заменить функции работы со строками на их mb_ аналоги, в используемые регулярные выражения добавить модификатор u и если отправляются где-то письма – изменить кодировку писем.
Ну вот вроде и все! Перед всеми манипуляциями неплохо бы сделать резервную копию файлов и БД, на всякий случай.