Q4M―MySQLを利用したジョブキュー
今まではPerlで作られたミドルウェアとしてのジョブキューを紹介してきましたが、
Q4Mの使い方
Q4Mのインストール方法はドキュメントで確認してください。
Q4Mをインストールしたら次はジョブキューで使用するテーブルを定義します。TheSchwartzやQudoでは決められたテーブル定義を使用する必要がありましたが、
CREATE TABLE welcome (
nickname varchar(255) NOT NULL,
email varchar(255) NOT NULL,
created_on int(10) unsigned NOT NULL
) ENGINE=QUEUE DEFAULT CHARSET=utf8;通常のテーブル定義と異なるのはENGINEにQUEUEを使っている点です。Q4MをMySQLにインストールするとQUEUEエンジンが利用できるようになり、
ジョブの登録
TheSchwartzやQudoではジョブの情報をシリアライズしてデータベースのカラムに格納していましたが、
mysql> INSERT INTO welcome(nickname,email,created_on)
VALUES('nekokak','[email protected]',UNIX_TIMESTAMP());登録したジョブは、
mysql> SELECT * FROM welcome;
+----------+-------------------+------------+
| nickname | email | created_on |
+----------+-------------------+------------+
| nekokak | [email protected] | 1307539020 |
+----------+-------------------+------------+実際のアプリケーションではDBIを使ってwelcomeテーブルにINSERTを実行します。
#! /usr/bin/perl
use strict;
use warnings;
use DBI;
my $dbh = DBI->connect('dbi:mysql:q4m_test','root','');
$dbh->do(q{
INSERT INTO welcome(nickname,email,created_on)
VALUES(?,?,UNIX_TIMESTAMP())
}, undef, 'nekokak', '[email protected]');ジョブの取り出し
次にジョブを取得します。ジョブを取得するにはqueue_
mysql> SELECT queue_wait('welcome');
+-----------------------+
| queue_wait('welcome') |
+-----------------------+
| 1 |
+-----------------------+成功すると結果として1が返ってきます。この状態をオーナーモードと呼びます。オーナーモード中に対象テーブルをSELECTすると1レコードだけ取得できるようになります。
mysql> SELECT * FROM welcome;
+----------+-------------------+------------+
| nickname | email | created_on |
+----------+-------------------+------------+
| nekokak | [email protected] | 1307539020 |
+----------+-------------------+------------+ジョブの終了
ジョブワーカはこれで取得できた情報をもとに処理を実行します。ジョブワーカの処理が正常に終了したらキューを終了させるコマンドを実行します。
mysql> SELECT queue_end();
+-------------+
| queue_end() |
+-------------+
| 1 |
+-------------+これにより同時にジョブレコードが削除され、
mysql> SELECT queue_abort();
+---------------+
| queue_abort() |
+---------------+
| 1 |
+---------------+を実行することでオーナーモードを解除します。queue_
Q4Mを使った簡単なサンプルプログラムは次のようになります。
#! /usr/bin/perl
use strict;
use warnings;
use DBI;
my $dbh = DBI->connect('dbi:mysql:q4m_test','root','');
while (1) {
my $lock = $dbh->do("SELECT queue_wait('welcome')")
if ($lock) {
my $queue = $dbh->do('SELECT * FROM welcome');
# ここでジョブの処理をさせる
$dbh->do('SELECT queue_end()');
}
}ジョブのロック時間の調整
queue_
mysql> select queue_wait('welcome',10);
+--------------------------+
| queue_wait('welcome',10) |
+--------------------------+
| 0 |
+--------------------------+指定秒数内にキューからデータを取得できない場合は、
ジョブキューを使う際の注意点
ここからはジョブキューを使ったプログラムを書くうえでの注意点を取り上げます。
シグナルセーフなワーカの作成
ワーカは基本的に無限ループで動き続け、
まず第一に、
第二に、
シグナルを考慮したワーカを作成するにはParallel::Preforkがたいへん便利です。Parallel::Preforkではmax_
Parallel::Preforkを使ったワーカプログラムは次のようになります。次の例ではさらに、
#! /usr/bin/perl
use strict;
use warnings;
use Parallel::Prefork;
my $pm = Parallel::Prefork->new(
+{
max_workers => 5,
trap_signals => +{
TERM => 'TERM',
HUP => 'TERM',
USR1 => undef,
},
}
);
my $max_requests_per_child = 50;
while ( $pm->signal_received ne 'TERM' ) {
$pm->start and next;
my $i=0;
while ( $i++ < $max_requests_per_child ) {
# ここでワーカの処理を起動させる
}
$pm->finish;
}
$pm->wait_all_children;処理を停止させたいときはプロセスに対しTERMシグナルを送ります。シグナルトラップにより、
ただしQ4Mを使っている場合は、
#! /usr/bin/perl
use strict;
use warnings;
use Sys::SigAction qw(set_sig_handler);
use Parallel::Prefork;
my $pm = Parallel::Prefork->new(
+{
max_workers => 5,
trap_signals => +{
TERM => 'TERM',
HUP => 'TERM',
USR1 => undef,
},
}
);
my $max_requests_per_child = 50;
while ( $pm->signal_received ne 'TERM' ) {
$pm->start and next;
my $i = 0;
my $is_stop=0;
my $h = set_sig_handler(
'TERM',
sub {$is_last = 1},
+{flags => SA_RESTART}
);
while ( $i++ < $max_requests_per_child ) {
# ここでワーカの処理を起動させる
last if $is_stop;
}
$pm->finish;
}
$pm->wait_all_children;これでどんなタイミングでも安心してワーカプロセスを再起動することが可能となり、
キュー数の監視
ジョブキューは非同期に処理されるためリアルタイム性がそこまで必要ないという話をしましたが、
SELECT COUNT(*) FROM $queue_table_name;などでジョブ数のカウントを定期的にとり、
Webアプリケーションであれば体感的にパフォーマンスが劣化していることがわかりやすいのですが、
スケール方法
多くの処理をジョブキューで行うようになると、
まず、
次にボトルネックになるのはデータベースでしょう。TheSchwartz、
そこでお勧めなのが、
ローカル環境にDNSを設置しDNSラウンドロビンを利用すれば、
おわりに
個人的にはカジュアルにジョブキューを実現させるにはQ4MよりもTheSchwartzやQudoを利用することをお勧めします。理由としては特定のデータベースに依存せずジョブキューフレームワークとして利用できるため、
次回の執筆者はオペレーションエンジニアエバンジェリストこと長野雅広